000_uvod.tex

U strojnom učenju \engl{machine learning -- ML} uvijek postoji potreba provjere izgrađenog sustava (za prevođenje, klasifikaciju govornih činova \engl{speech acts} \citep{pratt1977toward}, za izgradnju stabla međuovisnosti \engl{dependency tree} \citep{collins2003head}, za sažimanje teksta \engl{text summarizing}, za ekstrakciju ključnih riječi \engl{keyword extraction} \dots). Uz argumentirano obrazloženje autora sustava o dobivenim performansama sustava, potrebno je priložiti statistički dokaz kojime se nepobitno pokazuje kako je uistinu ostvaren originalan znanstveni doprinos. Ispitivanjem statističke značajnosti pokazuje se koliko su rezultati eksperimenata vrijedni, hoće li ponavljanje eksperimenta u istim uvjetima ponovno dovesti do sličnih rezultata i u kolikoj mjeri su pouzdani. Ovaj korak je ili bi barem trebao biti sastavni dio svakog broja ML članka u kojem se predstavlja nova tehnika. Korištenjem statističkih testova u istraživanju standardizira se provođenje eksperimenata.

Dobro provedeno istraživanje trebalo bi biti sadržavati provjeru pretpostavki korištenih u statističkim analizama. Prikupljanje i odabir eksperimentalnog skupa podataka trebao bi biti opravdan i detaljno opisan, kako bi se pokazalo postoje li ograničenja skupa podataka. Primjerice, ukoliko je čitav skup podataka iz jednog novinskog izvora, a opće je poznata i prihvaćena činjenica kako su članci u tim novinama uglavnom pristrani jednoj političkoj opciji, može se pretpostaviti kako će sadržaj novinskih članaka biti sadržajem pristran. 

U literaturi je moguće pronaći provjeravanje statističke značajnosti iz različitih perspektiva. Tako se \citep{chinchor1992statistical} bavi analizom rezultata MUC-4 \engl{Message Understanding Conference}, \citep{koehn2004statistical} i \citep{zhang2004interpreting} ispituju značajnost rezultata strojnog prevođenja \engl{machine translation}, \citep{bisani2004bootstrap} analiziraju rezultate automatskog prepoznavanja govora \engl{automated speech recognition}. \citep{berg2012empirical}, \citep{yeh2000more}.

U ovom radu prvo će se objasniti osnove ispitivanja statističke značajnosti. Nakon toga pričat će se o mogućim testovima značajnosti u području strojnog učenja. Svaki spomenuti test bit će kratko objašnjen, s pružanjem prikladnih referenci. Objasnit će se mehanizam pojedinih statističkih testova te prikladnost ili neprikladnost statističkog testa u kontekstu specifičnih okolnosti. U praktičnom dijelu rada pokazat će se kako odabir statističkog testa može biti jako bitan prilikom dokazivanja statističke značajnosti rezultata. Konačan cilj rada je dati čitatelju uvid u metodologije ispitivanja statističke značajnosti u kontekstu strojnog učenja, kako bi što bolje odabrao odgovarajuću tehniku u vlastitim eksperimentima.