V strojnem učenju pri problemu klasifikacije v dva razreda pogosto naletimo na problem, ko imamo opravka s podatki, kjer močno prevladuje eden od obeh razredov. Z vidika klasifikacijske točnosti bi bil najboljši tak klasifikator, ki bi vse primerke uvrstil v večinski razred. Tega si običajno ne želimo, saj so za nas se posebej dragoceni pravilno klasificirani primerki manjšinskega razreda. Tako hočemo čim manj napačno klasificiranih primerkov manjšinskega razreda, medtem ko smo do napačno klasificiranih primerkov večinskega razreda bolj strpni.

Problema sem se lotil z uporabo 'boostinga'; to je postopka, ki s kombininacijo šibkih klasifikacijskih pravil sestavi eno učinkovito pravilo. Ogledali si bomo 4 različne metode boostinga: od klasičnegega AdaBoost do bolj naprednih, ki rešujejo problem linearnega programiranja in tako hitreje konvergirajo ter dosegajo boljše rezultate. Z vpeljavo linearnega programiranja pridobimo nekaj lepih lastnosti, ki jih AdaBoost sam po sebi nima. Pokazal bom se nekaj obetavnih rezultatov, ki sem jih dobil pri klasifikaciji besedil z uporabo korpusa časopisnih člankov Reuters-21578, kjer sem se osredotočil na male kategorije.