Department of Pattern Recognition

(eng): In feature selection the effect of over-fitting may lead to serious degradation of generalization ability. We introduce the concept of combining multiple feature selection criteria in feature selection methods with the aim to obtain feature subsets that generalize better. The concept is applicable with many existing feature selection methods. Here we discuss in more detail the family of sequential search methods. The concept does not specify which criteria to combine – to illustrate its feasibility we give a simple example of combining the estimated accuracy of k-nearest neighbor classifiers for various k.We perform the experiments on a number of datasets. The potential to improve is clearly seen on improved classifier performance on independent test data as well as on improved feature selection stability.

(cze): Efekt přetrénování může při výběru příznaků výrazně zhoršit generalizační schopnost. Představujeme koncept kombinování několika kritérií výběru příznaků s cílem získat příznaky které lépe generalizují. V této práci se věnujeme podrobněji implementaci ve skupině sekvenčních metod. Abychom ukázali smysl konceptu, provedli jsme vzorové experimenty za použití klasifikátorů "k-nejbližších sousedů" v roli kritérií pro různé hodnoty k. Potenciál kombinování kritérií je jasně vidět na zlepšené úspěšnosti klasifikace nezávislých dat a na zlepšené stabilitě výběru příznaků.