Rangering av karakteristiske trekk i kombinert wrapper tilnærminger til valg

forsøkene utført innenfor den beskrevne forskningen ble utført i to trinn. I den første fasen, sekvensiell bakover eliminering (SBE) algoritme, anvendt i wrapper modell, ble brukt til å etablere rangering av karakteristiske trekk, avsløre deres relevans. Wrapper ble konstruert for to typer klassifikatorer, minimal cover decision algorithms (MCDA) utledet I DRSA og kunstige nevrale nettverk.

de to oppnådde rangeringene ble neste ansatt i andre trinn, hvor reduksjon av attributter ble utført, igjen for regel-og forbindelsesinduktorer, mens deres ytelse ble observert. Eliminering av variabler FOR DRSA klassifikator på dette stadiet ble utført på to måter: ved å forkaste attributter og indusere nye regler og algoritmer, og ved å avvise regler fra den tidligere genererte FULL decision algorithm (FDA), med alle regler om eksempler, utledes for alle funksjoner som vurderes.

prosedyrene ble brukt på to par datasett. Den primære klassifiseringsoppgaven var binær forfatterskapsattribusjon med stylometriske egenskaper. For sammenlignings skyld ble testene også utført for bølgeformdatasett med lignende egenskaper (samme antall klasser, sammenlignbare antall prøver og attributter). Resultatene for dette andre datasettet er gitt på slutten av denne delen.

Etablering av rangering av funksjoner av SBE

SIDEN DRSA classifier skulle brukes som en wrapper med sekvensiell bakover reduksjon av funksjoner, betydde det å starte med komplett sett med attributter og eliminering av ett element om gangen. Derfor ville induksjon av alle regler om eksempler i hvert tilfelle være upraktisk som for 25 funksjoner I FDA-algoritmen, var det 62.383 konstituerende beslutningsregler. I stedet ble minimal dekningsbeslutningsalgoritmer MCDA utledet, og deres ytelse ble brukt til å velge et attributt, hvorav reduksjon ga de beste resultatene sammenlignet med andre på samme nivå. Detaljer for alle trinn er oppført I Tabell 1, der kolonnen til høyre (i) viser den etablerte DRSA-Rangeringen av karakteristiske trekk.

den øverste raden i tabellen tilsvarer 0. reduksjonstrinn, det vil si regelklassifiseringen indusert for alle 25 betingede attributter studert, oppført i kolonne (c). Minimal cover decision algoritme generert besto av 30 konstituerende regler, som var begrenset til bare 6 mens krevende deres minimal støtte til å være lik minst 6. Den maksimale klassifiseringsnøyaktigheten oppnådd av den pålagte begrensningen var 76,67 % av korrekt anerkjente testprøver. Klassifiseringsnøyaktighet angitt i tabellen (og for alle andre tilfeller av datautvinning med DRSA presentert i dette papiret) refererer bare til tilfeller der alle samsvarsregler er klassifisert riktig. Tvetydige tilfeller av motstridende beslutninger eller ingen samsvarende regler ble alltid behandlet som feil (som er ganske strenge, men begrenser ytterligere behandling som trengs ellers).

deretter ble 25 NYE MCDA-klassifiserere konstruert, hver med 24 inngangsfunksjoner, med en attributt eliminert, og deres ytelse ble testet og sammenlignet. Ut av disse systemene ga den med den reduserte funksjonen som svarer til bruksfrekvensen for «og» det beste resultatet, så dette attributtet er valgt som minst relevant for alle kandidater og den første som skal elimineres, som gitt i kolonne (i) i tabellen.

settet med 24 gjenværende variabler gir grunnlag for neste reduksjonstrinn med indeks lik 1, vist I Tabell 1 i andre rad. Igjen best MCDA beslutning algoritmen besto av 30 regler, men med støtte lik eller høyere enn 2, det var 17 regler med maksimal klassifisering nå 77.78 %.

det kan observeres i kolonne (h) i tabellen at klassifiseringsnøyaktigheten gradvis øker fra 76,67 % opp til maksimalt 91,11% korrekt gjenkjente prøver når det bare er 5, 4 eller 3 funksjoner igjen i inngangssettet, og deretter reduseres til 84,44 % for to betingede attributter og 61,11% for en enkelt attributt.

prosessen med attributt eliminering kan tolkes på denne måten at systemet forkaster disse elementene som er irrelevant eller overflødig og holder disse som er avgjørende for klassifisering, som et resultat av klassifisering nøyaktighet enten øker eller er i det minste på samme nivå, men for færre funksjoner. Rekkefølgen der attributtene er eliminert gjenspeiler deres betydning. Når denne rekkefølgen er reversert, ytelsen TIL DRSA klassifiserere avtar umiddelbart og uopprettelig, som er illustrert I Fig. 1.

DEN samme sekvensielle bakoverreduksjonsprosedyren ble deretter brukt PÅ ANN classifiers (Tabell 2), og begynte med å bygge et nettverk for alle 25 funksjoner. For dette settet var gjennomsnittlig klassifiseringsnøyaktighet like over 91 %. Denne verdien er åpenbart høyere enn for basen DRSA klassifikatoren, som den bare var 76,67 %. Det skal imidlertid bemerkes at den tvetydige klassifiseringen av det regelbaserte systemet, om motstridende beslutninger eller ingen regler som samsvarer, ble behandlet som feil i alle vurderte tilfeller, og som påvirket denne lavere prediktive nøyaktigheten. Hva mer er, generering av minimal dekningsbeslutningsalgoritmer garanterer ikke induksjon av de beste reglene, med høyest potensial for korrekt klassifisering, og det er ganske vanlig at beslutningsalgoritmer konstruert med andre tilnærminger tester betydelig bedre, men på bekostning av mer komplekse prosedyrer, mer beregningskostnader involvert og mer behandlingstid som trengs .

den positive endringen av klassifiseringsforholdet, eller den samme ytelsen for færre innganger, er ikke den eneste indikatoren for attributtrelevans eller redundans. Når noen funksjon er redusert, endres også den interne strukturen til klassifikatoren tilsvarende. FOR DRSA-behandling betyr det færre grunnleggende regler i en beslutningsalgoritme, mens for et kunstig nevralt nettverk blir lagene mindre ved fjerning av nevroner.

hvis et slikt mindre nettverk ikke klassifiserer dårligere enn før reduksjon, betyr det at relevansen av den nylig kasserte inngangen er ubetydelig, og den kan behandles som overflødig. Forestillingen er illustrert I Fig. 2, Mens Fig. 3 viser hva som skjer med klassifiseringsnøyaktigheten til systemet når inngangsfunksjonene reduseres mens du følger den reverserte ANN-Rangeringen. De to grafene fra Figs. 2 og 3 viser de samme trendene som er synlige i DEN tidligere plottet ytelsen TIL DRSA classifiers I Fig. 1.

når VI sammenligner Drsa-Og ANN-Rangeringer mot hverandre, og analyserer resultatene som er tildelt alle attributter, kan vi se at selv om begge typer klassifikatorer opererer på samme datasett, er de resulterende orderingene av reduserte funksjoner forskjellige, bare den siste gjenværende funksjonen er den samme i begge rangeringer: hyppigheten av bruk for «ikke». Dette er et direkte resultat av de iboende egenskapene til induktorene som overføres til rangeringen beregnet med deres hjelp.

som wrappers er ofte anklaget for en slik skjevhet, de oppnådde rangeringen må observeres i prosessen med reduksjon av karakteristiske trekk for andre klassifikasjonssystemer, ved å kombinere wrappers av samme og annen type, for å vurdere nytten gjennom tester, som er illustrert i neste avsnitt.

Ved å bruke rangering av funksjoner i reduksjonen

etter den generelle kategoriseringen av funksjonsvalgtilnærminger , tilhører rangering med filtre. I den presenterte forskningen ble to rangeringer oppnådd ved HJELP AV DRSA-og ANN-baserte wrappers, gitt i de høyre kolonnene I Tabell 1 og 2. Disse orderingene ble deretter brukt til å filtrere ut de betingede attributter fra det opprinnelige settet av 25, i bakover eliminering av input variabler for nye klassifikatorer.

detaljene for ANVENDELSE AV ANN-Rangering til bakover reduksjon av attributter I DRSA-behandling, som resulterer i en hybridløsning, er vist i Tabell 3. For det første ble delsett av funksjoner med økende kardinaliteter avvist, og for de gjenværende delsettene ble nye beslutningsalgoritmer indusert, med bare en minimal dekning MCDA, og også med å utlede alle regler OM EKSEMPLER FDA.

siden klassifiseringsnøyaktigheten vanligvis behandles som den viktigste faktoren som indikerer kvaliteten på den oppnådde løsningen, kan vi fokusere vår oppmerksomhet på to (g) kolonner i Tabell 3, eller en graf I Fig. 4. For BÅDE MCDA-og FDA-klassifiserere er det flere tilfeller av forbedret eller samme ytelse når funksjoner reduseres, men gevinsten, vurdert i form av enten et antall avviste funksjoner, eller en økning i prediktiv nøyaktighet, eller et lavere antall beslutningsregler som gjenstår i algoritmen, er ikke så høy som det tidligere ble observert for enkle ANN-eller MCDA-pakkere.

I Stedet for å redusere betingede attributter og deretter utlede nye beslutningsalgoritmer, som kan være svært tidkrevende, kan vi også eliminere disse attributtene ved å forkaste regler med betingelser på dem, og begrense alle regler om eksempler beslutning algoritme indusert tidligere for alle funksjoner . En slik tilnærming kan betraktes som gjennomføring av rangering for beslutningsregler.

For det Første, til hver regel i den induserte algoritmen, tildeles en poengsum, basert på individuelle poeng for alle attributter inkludert i premissdelen av regelen. Fra alle disse elementære poengene, som svarer til bestanddelene, velges den høyeste, og angir attributtet som oppfattes som minst viktig; dermed den første som skal elimineres, og denne poengsummen er gitt til beslutningsregelen. Da er alle regler bestilt av deres score, og i hvert trinn av reduksjon avvises alle regler med en viss poengsum, noe som resulterer i reduserte beslutningsalgoritmer.

detaljene i denne beslutningsregelrangeringsprosedyren er gitt I Tabell 4. Til sammenligning er det også oppført resultater AV FDA-algoritmen reduksjon mens du følger den reverserte ANN-Rangeringen, begge plottet også I Fig. 5.

Anvendelse AV ANN-Rangering i reduksjon AV FDA resulterer i ganske bratt nedgang i antall gjenværende beslutningsregler, mens klassifikatorene forutsier med samme eller bare litt redusert nøyaktighet. Reversert ANN Ranking bringer mye tregere algoritme reduksjon, men ytelsen er forverret umiddelbart og uopprettelig.

som etablering AV DRSA Rangering gjennom sekvensiell bakover eliminering med generasjon av minimal dekke beslutning algoritmer behandles som en egen prosess, kan denne rangeringen også brukes i prosedyren for avgjørelse regel rangering og reduksjon, begrense alle regler på eksempler algoritme, resultatene av disse er gitt I Tabell 5 og ytelsen vist I Fig. 6.

tendensene som er synlige i prediktiv nøyaktighet for reduserte beslutningsalgoritmer, mens de følger DRSA-Rangering og omvendt, minner direkte om disse som ble observert tidligere i wrapper-modus da rangeringen ble etablert. Prosedyrene gjør det mulig å filtrere ut disse reglene FRA FDA-algoritmen som inneholder forhold på irrelevante attributter og returalgoritmer med betydelig redusert antall beslutningsregler mens du opprettholder eller til og med øker klassifiseringsnøyaktigheten.

NÅR DRSA-Rangeringen ble brukt til å redusere inngangskarakteristikkene til det kunstige nevrale nettverket, resulterte det i enda en hybridløsning. Ved hvert eliminasjonstrinn ble en enkelt funksjon ignorert og innflytelsen av den på nettverksytelsen studert, som plottet I Fig. 7. Når den reverserte rangeringen utnyttes (Fig. 8), sammenligning av disse to grafene avslører svært nær likhet med den som vises I Fig. 1, illustrerer ytelsen TIL DRSA wrapper ansette SBE.

fra alle testet kombinasjoner av wrappers, den beste ytelsen ble vist FOR ANN classifiers ansette DRSA Rangering i bakover eliminering av funksjoner (Fig. 7). Gode resultater ble også oppnådd i reduksjon av alle regler på eksempler algoritme generert for alle funksjoner, mens følgende DRSA Rangering (Tabell 5; Fig. 6). I dette tilfellet kan dette imidlertid forklares av wrapper bias når to systemer av samme type, som deler de samme egenskapene, kombineres. Det samme kan ikke angis for det tidligere tilfellet, da forskjellene MELLOM DRSA og ANN klassifiserere er tydelig vist i den observerte prosessen med sekvensiell bakover eliminering av funksjoner, noe som resulterer i to distinkt forskjellige rangeringer.

VED Å bruke ANN Ranking i bakover attributt reduksjon og deretter indusere nye regler og algoritmer for alle regler på eksempler gjør det mulig å forkaste åtte variabler (32 %) før ytelsen begynner å avta (Tabell 3; Fig. 4). ANN Rangering I FDA reduksjon bringer også avvisning av åtte variabler og så mange som 51,888 beslutningsregler (83 %). Bruk av reverserte rangeringer, BÅDE DRSA – og ANN-baserte, resulterte alltid i forverret ytelse.

Resultater for bølgeformdatasett

attributtene for bølgeformdatasettet er ikke beskrevet i detalj I uci ML-depotet; derfor ble de ganske enkelt merket fra a1 til a21, og de to beslutningsklassene korresponderte med de valgte bølgetypene, type 0 og type 1. De to rangeringene oppnådd ved sekvensiell bakover eliminering FOR DRSA og ANN klassifikatorer er gitt i Tabell 6, med detaljer om induserte algoritmer og ytelse for begge systemene,som også plottet for begge typer klassifikasjonssystemer I Fig. 9.

utførelsen av klassifikatorer sammenlignes mot hverandre og til referansepunktet som utgjøres av de prediktive nøyaktighetene som er oppnådd for det komplette settet med 21 attributter. Minimal cover decision algoritme indusert klassifisert bare 65 % med 55 regler begrenset til 20 av begrensninger på støtte til å være lik minst 3. Alle regler om eksempler algoritme oppnår 74% anerkjennelse ratio (31,718 regler begrenset til 58 for støtte lik eller høyere enn 48). ANN med 21 input funksjoner gjenkjent riktig 89% av testprøver.

NÅR DRSA Rangering av funksjoner brukes for systematisk reduksjon av innganger til connectionist klassifiserere, i den innledende fasen noen økning i ytelse kan observeres (Se Fig. 10), men den synlige trenden er ikke strengt monotonisk. Den samme rangeringen er også ansatt for reduksjon av utvalgte regler fra alle regler om eksempler algoritme i prosedyrene beskrevet før og i denne prosessen betydelige gevinster kan observeres: vi kan redusere 17 av 21 attributter (nær 81 %) og fortsatt har økt ytelse. Dette kommer imidlertid uten overraskelse da begge induktorer deler de samme generelle egenskapene, derav den resulterende bias.

Imponerende ANN Rangering PÅ DRSA behandling utføres igjen på to måter: enten for de gradvis avtagende delsettene av betingede attributter blir nye beslutningsregler indusert (BÅDE MCDA og FDA), eller settet med regler fra den tidligere utledede komplette beslutningsalgoritmen blir analysert og noen regler avvist når de refererer til kasserte funksjoner. Detaljer om alle resulterende løsninger er gitt i Tabell 7. Fra den observerte ytelsen kan vi oppdage at for alle regler om eksempler er det mulig å avvise 13 av 21 betingede variabler (nesten 62 %), mens ikke bare anerkjennelsen ikke er verre, men økt.

Når alle regler om eksempler beslutningsalgoritmer (en ny OG den reduserte FDA) sammenlignes i hvert trinn, blir det tydelig at de faktisk er veldig nært. Selv om antall regler involvert ikke alltid er nøyaktig det samme, er den resulterende klassifiseringsnøyaktigheten nesten identisk, noe som antyder å velge den andre måten, det vil si med reduksjon AV FDA generert for det komplette settet av funksjoner i stedet for å indusere nye algoritmer. Det krever betydelig mindre innsats som den harde delen av beregninger er allerede utført. Når en slags metode for beskjæring av regler er etablert, kan utførelsen være mindre krevende enn induksjonsprosessen.

til sammenligning ble det også utført noen tester for reverserte rangeringer, med de minste rangeringsattributtene, men resultatene var verre sammenlignet med den tilsvarende løsningen for de fleste rangeringsvariabler, med forskjeller avhengig av antall elementer redusert, ofte økende sammen med det.

alle eksperimenter utført, for både stylometriske og bølgeform datasett, bekrefter nytten av den foreslåtte metoden for å kombinere wrappers for estimering av funksjonen relevans brukt neste det deres bakover reduksjon.