The experiments conducted within the described research were executed in two stages. Na primeira fase, o algoritmo de eliminação sequencial (SBE), aplicado no modelo wrapper, foi usado para estabelecer o ranking de características, revelando sua relevância. O invólucro foi construído para dois tipos de classificadores, algoritmos mínimos de decisão de cobertura (MCDA) inferidos em DRSA e Redes Neurais Artificiais.
the two obtained rankings were next employed in the second stage, where reduction of attributes was performed, again for rule and connectionist inducers, while their performance was observed. A eliminação de variáveis para classifier DRSA nesta fase foi executada de duas maneiras: descartando atributos e induzindo novas regras e algoritmos, e rejeitando regras do algoritmo de decisão completa gerado anteriormente (FDA), com todas as regras sobre exemplos, inferidas para todas as características consideradas.
os procedimentos foram aplicados a dois pares de conjuntos de dados. A tarefa de classificação primária foi atribuição de autoria binária com características estilométricas. Para efeitos de comparação, os testes também foram executados para o conjunto de dados de forma de onda com características semelhantes (o mesmo número de classes, números comparáveis de amostras e atributos). Os resultados deste segundo conjunto de dados são apresentados no final desta secção.
estabelecendo o ranking das características por SBE
uma vez que o classificador DRSA deveria ser usado como um invólucro com redução sequencial para trás das características, significava começar com o conjunto completo de atributos e Eliminação de um elemento de cada vez. Assim, indução de todas as regras sobre exemplos em cada caso seria impraticável, pois para 25 características no algoritmo FDA, havia 62.383 regras de decisão constituinte. Em vez disso, algoritmos de decisão de cobertura mínima MCDA foram inferidos e seu desempenho usado para selecionar um atributo, cuja redução deu os melhores resultados quando comparados com outros no mesmo nível. Os detalhes de todas as etapas estão listados no quadro 1, onde a coluna mais direita (i) Mostra o Ranking estabelecido de características DRSA.
O top de linha da tabela corresponde a 0 fase de redução, que é a regra do classificador induzido por todos os 25 condicional atributos estudados, listados na coluna (c). O algoritmo de decisão de cobertura mínima gerado consistiu em 30 regras constituintes, que foi limitado a apenas 6 enquanto exigia que seu suporte mínimo fosse igual a pelo menos 6. A precisão máxima da classificação obtida pela restrição imposta foi de 76,67 % das amostras de teste corretamente reconhecidas. A precisão de classificação especificada no quadro (e para todos os outros casos de extracção de dados com a DRSA apresentada no presente documento) refere-se apenas aos casos em que todas as regras de correspondência sejam classificadas correctamente. Os casos ambíguos de contradizer decisões ou sem regras de concordância foram sempre tratados como incorretos (o que é bastante estrito, mas limita o processamento adicional necessário de outra forma).
em seguida, 25 novos classificadores MCDA foram construídos, cada um com 24 características de entrada, com um atributo eliminado, e seu desempenho testado e comparado. Fora destes sistemas, um com o reduzido recurso correspondente à freqüência de uso “e” deu o melhor resultado, de modo que este atributo é selecionado como a menos relevante de todos os candidatos e o primeiro a ser eliminado, como indicado na coluna (i) da tabela.
o conjunto de 24 variáveis restantes dá base para a próxima fase de redução com índice igual a 1, mostrado na Tabela 1 na segunda linha. Mais uma vez, o melhor algoritmo de decisão MCDA consistiu de 30 regras, mas com suporte igual ou superior a 2, havia 17 regras com classificação máxima atingindo 77,78 %.
pode ser observado na coluna (h) da tabela de classificação, a precisão aumenta gradualmente de 76.67 % até o máximo de 91.11 % corretamente reconhecido amostras quando há apenas 5, 4 ou 3 apresenta a esquerda, no conjunto de entrada, em seguida, para diminuir a 84.44 % para dois condicional atributos, e 61.11 % para um único atributo.
processo de atributo de eliminação podem ser interpretados desta forma que o sistema descarta esses elementos que são irrelevantes ou redundantes e mantém esses que são essenciais para a classificação, como resultado, a classificação a precisão aumenta ou está pelo menos no mesmo nível, mas com menos funcionalidades. A ordem em que os atributos são eliminados reflete sua importância. Quando esta ordem é invertida, o desempenho dos Classificadores DRSA diminui imediatamente e irrecuperavelmente, o que é ilustrado na Fig. 1.
DRSA classificação rigor em relação ao número de recursos dentro sequencial para trás eliminação com MCDA, em comparação com a redução de atributos usando revertida ranking
O mesmo sequencial para trás procedimento de redução foi depois aplicado a ANN classificadores (Tabela 2), começando com a construção de uma rede para todos 25 de recursos. Para este conjunto, a precisão média de classificação foi ligeiramente superior a 91 %. Este valor é obviamente maior do que para o classificador base DRSA, para o qual era apenas 76,67 %. No entanto, deve notar-se que a classificação ambígua do sistema baseado em regras, de decisões contraditórias ou sem correspondência de regras, foi tratada como incorreta em todos os casos considerados e que influenciou esta menor precisão preditiva. O que é mais, a geração de um mínimo de cobertura de decisão, algoritmos não garante a indução de melhores regras, com o mais alto potencial para a classificação correta, e é bastante comum que a decisão algoritmos construídos com outras abordagens de teste significativamente melhor, mas ao custo de procedimentos mais complexos, mais custos computacionais envolvidos, e mais o tempo de processamento necessário .
a alteração positiva do rácio de classificação, ou o mesmo desempenho para menos entradas, não é o único indicador de relevância dos atributos ou redundância. Quando alguma característica é reduzida, também a estrutura interna do classificador é modificada em conformidade. Para o processamento de DRSA, significa menos regras constituintes em um algoritmo de decisão, enquanto para uma rede neural artificial, suas camadas ficam menores por remoção de neurônios.
se tal rede menor classificar não pior do que antes da redução, significa que a relevância da entrada descartada recentemente é negligenciável e pode ser tratada como redundante. A performance é ilustrada na Fig. 2, enquanto Fig. 3 mostra o que acontece com a precisão de classificação do sistema quando as características de entrada são reduzidas enquanto segue a classificação an invertida. Os dois gráficos dos figos. 2 e 3 mostram as mesmas tendências que são visíveis no desempenho previamente traçado dos Classificadores DRSA na Fig. 1.
ANN classificação rigor observado sequencial para trás processo de eliminação, em relação ao número de considerados recursos, e para cada uma média, não é indicado máximos e mínimos de desempenho
precisão de classificação de ANN em relação ao número de características, observado na redução para trás dos inputs, enquanto segue a classificação de ANN invertida. Para cada média, não é indicado máximos e mínimos de desempenho
Quando comparamos DRSA e ANN Classificações de uns contra os outros, e analisar as pontuações atribuídas a todos os atributos, podemos ver que apesar de ambos os tipos de classificadores de operar com os mesmos conjuntos de dados, as ordenações resultantes da redução de recursos são diferentes, apenas o último recurso é o mesmo em ambos os rankings: a frequência de uso para “não”. Este é um resultado direto das características inerentes dos indutores que são transferidos para os rankings calculados com sua ajuda.
Como wrappers são muitas vezes acusados de tal viés, as classificações obtidas devem ser observadas no processo de redução de características para outros sistemas de classificação, combinando wrappers do mesmo e o diferente tipo, para avaliar a sua utilidade através de testes, o que é ilustrado na próxima seção.
empregando classificação de características na sua redução
após a categorização geral de abordagens de selecção de características, a classificação pertence com filtros. Na pesquisa apresentada, dois rankings foram obtidos usando invólucros baseados em DRSA e ANN, dados na direita-a maioria das colunas das Tabelas 1 e 2. Estas ordenações foram usadas em seguida para filtrar os atributos condicionais do conjunto original de 25, na eliminação para trás das variáveis de entrada para novos classificadores.
os detalhes da aplicação da classificação de ANN à redução para trás dos atributos no processamento de DRSA, que resulta numa solução híbrida, são apresentados no quadro 3. Em primeiro lugar, subconjuntos de recursos com cardinalidades crescentes foram rejeitados, e então para os restantes subconjuntos, novos algoritmos de decisão foram induzidos, com fornecendo apenas uma cobertura mínima MCDA, e também com inferir todas as regras sobre exemplos FDA.
uma vez que a classificação precisão é geralmente tratado como o mais importante fator que indica a qualidade da solução obtida, podemos concentrar a nossa atenção em dois (g) colunas na Tabela 3, ou você pode encontrar um gráfico na Fig. 4. Para tanto MCDA e FDA classificadores, há vários casos de melhoria ou mesmo desempenho quando os recursos são reduzidos, mas o ganho, considerada em termos de um número de rejeitados recursos, ou um aumento na precisão de previsão, ou de um número menor de regras de decisão restantes no algoritmo, não é tão alta como foi observado anteriormente para o simples ANN ou MCDA wrappers.
Classificação rigor para MCDA e FDA algoritmos de decisão induzida depois para trás atributo de eliminação com base em ANN Ranking, em relação ao número de recursos
em Vez de reduzir condicional atributos e, em seguida, inferindo novos algoritmos de decisão, o que pode ser muito demorado, nós também podemos eliminar esses atributos descartando as regras de com-lhes condições, limitando-se todas as regras de exemplos algoritmo de decisão induzida anteriormente para todos os recursos . Tal abordagem pode ser considerada como execução de classificação para as regras de decisão.
em primeiro lugar, para cada regra no algoritmo induzido, é atribuída uma pontuação, baseando-se em pontuações individuais para todos os atributos incluídos na parte da premissa da regra. De todas estas pontuações elementares, correspondentes às condições constituintes, é escolhido o mais alto, indicando o atributo que é percebido como o menos importante; assim, o primeiro a ser eliminado, e esta pontuação é dada à regra de decisão. Então todas as regras são ordenadas por suas pontuações, e em cada passo de redução, todas as regras com uma determinada pontuação são rejeitadas, o que resulta em algoritmos de decisão reduzidos.
os pormenores do procedimento de classificação das regras da presente decisão são apresentados no quadro 4. Para comparação, existem também resultados listados da redução do algoritmo FDA, enquanto que seguindo o Ranking an invertido, ambos plotados também na Fig. 5.
Aplicação de ANN Ranking na redução do FDA resulta na inclinação bastante acentuada diminuição do número restante de regras de decisão, enquanto os classificadores prever, com o mesmo ou apenas um pouco menor precisão. O Ranking Ann Reversed traz uma redução muito mais lenta do algoritmo, mas o desempenho é piorado instantaneamente e irreparavelmente.
redução do algoritmo FDA, seguindo o Ranking ANN e seu reverso. A precisão da previsão é plotado em relação ao número de recursos
Como o estabelecimento de DRSA Ranking através sequencial para trás a eliminação com a geração de um mínimo de cobertura de decisão, algoritmos é tratada como um processo separado, esta classificação pode também ser usado no procedimento de decisão a regra de classificação e de redução, limitando-se todas as regras de exemplos algoritmo, os resultados são apresentados na Tabela 5 e o desempenho mostrado na Fig. 6.
As tendências visíveis na precisão de previsão de redução de decisão, algoritmos, enquanto seguinte DRSA Ranking e seu reverso diretamente, relembrar esses observado anteriormente no wrapper modo, quando o ranking foi criado. Os procedimentos permitem filtrar essas regras do algoritmo FDA que contêm condições em atributos irrelevantes e algoritmos de retorno com número significativamente menor de regras de decisão, mantendo ou mesmo aumentando a precisão da classificação.
Redução de todas as regras de exemplos algoritmo de decisão enquanto seguinte DRSA recurso ranking e seu reverso
Quando DRSA Ranking foi empregado na redução de entrada de características para a rede neural artificial, que resultou em ainda outra solução híbrida. Em cada fase de eliminação, um único recurso foi desconsiderado e a influência dele no desempenho da rede estudada, como plotado na Fig. 7. Quando o ranking invertido é explorado (Fig. 8), a comparação destes dois grafos revela uma semelhança muito próxima com a exibida na Fig. 1, ilustrando o desempenho da embalagem DRSA que emprega a SBE.
redução das características do Classificador ANN, seguindo a classificação DRSA. A precisão preditiva é plotada em relação ao número de características, e para cada média, há indicado desempenho máximo e mínimo
redução das características do Classificador ANN, seguindo o ranking DRSA invertido. A precisão preditiva é plotada em relação ao número de características, e para cada média, há indicado desempenho máximo e mínimo
a partir de todas as combinações testadas de embalagens, o melhor desempenho foi exibido para classificadores ANN empregando classificação DRSA na eliminação reversa de recursos (Fig. 7). Bons resultados também foram obtidos na redução de todas as regras sobre exemplos algoritmos gerados para todas as características, enquanto seguindo o ranking DRSA(Tabela 5; Fig. 6). Neste caso, no entanto, isso pode ser explicado pelo viés wrapper quando dois sistemas do mesmo tipo, compartilhando as mesmas características, são combinados. O mesmo não pode ser afirmado para o primeiro caso, uma vez que as diferenças entre os classificadores DRSA e ANN são claramente mostradas no processo observado de eliminação sequencial para trás das características, resultando em duas classificações distintamente diferentes.
Usando ANN Ranking para trás atributo de redução e, em seguida, induzindo novas regras e algoritmos para todas as regras de exemplos permite descartar oito variáveis (32 %) antes de o desempenho começa a diminuir (Tabela 3, Fig. 4). ANN Ranking in FDA reduction brings also rejection of eight variables and as many as 51.888 decision rules (83 %). A aplicação de rankings invertidos, ambos baseados em DRSA e ANN, sempre resultou em pior desempenho.
resultados do conjunto de dados sobre formas de onda
os atributos do conjunto de dados sobre formas de onda não estão descritos em pormenor no repositório de UCI ML; portanto, por conveniência, eles eram simplesmente rotulados de forma a1 a a21 e as duas classes de decisão correspondiam aos tipos de onda selecionados, Tipo 0 e tipo 1. Os dois rankings obtidos pela eliminação sequencial para os classificadores DRSA e ANN são apresentados na Tabela 6, com detalhes de algoritmos induzidos e desempenho para ambos os sistemas, que também é plotada para ambos os tipos de sistemas de classificação na Fig. 9.
o Desempenho de DRSA e ANN classificadores observado no sequencial para trás a eliminação de características
O desempenho de classificadores é comparado com o outro e para o ponto de referência constituído por a precisão de previsão obtidos para o conjunto completo de 21 de atributos. Algoritmo de decisão de cobertura mínima induzido classificou apenas 65 % com 55 regras limitadas a 20 por constrangimentos no suporte para ser igual a pelo menos 3. Todas as regras sobre exemplos algoritmos alcança um rácio de reconhecimento de 74% (31.718 regras limitadas a 58 para suporte igual ou superior a 48). ANN com 21 características de entrada reconhecidas corretamente 89 % das amostras de teste.
Quando DRSA Ranking de recursos é aplicada para redução sistemática de insumos para connectionist classificadores, na fase inicial de um aumento de desempenho pode ser observado (ver Fig. 10), mas a tendência visível não é estritamente monotônica. O mesmo ranking também é empregado para a redução de regras selecionadas de todas as regras sobre exemplos de algoritmo nos procedimentos descritos antes e neste processo ganhos significativos podem ser observados: podemos reduzir 17 de 21 atributos (perto de 81 %) e ainda ter maior desempenho. Isto, no entanto, vem sem surpresa, pois ambos os indutores compartilham as mesmas características gerais, daí o viés resultante.
a Poda de insumos para ANN classificador comparado a poda de regras a partir de todas as regras de exemplos algoritmo de decisão induzida para o conjunto completo de atributos, com redução de dimensionalidade executado enquanto seguinte DRSA Ranking
a Imposição de ANN Ranking no DRSA de processamento é realizado novamente em duas formas: ou para os subconjuntos gradualmente decrescentes de atributos condicionais novas regras de decisão são induzidas (tanto MCDA quanto FDA), ou o conjunto de regras do algoritmo de decisão completa inferida anteriormente é analisado e algumas regras rejeitadas quando se referem a características descartadas. Os detalhes de todas as soluções resultantes são apresentados no quadro 7. A partir do desempenho observado, podemos detectar que para todas as regras sobre exemplos, é possível rejeitar 13 de 21 variáveis condicionais (quase 62 %), enquanto não só o reconhecimento não é pior, mas aumentou.
Quando todas as regras de exemplos de decisão de algoritmos (um novo e reduzido FDA) são comparados em cada fase, torna-se evidente que eles são, na verdade, muito perto. Mesmo que os números de regras envolvidas não sejam sempre exatamente os mesmos, a precisão de classificação resultante é quase idêntica, o que sugere a escolha da segunda maneira, ou seja, com a redução da FDA gerada para o conjunto completo de recursos em vez de induzir novos algoritmos. Requer muito menos esforço, pois a parte mais difícil dos cálculos já é executada. Uma vez estabelecido algum tipo de método de Poda de regras, a sua execução pode ser menos exigente do que o processo de indução.
para comparação, também alguns testes para rankings invertidos foram realizados, com descartando os atributos de menor ranking, mas os resultados foram piores quando comparados com a solução correspondente para a maioria das variáveis de ranking, com diferenças dependendo do número de elementos reduzidos, muitas vezes aumentando junto com ele.
todos os experimentos realizados, tanto para os conjuntos de dados estilométricos como para as formas de onda, confirmam a utilidade da metodologia proposta de combinar invólucros para estimar a relevância das características utilizadas em seguida à sua redução para trás.