Como detectar e tratar outliers no Orange Canvas

6.7K views
•
April 22, 2018
by
Sandeco
YouTube video player
Como detectar e tratar outliers no Orange Canvas

TL;DR

O widget de detecção de outliers do Orange Canvas separa observações anômalas dos dados considerados normais, permitindo visualizar, analisar e salvar cada grupo. A demonstração compara métodos baseados em SVM e estimativa de covariância, com ajustes que alteram a seleção. Excluir anomalias exige avaliar o objetivo da análise, pois elas podem representar justamente as fraudes que se deseja investigar.

Transcript

[Música] bom dia boa tarde boa noite pra você onde você estiver agora assistindo mais um vídeo do canal são deco hoje não será ao vivo como falei pra vocês na aula passada eu vou gravar a aula de hoje sobre horas de camas nós estaremos falando sobre auto lar e outline aqueles dados alienígenas dados estranhos que atrapalham as vezes a nossa análise... Read More

Key Insights

  • Outliers são observações numericamente distantes dos demais dados e exigem análise adicional.
  • Notas como 11 ou -1 exemplificam anomalias quando o intervalo esperado apresentado vai de 1 a 10.
  • A demonstração cria duas classes e acrescenta pontos afastados para simular observações anômalas.
  • O widget de outliers apresenta métodos baseados em SVM e em estimativa de covariância.
  • Valores altos do parâmetro nu podem fazer o método SVM separar muitos dados como anômalos.
  • O estimador de covariância usa uma fronteira elíptica para separar inliers de outliers.
  • As saídas de inliers e outliers podem alimentar gráficos e tabelas para inspeção separada.
  • Anomalias podem indicar fraudes, tornando sua preservação relevante para certas investigações.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: O que são outliers e por que eles exigem análise adicional?

Outliers são observações que se desviam muito do comportamento geral de um conjunto de dados ou de uma combinação de dados. A aula os descreve como valores numericamente distantes dos demais e associa sua identificação à detecção de anomalias. O exemplo apresentado é uma nota escolar que deveria estar entre 1 e 10, mas aparece como 11 ou -1. Esses registros indicam algo fora do esperado e exigem análise adicional. Dependendo do contexto, podem representar dados que atrapalham a análise ou acontecimentos relevantes que precisam ser investigados, como possíveis fraudes.

Q: Como montar um fluxo de detecção de outliers no Orange Canvas?

O fluxo demonstrado começa com a criação de dados artificiais organizados em duas classes, chamadas c1 e c2. Em seguida, são acrescentadas observações afastadas dos grupos para representar anomalias. Os dados gerados são conectados à entrada do widget de detecção de outliers, no qual se escolhe o método e se ajustam seus parâmetros. Depois da detecção, as saídas de inliers e outliers são encaminhadas para outros widgets. A aula utiliza gráficos de dispersão para visualizar os grupos, tabelas para inspecionar os registros e widgets de salvamento para exportar os conjuntos separados.

Q: Quais métodos de detecção de outliers são apresentados no Orange Canvas?

A demonstração apresenta dois métodos disponíveis no widget utilizado: um baseado em SVM e outro baseado em estimativa de covariância. Na explicação da aula, o método SVM trabalha com uma fronteira de decisão, enquanto a estimativa de covariância estabelece uma fronteira elíptica. Os pontos dentro dessa elipse são apresentados como inliers, e os que ficam fora são considerados outliers. Cada opção possui parâmetros que influenciam a separação dos dados. O exemplo permite observar como os ajustes modificam os resultados antes de encaminhar as observações selecionadas para gráficos, tabelas ou arquivos.

Q: Como o parâmetro nu influencia a detecção por SVM na demonstração?

O parâmetro nu é descrito na aula como um limite superior para a fração de erros de treinamento e um limite inferior para a fração de vetores de suporte. O apresentador mostra que um valor muito alto pode levar à separação de grande parte dos dados como anomalias, deixando poucos inliers. Por isso, recomenda cuidado ao ajustar esse controle e demonstra a escolha de 10% para observar o resultado. A orientação apresentada é modificar o valor até obter uma separação satisfatória, verificando quais observações permanecem no grupo considerado normal e quais são identificadas como outliers.

Q: Como funciona a estimativa de covariância para separar anomalias?

A estimativa de covariância é apresentada como um método que cria uma elipse de fronteira em torno dos dados. Na explicação, os pontos incluídos na elipse correspondem aos inliers, enquanto os pontos externos correspondem aos outliers. O widget oferece um fator de contaminação, que o apresentador aumenta para observar mudanças na quantidade de anomalias selecionadas. Também aparece uma fração de suporte, descrita como a proporção de pontos incluídos na estimativa. No conjunto artificial utilizado, a seleção é comparada com os oito pontos que haviam sido acrescentados como anomalias, permitindo inspecionar o resultado visualmente.

Q: Como visualizar separadamente os inliers e os outliers detectados?

A aula conecta as saídas do widget de detecção a dois gráficos de dispersão, destinando um aos inliers e outro aos outliers. Assim, é possível examinar separadamente as observações mantidas e as identificadas como anômalas. No exemplo artificial, o gráfico de outliers mostra os pontos afastados que haviam sido acrescentados às classes, enquanto o gráfico de inliers apresenta os grupos de observações próximas. As saídas também podem ser conectadas a uma tabela de dados. Essa visualização permite consultar os registros selecionados e avaliar se as anomalias correspondem às informações que a análise procura.

Q: Por que os outliers não devem ser excluídos automaticamente?

A exclusão de outliers depende do objetivo da análise. A aula apresenta essas observações como possíveis fontes de ruído, mas também destaca que elas podem conter as informações mais relevantes para uma investigação. A detecção de fraudes em cartões de crédito ou em análises de crédito é citada como exemplo de aplicação em que encontrar anomalias tem valor. Também são mencionadas possíveis fraudes e corrupção em dados governamentais. Portanto, antes de remover um registro, é necessário analisar o que ele representa e decidir se sua exclusão ajuda o trabalho ou elimina justamente o fenômeno procurado.

Q: Como salvar os dados normais e as anomalias em arquivos separados?

O procedimento demonstrado utiliza widgets de salvamento conectados às saídas do detector de outliers. Para guardar as observações consideradas normais, conecta-se a saída de inliers ao widget responsável por salvar os dados. Para preservar as anomalias, utiliza-se a saída de outliers em uma conexão de salvamento separada. A aula mostra os conjuntos exportados em CSV e abertos no Excel, com os valores separados por vírgulas. Essa organização permite manter uma base destinada à continuidade da análise e outra contendo as observações anômalas, que podem ser examinadas conforme o objetivo do trabalho.

Summary & Key Takeaways

  • Outliers são observações distantes do comportamento esperado dos dados. Podem prejudicar uma análise, mas também revelar fraudes, por isso sua exclusão depende do objetivo e exige avaliação adicional.

  • A demonstração cria duas classes e pontos anômalos no Orange Canvas. O widget de outliers oferece detecção por SVM e estimativa de covariância, com parâmetros que modificam quais observações são separadas.

  • As saídas de inliers e outliers são conectadas a gráficos, tabelas e widgets de salvamento. Isso permite inspecionar os grupos e exportar separadamente os dados mantidos e as anomalias para análise.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚