Como agrupar textos com Transformer no Orange

2.3K views
•
April 1, 2023
by
Sandeco
YouTube video player
Como agrupar textos com Transformer no Orange

TL;DR

Textos podem ser agrupados por afinidade semântica no Orange Canvas ao converter documentos em vetores numéricos e aplicar K-means. O fluxo demonstrado importa artigos de um CSV, gera embeddings e permite selecionar grupos em um gráfico para consultar os documentos e suas nuvens de palavras. Essa organização ajuda a planejar a leitura de artigos com assuntos semelhantes.

Transcript

hoje eu vou usar a mesma rede que o pessoal fez o chat GPT a rede Transformer dentro do Óleo de Canvas para analisar textos Olá bom dia boa tarde boa noite hoje eu vou fazer com vocês aqui uma coisa bacana que é o seguinte eu vou fazer agrupamento de textos certo de textos mesmo por semântica usando Deep learn dentro do Ora de Canvas vai ser bem le... Read More

Key Insights

  • Artigos armazenados em CSV são a entrada do fluxo de agrupamento de textos apresentado no Orange Canvas.
  • Select Columns permite excluir autores e identificadores antes de preparar os artigos para análise.
  • Corpus Viewer permite consultar o texto completo de cada artigo e conferir o conteúdo usado no fluxo.
  • O exemplo com Transformer gera um vetor de 384 componentes numéricos para representar cada documento.
  • K-means agrupa os embeddings e permite avaliar quantidades de grupos entre 2 e 8 usando silhouette.
  • A troca do método de embedding para fastText produz dois grupos no conjunto de artigos demonstrado.
  • A seleção de pontos no Scatter Plot permite consultar os artigos correspondentes em uma Data Table.
  • A nuvem de palavras revela termos frequentes pouco informativos que motivam ajustes no pré-processamento.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: Como agrupar artigos por afinidade semântica no Orange Canvas?

O procedimento demonstrado começa pela importação de um CSV contendo os artigos. Em seguida, Select Columns permite escolher os campos relevantes, e Corpus prepara os documentos para o processamento textual. O fluxo inclui uma etapa de pré-processamento e o widget Document Embedding, que transforma o conteúdo dos artigos em vetores numéricos. Esses vetores são enviados ao K-means para formar grupos. Depois, Scatter Plot permite visualizar e selecionar os resultados. A seleção pode alimentar uma Data Table e uma nuvem de palavras, ajudando a consultar os artigos e observar o vocabulário dos documentos escolhidos.

Q: Como preparar um arquivo CSV de artigos para análise textual no Orange?

O arquivo usado na demonstração contém textos completos de artigos, títulos, resumos e palavras-chave, além de informações que o apresentador considera desnecessárias para o agrupamento. Após carregar o CSV, ele utiliza Data Table para inspecionar os registros e Select Columns para retirar campos como autores e identificadores. Em seguida, conecta os dados ao Corpus e configura as informações que serão lidas como texto. Uma nova consulta à tabela permite verificar o conteúdo disponível. Corpus Viewer também é conectado para conferir os artigos individualmente e visualizar seus textos completos antes de continuar o processamento.

Q: O que os embeddings representam na análise de artigos demonstrada?

Os embeddings são apresentados como representações numéricas dos documentos, descritas como uma assinatura de cada texto. No exemplo com Transformer, Document Embedding gera um vetor de 384 componentes para cada artigo. O apresentador confere esse resultado em Data Table, onde os componentes aparecem em colunas numéricas junto das informações dos documentos. Cada linha passa a conter a representação do artigo correspondente. O próximo passo utiliza esses vetores como entrada do K-means. Assim, o agrupamento trabalha sobre os valores produzidos pelo processamento dos textos, permitindo organizar os documentos em grupos que o apresentador interpreta como conjuntos com afinidades de conteúdo.

Q: Como escolher a quantidade de grupos no K-means nesse fluxo?

Na configuração demonstrada, o K-means permite fixar uma quantidade de grupos ou avaliar quantidades entre 2 e 8. O apresentador prefere a opção de avaliação e explica que ela utiliza a medida silhouette para procurar uma quantidade adequada de clusters. Após o processamento, ele abre uma Data Table para observar os rótulos de grupo atribuídos aos artigos, como C1, C2 e C3. Esses resultados são conectados ao Scatter Plot para visualização. A demonstração mostra esse procedimento de escolha e inspeção, mas não apresenta uma quantidade que deva ser adotada para qualquer conjunto de documentos.

Q: Como consultar os artigos selecionados no Scatter Plot do Orange?

O fluxo conecta os resultados do agrupamento ao Scatter Plot e liga a seleção do gráfico a uma Data Table. Quando o apresentador seleciona um ponto, o artigo correspondente aparece na tabela. Quando seleciona vários pontos, a tabela mostra os documentos incluídos naquela seleção. Essa ligação permite passar da visualização dos grupos à consulta dos registros que os compõem. O apresentador também menciona a possibilidade de salvar os artigos selecionados para leitura posterior. Dessa maneira, o gráfico funciona como uma etapa de exploração dos resultados e de escolha dos textos que serão consultados em conjunto.

Q: Como a nuvem de palavras ajuda a explorar os grupos de artigos?

A nuvem de palavras é conectada à seleção do Scatter Plot para mostrar o vocabulário dos textos escolhidos. Na demonstração, o apresentador seleciona documentos e observa uma nuvem com muitas palavras. Ele identifica termos frequentes que considera pouco representativos do assunto dos artigos, incluindo palavras comuns em inglês. Essa observação leva ao retorno à etapa de pré-processamento, onde pretende retirar termos que não ajudam a caracterizar o conteúdo. A nuvem permite, portanto, examinar as palavras presentes na seleção e perceber quando o vocabulário exibido precisa de ajustes para facilitar a interpretação dos documentos agrupados.

Q: Por que o apresentador recomenda ler artigos por grupos semânticos?

A recomendação parte da rotina descrita de reunir artigos científicos em uma base e depois ler cada documento individualmente. O apresentador propõe realizar o agrupamento antes dessa leitura, usando as representações numéricas dos textos para organizar artigos com afinidades de conteúdo. Segundo sua interpretação, os documentos de um mesmo grupo tratam de assuntos semelhantes, o que torna interessante lê-los em conjunto. O fluxo permite selecionar um grupo no gráfico, consultar seus artigos na tabela e salvar a seleção. A proposta é usar o resultado do agrupamento para organizar a sequência de leitura do material reunido.

Q: Como o pré-processamento e a escolha do embedding aparecem na demonstração?

O apresentador começa desativando as opções de pré-processamento, incluindo a remoção de stop words, para observar posteriormente seus efeitos. Mais adiante, a nuvem de palavras exibe termos frequentes que ele considera pouco úteis para representar os assuntos dos artigos, motivando um retorno a essa etapa. A demonstração também altera o método de embedding: após usar a configuração com Transformer e a opção multilíngue, ele seleciona fastText com indicação de inglês. Essa mudança produz dois grupos no conjunto mostrado. O trecho termina durante o retorno ao pré-processamento, sem apresentar o resultado final dos ajustes de limpeza textual.

Summary & Key Takeaways

  • O fluxo começa com artigos em CSV, seleciona as colunas relevantes e cria um Corpus. Data Table e Corpus Viewer permitem conferir títulos, resumos, palavras-chave e textos completos antes da análise.

  • Document Embedding transforma os artigos em vetores numéricos. O exemplo com Transformer gera 384 componentes por documento, usados pelo K-means para agrupar textos conforme suas afinidades.

  • Scatter Plot permite selecionar artigos e consultar os resultados em uma tabela ou nuvem de palavras. A presença de termos frequentes pouco informativos motiva ajustes no pré-processamento.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚