Como converter imagens em Markdown para RAG

4.0K views
•
September 21, 2025
by
Sandeco
YouTube video player
Como converter imagens em Markdown para RAG

TL;DR

O MarkItDown converte imagens em descrições textuais usando uma LLM, permitindo salvar o conteúdo em Markdown para alimentar agentes e sistemas RAG. O exemplo demonstra a configuração com OpenAI, um prompt em português e a conversão de imagens locais ou por URL. A integração com Gemini é anunciada por meio de um adaptador, mas sua implementação não aparece no trecho transcrito.

Transcript

Você me pediu bastante vários comentários, olha só, pedindo para que eu fizesse imagem para Mark Dow usando a biblioteca da Microsoft, Mark It Down. E é exatamente isso que nós vamos ver agora aqui no canal Sandeco. Beleza? Olá, tudo bem? Eu sou Sandec, eu sou professor e pesquisador pelo Instituto Federal de Goiás e pela Universidade Federal de Go... Read More

Key Insights

  • O MarkItDown usa uma LLM para descrever imagens e transformar seu conteúdo visual em texto Markdown.
  • A configuração demonstrada conecta um cliente OpenAI ao MarkItDown e seleciona o modelo GPT-5 mini.
  • O prompt do exemplo solicita uma descrição detalhada da imagem em português, organizada em três parágrafos.
  • As chaves das APIs da OpenAI e do Gemini são colocadas em um arquivo .env durante a preparação.
  • A conversão demonstrada aceita tanto uma imagem local quanto o endereço de uma imagem disponível online.
  • A descrição da imagem com dois cérebros omitiu a identificação da logomarca da OpenAI ao fundo.
  • As descrições em Markdown podem alimentar uma base vetorizada de RAG para pesquisar imagens por conteúdo.
  • A integração com Gemini é anunciada com um adaptador, cuja implementação não aparece na transcrição.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: Como converter uma imagem em Markdown com o MarkItDown e a OpenAI?

A conversão demonstrada começa com a preparação de um projeto Python que já possui o MarkItDown instalado com seus plugins. O apresentador adiciona a biblioteca da OpenAI e o suporte ao arquivo .env, onde coloca as chaves das APIs. Em seguida, importa as bibliotecas, cria um cliente OpenAI e configura o objeto MarkItDown com esse cliente, o modelo escolhido e um prompt de descrição. Depois, passa a imagem para a operação de conversão e grava o texto retornado em um arquivo Markdown. Nesse fluxo, o MarkItDown cuida da comunicação necessária para obter a descrição da imagem.

Q: Como solicitar descrições de imagens em português com o MarkItDown?

O exemplo utiliza o parâmetro de prompt da LLM para solicitar explicitamente uma descrição detalhada em português do Brasil, organizada em três parágrafos. Segundo o apresentador, sem essa orientação adicional, o resultado seria gerado em inglês. A instrução é colocada na configuração do MarkItDown junto com o cliente e o modelo. Na execução mostrada, o arquivo final contém uma descrição em português da pessoa, das representações de cérebros e dos elementos gráficos ao fundo. Portanto, o controle de idioma e de organização do texto é feito pela instrução enviada ao modelo.

Q: É possível converter uma imagem online em Markdown sem salvá-la localmente?

Sim. A demonstração utiliza o endereço de uma imagem online diretamente como entrada da conversão. O apresentador abre um artigo científico, encontra a figura que representa sua metodologia e copia o endereço dessa imagem. Depois, substitui a referência à imagem local pelo link no projeto e executa o processamento, salvando o resultado em um arquivo Markdown de metodologia. O texto produzido descreve um fluxo vertical dividido em seis faixas horizontais, com etapas sucessivas de uma revisão sistemática. Esse exemplo mostra a conversão por URL sem a etapa manual de salvar a imagem no projeto.

Q: Como usar descrições de imagens em um sistema RAG?

A proposta apresentada é gerar uma descrição textual de cada imagem, salvá-la em Markdown e inserir esse conteúdo em uma base vetorizada usada pelo sistema RAG. Assim, uma pergunta sobre elementos visuais pode ser relacionada ao texto que descreve esses elementos. O exemplo citado é uma busca por uma imagem de uma pessoa segurando dois cérebros, que poderia recuperar a imagem descrita anteriormente. A transcrição apresenta essa aplicação como uma possibilidade do fluxo de conversão. Ela não demonstra a construção da base vetorizada nem a execução completa da busca.

Q: Qual é a função da LLM na conversão de imagens para Markdown?

A LLM interpreta o conteúdo visual e produz a descrição textual que será salva em Markdown. Na demonstração, ela identifica características da pessoa, cores, formas dos cérebros ilustrados e elementos do fundo. Em outro exemplo, descreve a organização de uma figura de metodologia de revisão sistemática. O MarkItDown recebe a configuração do cliente, do modelo e do prompt, e conduz o processo de conversão. O resultado mostrado é uma representação textual do conteúdo da imagem, útil para alimentar agentes ou sistemas RAG que utilizam essas descrições.

Q: O que o material mostra sobre a integração do Gemini com o MarkItDown?

O material anuncia uma integração com Gemini por meio de um código Python que atua como adaptador. A ideia descrita é apresentar o Gemini ao MarkItDown como se fosse um cliente da OpenAI, permitindo que a ferramenta aceite essa integração. A descrição também afirma que o código-fonte, incluindo o adaptador, está disponível gratuitamente por meio do acesso indicado ao grupo. Contudo, o trecho transcrito termina antes da implementação com Gemini. Assim, ele sustenta a proposta do adaptador, mas não permite reconstruir seu código, seus parâmetros ou sua execução.

Q: Quais limitações aparecem na descrição de imagens gerada pela IA?

A limitação observada é a omissão de um elemento visual presente na imagem usada como exemplo. Embora a descrição detalhe a pessoa, os cérebros ilustrados, suas cores e aspectos do fundo, o apresentador aponta que o modelo não identificou a logomarca da OpenAI atrás dele. Isso mostra que uma descrição extensa pode deixar de reconhecer um componente relevante da composição. O exemplo permite avaliar esse resultado específico, mas não apresenta uma medição geral de precisão. Para essa imagem, a comparação feita durante a demonstração evidencia a diferença entre o conteúdo visível e o texto produzido.

Q: Como o MarkItDown pode ajudar a representar figuras de artigos científicos?

O exemplo usa uma figura de metodologia de um artigo sobre revisão de literatura para detecção de drones em aeroportos. O apresentador fornece o endereço online da imagem ao MarkItDown e salva a descrição em Markdown. O resultado identifica um fluxo vertical com seis faixas horizontais que representam etapas sucessivas de uma revisão sistemática. A aplicação proposta é incorporar o conteúdo textual de figuras ao processamento de documentos e a sistemas RAG. A demonstração mostra a conversão dessa figura isolada, enquanto a integração com o conteúdo de um PDF é mencionada como possibilidade.

Summary & Key Takeaways

  • A demonstração configura o MarkItDown com um cliente OpenAI, o modelo GPT-5 mini e um prompt que solicita três parágrafos em português. A descrição gerada é salva em um arquivo Markdown.

  • O fluxo aceita uma imagem local e o endereço de uma imagem online. Os exemplos descrevem uma composição com dois cérebros e um diagrama de metodologia de revisão sistemática.

  • As descrições podem alimentar agentes e uma base vetorizada de RAG para buscar imagens pelo conteúdo. Um adaptador para Gemini é anunciado, mas o trecho fornecido não mostra sua implementação.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚