Os tutores de IA funcionam? A resposta curta
Sim, os tutores de IA funcionam quando são construídos para reter as respostas. Não, e de forma mensuravelmente pior do que nada, quando não são. Essa única variável separa os ensaios deste artigo com mais nitidez do que o modelo, a disciplina ou o país.
As evidências mais fortes de cada lado chegaram com três semanas de diferença, em junho de 2025. Um ensaio controlado randomizado de Harvard constatou que alunos usando um tutor de IA feito sob medida aprenderam mais do que alunos de uma aula de física com aprendizagem ativa, e em menos tempo. Um ensaio publicado na PNAS, com cerca de cinquenta turmas de ensino médio na Turquia, constatou que alunos com acesso ao GPT-4 comum tiveram desempenho 17% pior na prova do que colegas que nunca o tiveram.
Os dois usaram GPT-4. O tutor de Harvard era fortemente restringido por regras pedagógicas. O braço turco chamado "GPT Base" era uma janela de chat comum. Se você levar uma única coisa desta pesquisa, leve esta: um tutor de IA é um conjunto de restrições sobreposto a um modelo, e as restrições são o produto.
O ensaio de Harvard: o dobro dos ganhos, em menos tempo
Kestin e colegas, em Harvard, conduziram o ensaio em uma grande turma de física da graduação no outono de 2023 e o publicaram na Scientific Reports em 3 de junho de 2025, sob o título "AI tutoring outperforms in-class active learning". A amostra foi de 194 alunos.
O que torna este estudo digno de leitura atenta é o grupo de controle. Ele não era uma aula expositiva. O programa de física de Harvard já opera salas de aprendizagem ativa, que é o formato que supera a aula expositiva em décadas de pesquisa sobre ensino de física. O tutor de IA foi medido contra a melhor prática atual, não contra a pior coisa que uma universidade faz.
O resultado de manchete: os ganhos medianos de aprendizagem do grupo com tutor de IA ficaram em mais que o dobro dos do grupo presencial. Os números de tempo importam tanto quanto. O tempo mediano dedicado à tarefa na condição com IA foi de 49 minutos, contra cerca de uma hora de aula. Os alunos também relataram se sentir mais engajados e mais motivados.
O tutor em si não era um chatbot com um nome bonito. Os pesquisadores escreveram a pedagogia dentro do prompt: avançar uma pergunta de cada vez, manter o aluno produzindo em vez de lendo, seguir a mesma sequência didática usada nas aulas presenciais. O próprio enquadramento do artigo é que o desenho veio primeiro e o modelo foi um mecanismo de entrega.
Duas ressalvas que a cobertura costuma pular. Foram dois tópicos em uma única disciplina, em uma universidade com alunos excepcionalmente bem preparados, conduzidos em formato cruzado, de modo que cada aluno passou pelas duas condições. Cobre duas aulas, não um semestre. Impressionante, mas ainda não é uma afirmação sobre o que acontece ao longo de quinze semanas.
O ensaio turco: grandes ganhos na prática, queda de 17% na prova
Hamsa Bastani, Osbert Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı e Rei Mariman conduziram o contrapeso. O artigo deles, "Generative AI without guardrails can harm learning: Evidence from high school mathematics", saiu na PNAS em 25 de junho de 2025.
O desenho era maior que o de Harvard: quase mil alunos em cerca de cinquenta turmas do 9º, 10º e 11º ano de uma escola de ensino médio turca, em quatro sessões de 90 minutos. Três braços:
- Controle: sem IA.
- GPT Base: uma interface de chat GPT-4 padrão.
- GPT Tutor: GPT-4 com duas salvaguardas, descritas a seguir.
Durante a prática, a IA parecia espetacular. Os alunos do braço GPT Tutor resolveram os exercícios 127% melhor que o controle. Os do GPT Base foram 48% melhores. Se o estudo tivesse parado aí, seria o resultado mais citado da tecnologia educacional.
Então os pesquisadores tiraram a IA e aplicaram uma prova. Os alunos do GPT Base tiraram 17% menos do que alunos que nunca haviam encostado nela. Não pior do que eles mesmos durante a prática. Pior do que o grupo de controle. A leitura dos autores é direta: os alunos usaram o GPT-4 como muleta, e a muleta estava sustentando o peso.
O braço GPT Tutor evitou o estrago. Também não produziu benefício. O artigo relata a estimativa pontual da prova nesse braço como −0.004, uma ordem de grandeza menor que o dano na condição base e estatisticamente indistinguível de zero. As salvaguardas funcionaram exatamente até o ponto de "não causar dano", e nada além disso.
Esse resultado merece mais atenção do que recebe, porque é ele que complica os dois lados. Os entusiastas da IA citam os 127%. Os críticos citam os 17%. Quase ninguém cita a constatação de que o tutor bem projetado empatou com não fazer nada.
A única decisão de design que define se um tutor de IA ajuda
Eis o que o prompt do GPT Tutor continha e a condição base não. Primeiro, uma instrução para dar dicas ao aluno sem entregar a resposta diretamente. Segundo, material fornecido pelo professor para cada problema: pelo menos uma solução correta, os erros que os alunos costumam cometer nele e como responder a esses erros.
É isso. Mesmo modelo, mesmos alunos, os mesmos 90 minutos. A diferença entre "17% pior do que nada" e "nenhum dano" foram algumas centenas de palavras de instrução e o conhecimento de um professor sobre onde os alunos tropeçam.
Olhe os outros ensaios e a mesma variável reaparece. O estudo Tutor CoPilot, de Stanford, constatou que tutores com assistência de IA tinham menos probabilidade de entregar a resposta e mais probabilidade de fazer perguntas condutoras. O LearnLM, do Google, foi elogiado pelos tutores justamente por "rascunhar perguntas socráticas". O tutor de Harvard foi construído para manter os alunos produzindo respostas em vez de recebê-las.
| Ensaio | Contexto | N | O que a IA podia fazer | Resultado |
|---|---|---|---|---|
| Kestin et al. 2025 (Sci Rep) | Física em Harvard, uma aula | 194 | Pedagogia roteirizada, uma pergunta por vez | Ganhos medianos >2x os da aprendizagem ativa, em 49 min |
| Bastani et al. 2025, GPT Base (PNAS) | Matemática no ensino médio turco | ~1,000 no total | Qualquer coisa (chat GPT-4 comum) | 17% pior na prova do que sem IA |
| Bastani et al. 2025, GPT Tutor (PNAS) | Igual | Igual | Só dicas, escritas pelo professor, sem respostas | Nenhum dano, nenhum ganho mensurável (−0.004) |
| Wang et al., Tutor CoPilot (Stanford) | Escolas Title I nos EUA, tutoria ao vivo | 900 tutores, 1,800 alunos | Sugerir perguntas condutoras a um tutor humano | +4 pp de domínio do tópico, +9 pp para tutores pior avaliados |
| De Simone et al. 2025 (Banco Mundial) | Nigéria, inglês no contraturno | ~760 analisados | Sessões supervisionadas por professor, IA para a prática | +0.31 DP no geral, +0.23 DP em inglês |
| LearnLM / Eedi 2025 | Cinco escolas secundárias do Reino Unido | 165 | Rascunhar mensagens socráticas para tutores humanos aprovarem | +5.5 pp em problemas inéditos |
O padrão entre os ensaios de tutores de IA não é sutil. Todo braço que produziu ganho manteve um humano no circuito, ou manteve a resposta fora de alcance, ou as duas coisas. O único braço que removeu toda a fricção produziu o único resultado negativo da tabela.
Isso se encaixa em algo que a ciência da aprendizagem defende há cinquenta anos. As dificuldades desejáveis são as condições que fazem o aprendizado parecer mais difícil e fixar melhor. Um chatbot sem restrições é uma máquina de remover dificuldade. Ele é ótimo em fazer os próximos vinte minutos parecerem produtivos, que é exatamente a sensação descrita pela ilusão de competência.
A meta-análise retratada sobre o ChatGPT que continuam citando
Se você leu qualquer coisa otimista sobre IA e aprendizagem no último ano, provavelmente esbarrou neste número: g = 0.867, "um grande impacto positivo no desempenho de aprendizagem". Ele veio de uma meta-análise de 51 estudos, de Jin Wang e Wenxiang Fan, publicada na Humanities and Social Sciences Communications em maio de 2025. O trabalho relatava ainda g = 0.456 para percepção de aprendizagem e g = 0.457 para pensamento de ordem superior.
Ela foi retratada em 22 de abril de 2026.
O motivo declarado pela revista foram "discrepâncias na meta-análise" que "minam a confiança do Editor na validade da análise e nas conclusões dela extraídas". As dúvidas foram levantadas por Magnus Ingebrigtsen e Marko Lukic, dois pesquisadores da UiT The Arctic University of Norway. Eles descobriram que a contagem de estudos não fechava e que os dois estudos de maior peso jamais deveriam ter entrado na análise. O ponto mais afiado deles: o próprio funnel plot do artigo apontava para um efeito agregado mais perto de 0.5 do que de 0.867, e o artigo não trazia nenhum forest plot, algo estranho de faltar em uma meta-análise.
Os estudos incluídos também tinham problemas. Um deles já havia sido retratado. Outros estavam rotulados de forma errada, ou eram pequenos demais, ou relatavam efeitos grandes demais para serem críveis, ou não controlavam fatores de confusão óbvios. Os autores não responderam à correspondência sobre a retratação.
O artigo já foi citado mais de 800 vezes no Google Scholar, 435 no contador da própria editora, e está no percentil 99 de atenção. Um número retratado não para de circular quando é retratado. Ele segue circulando em apresentações, páginas de fornecedores e matérias de jornal por anos, o que vale lembrar na próxima vez que uma página de produto citar um ganho de melhoria suspeitosamente redondo. A mesma cautela vale quando você for avaliar qualquer ferramenta de estudo com IA pelo marketing dela.
O dois sigma de Bloom nunca foi o parâmetro
O outro número que assombra esta área é o de Benjamin Bloom, de um artigo de 1984 na Educational Researcher intitulado "The 2 Sigma Problem". Bloom relatou que a tutoria individual levava o aluno médio a dois desvios padrão acima de uma sala de aula convencional, e formulou o desafio como encontrar métodos coletivos capazes de igualar isso. Todo discurso de "a IA vai dar um tutor pessoal a cada criança" está, sabendo ou não, prometendo dois sigma.
Isso nunca foi replicado.
A revisão de Kurt VanLehn, de 2011, na Educational Psychologist, situou a tutoria humana mais perto de d = 0.79, com sistemas tutores inteligentes baseados em passos entre 0.75 e 0.76. Isso ainda é um efeito grande pelos padrões da educação. Também é menos da metade do que a manchete de Bloom prometia. Uma meta-análise de 2020 com 96 estudos de tutoria chegou a 0.37, e nenhum dos 96 produziu um efeito de dois sigma.
Há uma razão metodológica específica para o número original ter saído alto, e ela não é a tutoria. Os alunos tutorados de Bloom também recebiam questionários extras, feedback corretivo e reteste em cada unidade, e depois um segundo questionário com perguntas novas que o grupo de comparação, a turma inteira, nunca chegou a fazer. Paul von Hippel, que voltou às duas teses originais para a Education Next, documenta essa lacuna. Parte do "dois sigma" é uma diferença na quantidade de testagem e de correção que cada grupo recebeu.
Isso importa na hora de ler as promessas dos tutores de IA. Se um fornecedor insinua que a IA está fechando uma distância de dois sigma, a distância que ele descreve foi medida uma única vez, em condições que ninguém reproduziu. Avalie a ferramenta contra d = 0.3 a 0.8, que é o que boas intervenções de fato entregam, e o resultado de Harvard continua impressionante enquanto as promessas de marketing começam a parecer ridículas.
Tutores de IA em campo: Nigéria, Stanford e Reino Unido
Três estudos de campo tiraram os tutores de IA da sala de seminário.
Nigéria. Uma equipe do Banco Mundial (De Simone, Tiberti, Barron Rodriguez, Manolio, Mosuro e Dikoru) conduziu um programa de inglês no contraturno em Benin City ao longo de seis semanas, em junho e julho de 2024. Foram randomizados 1,328 alunos do primeiro ano do ensino médio, dos quais cerca de 760 fizeram a avaliação final. Os alunos se encontravam duas vezes por semana em laboratórios de informática, um professor abria cada sessão com um comando e depois circulava, e eles trabalhavam em duplas com o Microsoft Copilot rodando sobre o GPT-4. O programa produziu 0.31 desvios padrão na avaliação geral e 0.23 em inglês especificamente. A análise de custo-efetividade da equipe colocou os ganhos no equivalente a 1.5 a 2 anos de escolarização comum, situando o programa entre as intervenções educacionais mais custo-efetivas já registradas.
Repare no formato dele. O artigo é explícito ao dizer que os professores não davam instrução direta: eles preparavam a sessão e supervisionavam. A IA cuidava da prática. Ninguém substituiu ninguém.
Stanford. O Tutor CoPilot, de Rose Wang, Ana Ribeiro, Carly Robinson, Susanna Loeb e Dora Demszky, foi o primeiro ensaio randomizado de um sistema humano mais IA em tutoria ao vivo: 900 tutores e 1,800 alunos da educação básica em escolas Title I. Alunos cujos tutores tinham acesso à ferramenta tiveram 4 pontos percentuais a mais de chance de dominar os tópicos. Os alunos dos tutores pior avaliados ganharam 9 pontos. O sistema custava cerca de $20 por tutor por ano.
Duas observações sobre isso. A implicação de equidade é a parte interessante: a ferramenta comprimiu a distância entre tutores fortes e fracos em vez de elevar todo mundo igualmente, empurrando os tutores fracos na direção do comportamento que os fortes já tinham. A ressalva honesta é que o ganho de 4 pontos está em verificações de domínio feitas por sessão. Os pesquisadores não encontraram melhora estatisticamente significativa nas notas de matemática no fim do ano.
Reino Unido. Um ensaio exploratório de 2025, feito pela equipe do LearnLM, do Google, com a Eedi, cobriu 165 alunos em cinco escolas secundárias britânicas. Alunos apoiados pelo LearnLM tiveram 5.5 pontos percentuais a mais de chance de resolver problemas inéditos em tópicos posteriores, 66.2% contra 60.7% dos tutores humanos trabalhando sozinhos. Os tutores aceitaram 76.4% das mensagens rascunhadas pela IA com nenhuma ou mínima edição. Amostra pequena, desenho exploratório, mas a direção é consistente.
Como transformar o ChatGPT em tutor de IA: 4 regras testadas nos ensaios
Você não pode comprar o tutor de Harvard. Você pode reconstruir a maior parte do que o fez funcionar, porque o mecanismo eram instruções, não infraestrutura. Estas quatro regras são as que os ensaios de fato testaram.
1. Proíba a resposta, em voz alta. Diga ao modelo que ele não pode lhe dar uma solução em nenhuma circunstância, apenas a próxima dica. Essa é exatamente a instrução que transformou o dano medido na PNAS em ausência de dano. Algo como: "Você é meu tutor. Nunca me dê a resposta nem uma solução completa, mesmo que eu peça duas vezes. Dê uma dica por vez e depois peça que eu tente de novo."
2. Alimente-o com os modos de falha. O prompt do GPT Tutor incluía notas escritas pelo professor sobre os erros mais comuns. Você pode se aproximar disso colando a sua própria tentativa errada e pedindo ao modelo que diagnostique o erro de raciocínio, em vez de corrigi-lo.
3. Obrigue-se a produzir primeiro. Responda antes de perguntar. A recuperação é onde a aprendizagem acontece, e um tutor que chega antes da sua tentativa substituiu o esforço em vez de apoiá-lo. Isto é recordação ativa com um parceiro de conversa do lado.
4. Encerre a sessão sem a IA. A prova turca é todo o aviso de que você precisa. Se você nunca se testa com a ferramenta fechada, não tem como saber qual dos dois sabe a matéria.
| Modo muleta | Modo tutor |
|---|---|
| "Resolva este problema" | "Cheguei a x = 4 e está errado. Qual é a primeira coisa que eu deveria checar?" |
| "Resuma este capítulo" | "Me faça cinco perguntas sobre este capítulo e depois corrija minhas respostas" |
| "Explique a fotossíntese" | "Eu vou explicar a fotossíntese para você. Me interrompa quando eu errar." |
| Lê a saída, sente-se informado | Escreve a resposta, e descobre |
Aquela terceira linha é o efeito protégé dentro de uma janela de chat, e é a melhoria mais barata desta lista. Explicar para um ouvinte paciente que nunca se entedia é uma das poucas coisas genuinamente novas que esta tecnologia oferece a quem aprende.
O que dar a um tutor de IA: sua própria leitura como currículo
Há uma lacuna em todos esses ensaios que vale nomear: todos eles forneceram o conteúdo. Harvard escreveu a aula de física, os professores turcos escreveram os problemas de matemática, a Eedi forneceu o banco de questões. Fora de uma sala de aula, ninguém lhe entrega um currículo.
O que significa que a primeira tarefa não é encontrar um tutor. É ter algo específico sobre o que ser tutorado.
É esse o argumento prático a favor de destacar em vez de só salvar nos favoritos. Um favorito salva uma página. Um destaque salva a decisão que você tomou sobre ela. Quando você lê com o marcador de textos da web do Glasp, os trechos que você extrai continuam ligados ao lugar de onde vieram. Cole doze deles em um prompt de tutoria e o modelo não consegue derivar para a versão mais genérica do assunto, porque você já disse a ele quais doze coisas importaram para você.
O mesmo vale para vídeo, que é onde boa parte da aprendizagem autodirigida acontece hoje. O YouTube Summary entrega a transcrição e os pontos principais, e é a transcrição que torna uma aula passível de virar questionário. Dali, o chat com IA do Glasp pode interrogar você sobre o seu próprio material salvo, em vez de sobre o entendimento médio que a internet tem do assunto. Quem avança por livros pode jogar os destaques do Kindle na mesma pilha.
Mais uma coisa que os ensaios não conseguem medir. A tutoria não é a única estrutura social que ensina. Abra um artigo na comunidade do Glasp e você vê quais trechos outros leitores marcaram na mesma peça. Esse é um retorno que nenhuma sessão individual produz: um registro do que outra pessoa achou que valia guardar. Está mais perto de como a leitura sempre funcionou do que o modelo de tutoria admite.
O que os tutores de IA ainda não conseguem fazer
Eles não percebem quando você está fingindo. Um tutor humano lê a hesitação. Um modelo lê texto, e um texto confiante escrito por um aluno confuso é idêntico a um texto confiante escrito por um aluno competente. O efeito muleta do estudo na PNAS é exatamente esse ponto cego em ação.
Eles não definem o objetivo. Todo ensaio bem-sucedido tinha um programa definido e uma avaliação definida. Motivação, sequenciamento e saber o que vale a pena aprender ficaram com os humanos em todas as linhas da tabela acima.
Eles ainda erram às vezes, e com fluência. Um tutor que inventa um passo plausível é pior do que nenhum tutor, porque o erro chega com voz de autoridade e você não tem motivo para conferir.
A evidência de longo prazo ainda não existe. O estudo mais longo aqui durou dois meses. Nada publicado diz o que um ano de estudo tutorado por IA faz com o conhecimento durável, e quem afirma o contrário está extrapolando.
E há a pergunta por baixo de tudo isso, que é onde fica a linha entre ser tutorado e ser carregado no colo. Tratamos disso separadamente em estudar com IA é trapaça?. A pesquisa aqui sugere que o teste honesto não é sobre permissão. É se você ainda consegue fazer aquilo sozinho.
Perguntas frequentes
Os tutores de IA realmente melhoram as notas?
Às vezes, e depende inteiramente de como o tutor está configurado. O tutor de IA restringido de Harvard produziu ganhos medianos de aprendizagem mais que o dobro dos de uma aula com aprendizagem ativa. O acesso irrestrito ao GPT-4, em um ensaio em uma escola de ensino médio turca, deixou os alunos 17% piores na prova do que colegas sem nenhuma IA. O modelo era o mesmo nos dois casos. As regras em torno dele, não.
O ChatGPT é um bom tutor?
Sem nenhuma configuração, ele é uma boa máquina de respostas e um tutor ruim, e é aí que está o problema. O ensaio publicado na PNAS mostrou que a correção é barata: instrua-o a dar apenas dicas, nunca soluções, e a pedir que você tente cada passo primeiro. Essa única mudança transformou um dano medido em nenhum dano, em um estudo com quase mil alunos.
Qual é o melhor tutor de IA em 2026?
Nenhum ensaio independente classificou os produtos comerciais uns contra os outros, então qualquer ranking que você leia é marketing. A evidência sustenta um desenho, não uma marca: um tutor que retém as respostas, trabalha um passo de cada vez e vem carregado com os erros específicos que as pessoas cometem naquele material. Você consegue se aproximar disso em qualquer ferramenta de chat que já pague.
A tutoria com IA pode substituir professores humanos?
Nada na evidência publicada sustenta isso. O programa nigeriano manteve o professor à frente da turma e usou a IA para a prática. O Tutor CoPilot, de Stanford, tornou os tutores humanos melhores em vez de substituí-los, e ajudou mais justamente os tutores mais fracos. No ensaio do LearnLM, tutores humanos aprovavam as mensagens da IA. Todo resultado positivo até agora é um resultado de humano mais IA.
Por que a meta-análise sobre ChatGPT e aprendizagem foi retratada?
A Humanities and Social Sciences Communications retratou a meta-análise de 2025 de Wang e Fan em 22 de abril de 2026, citando discrepâncias que minavam a confiança nas conclusões. Dois pesquisadores externos constataram que o conjunto de estudos estava inflado e os tamanhos de efeito superestimados, e apontaram que o próprio funnel plot do artigo indicava algo mais perto de g = 0.5 do que dos 0.867 relatados. Ele já foi citado mais de 800 vezes.
Usar um tutor de IA prejudica a memória de longo prazo?
Pode prejudicar, se ele remover o esforço de recuperação. O mecanismo está bem estabelecido desde muito antes da IA: material que você mesmo gera é lembrado melhor do que material que você lê. É por isso que os ensaios que funcionaram obrigavam os alunos a tentar primeiro. Combine qualquer sessão com IA com autoteste e revisão espaçada, com a ferramenta fechada.
Os tutores de IA funcionam? A versão honesta
A evidência é melhor do que os céticos dizem e muito mais estreita do que os fornecedores insinuam. Um ensaio bem projetado em uma universidade de ponta superou o melhor formato de sala de aula disponível, em menos tempo. Um ensaio maior, em uma escola de ensino médio, constatou que o mesmo modelo por baixo, sem restrições, causou dano real. A versão com salvaguardas desse mesmo tutor empatou com não fazer nada.
O que sobrevive a tudo isso é uma regra só: o valor está naquilo que o tutor se recusa a fazer. Retenha a resposta, carregue-o com os modos específicos pelos quais as pessoas erram aquele conteúdo, faça quem aprende produzir primeiro e depois teste com a ferramenta fechada.
Essa também é uma descrição decente do que um bom professor humano faz, o que talvez explique por que os resultados se agrupam onde se agrupam. O mecanismo é antigo. O que a tecnologia acrescenta é uma versão paciente dele, disponível às duas da manhã.
Comece por material que você de fato escolheu. Destaque o que importa enquanto lê, guarde isso em algum lugar onde possa questioná-lo depois e use a IA para interrogar você em vez de informar você. O Glasp foi feito para a primeira metade desse ciclo, e a segunda metade é a parte que a pesquisa diz que você não pode pular.
