Humanos vs. inteligências artificiais em revisões sistemáticas: avaliação nas etapas de seleção por títulos e resumos

Resumo

A Inteligência Artificial (IA) tem se consolidado como ferramenta relevante na pesquisa científica, especialmente no apoio a tarefas analíticas e repetitivas que demandam elevado esforço humano. No contexto da pesquisa educacional, as Revisões Sistemáticas de Literatura (RSL) representam processos complexos e demorados, sobretudo nas etapas iniciais de triagem. Este estudo analisa a eficácia de duas IAs generativas em suas versões gratuitas (ChatGPT e Gemini) no apoio às fases iniciais de uma RSL sobre a interseção entre Pensamento Computacional, Química e STEM/STEAM. Dois revisores humanos analisaram, de forma independente, os títulos e resumos de 1.051 artigos. Paralelamente, as duas IAs realizaram a mesma triagem, sob supervisão de um terceiro revisor. Na análise dos títulos, as IAs selecionaram diversos artigos com termos-chave relevantes, mas sem relação direta com o foco da pesquisa, gerando quantidade significativa de falsos positivos. Por outro lado, na análise dos resumos, as IAs demonstraram maior precisão, identificando inclusive artigos elegíveis não selecionados pelos revisores humanos. Dois desses estudos relevantes foram recuperados apenas pelas ferramentas de IA, evidenciando seu potencial como apoio complementar. Os resultados indicam que, embora apresentem limitações na triagem inicial, as IAs podem contribuir significativamente para acelerar as etapas preliminares de RSL, especialmente quando utilizadas como suporte complementar ao julgamento humano.