Análise do desempenho de chatbots na resolução de questões de Química em provas do ENEM

Janaina Batista Cazuza da Silva; Bruno Silva Leite

doi:10.31417/educitec.v12.2796

Autores

Janaina Batista Cazuza da Silva Universidade Federal Rural de Pernambuco https://orcid.org/0009-0003-5699-6900
Bruno Silva Leite Universidade Federal Rural de Pernambuco https://orcid.org/0000-0002-9402-936X

DOI:

https://doi.org/10.31417/educitec.v12.2796

Palavras-chave:

ensino de Química, inteligência artificial generativa, provas do ENEM, tecnologias digitais na educação

Resumo

Atualmente, a Inteligência Artificial Generativa (IAGen), como os chatbots, tem se consolidado como uma tecnologia com grande potencial de apoio ao ensino e à aprendizagem, inclusive no campo da Química. Essas ferramentas podem favorecer a autonomia dos estudantes ao oferecer explicações de conteúdos e diferentes formas de acesso à informação. Todavia, persistem dúvidas quanto à exatidão e à confiabilidade das respostas geradas, devido às limitações inerentes a esses sistemas. O Exame Nacional do Ensino Médio (ENEM) representa uma das principais vias de acesso ao ensino superior e tem em um de seus critérios a avaliação da área do conhecimento de Ciências da Natureza, a qual compreende assuntos de Química. Esta pesquisa teve como objetivo analisar o desempenho dos chatbots de IAGen em responder às questões de Química do Exame. A partir de uma abordagem qualitativa foram analisadas as questões de Química do ENEM no período de 2014 a 2024 utilizando diferentes sistemas de IAGen (ChatGPT, Gemini, LuzIA e Copilot), comparando as respostas geradas. Os resultados evidenciam que os chatbots apresentaram alto índice de acertos em questões que possuíam baixa complexidade conceitual, mas demonstraram limitações diante de questões que necessitavam de maior interpretação ou domínio teórico. Identifica-se que as ferramentas utilizadas possuem potencial para apoiar o trabalho docente, entretanto desde que o uso seja acompanhado por uma mediação crítica e domínio adequado na elaboração de prompts específicos. Este estudo aponta a importância do uso consciente dessas ferramentas, bem como a necessidade de docentes e estudantes preparados para seu uso.

Downloads

Não há dados estatísticos.

Biografia do Autor

Janaina Batista Cazuza da Silva, Universidade Federal Rural de Pernambuco

Graduanda em Licenciatura em Química, Universidade Federal Rural de Pernambuco - UFRPE. Recife, Pernambuco, Brasil.

Bruno Silva Leite, Universidade Federal Rural de Pernambuco

Doutor em Química, pela Universidade Federal de Pernambuco - UFPE. Professor da Universidade Federal Rural de Pernambuco – UFRPE. Recife, Pernambuco, Brasil.

Referências

BACHELARD, G. A formação do espírito científico: contribuição para uma psicanálise do conhecimento. Rio de Janeiro: Contraponto, 1996.

CLARK, T. M. Investigating the use of an artificial intelligence chatbot with general chemistry exam questions. Journal of Chemical Education, [s. l.], v. 100, n. 5, p. 1905–1916, 2023. Disponível em: https://pubs.acs.org/doi/10.1021/acs.jchemed.3c00027. Acesso em: 28 abr. 2025.

EVANGELISTA, A. H. A. MOTA; J. F.; LOPES, R.; OLIVEIRA; S. M. Impactos da incorporação da Inteligência Artificial no ensino de Matemática: um Estado do Conhecimento. Educitec - Revista de Estudos e Pesquisas sobre Ensino Tecnológico, Manaus, v. 11, p. e265425, 2025. Disponível em: https://sistemascmc.ifam.edu.br/educitec/index.php/educitec/article/view/2654/1223. Acesso em: 19 dez. 2025.

GRASSINI, S. Shaping the future of education: exploring the potential and consequences of AI and ChatGPT in educational settings. Education Sciences, Basileia, v. 13, n. 7, p. 692, 2023. Disponível em: https://www.mdpi.com/2227-7102/13/7/692. Acesso em: 9 maio 2025.

KING, M. R. The future of AI in medicine: A perspective from a chatbot. Annals of Biomedical Engineering, [s. l.], v. 51, p. 291-295, 2023. Disponível em: https://link.springer.com/article/10.1007/s10439-022-03121-w. Acesso em: 25 abr. 2025.

LEITE, B. S. Análise da inteligência artificial ChatGPT na proposição de planos de aulas para o ensino da química. Revista Electrónica de Enseñanza de las Ciencias, [s. l.], v. 23, n. 3, p. 473-497, 2024. Disponível em: https://reec.uvigo.es/volumenes/volumen23/REEC_23_03_07_ex2207_1077.pdf. Acesso em: 20 abr. 2025.

LEITE, B. S. Generative Artificial Intelligence in chemistry teaching: ChatGPT, Gemini, and Copilot’s content responses. Journal of Applied Learning & Teaching, [s. l.], v. 7, n. 2, p. 1-15, 2024. Disponível em: https://journals.sfu.ca/jalt/index.php/jalt/article/view/1941. Acesso em: 9 abr. 2025.

MENTA, E.; BRITO, G. S. O papel da Inteligência Artificial no Ensino Tecnológico: implicações emergentes. Educitec - Revista de Estudos e Pesquisas sobre Ensino Tecnológico, Manaus, v. 10, p. e232524, 2024. Disponível em: https://sistemascmc.ifam.edu.br/educitec/index.php/educitec/article/view/2325/1075. Acesso em: 19 dez. 2025

NASCIMENTO JUNIOR, W. J. D.; MORAIS, C.; GIROTTO JUNIOR, G. Enhancing AI responses in chemistry: integrating text generation, image creation, and image interpretation through different levels of prompts. Journal of Chemical Education, [s. l.], v. 101, n. 9, p. 3767-3779, 2024. Disponível em: https://pubs.acs.org/doi/10.1021/acs.jchemed.4c00230. Acesso em: 12 de abr. 2025.

PAVLIK, J. V. Collaborating With ChatGPT: Considering the Implications of Generative Artificial Intelligence for Journalism and Media Education. Journalism & Mass Communication Educator, [s. l.], v. 78, n.1, p. 84-93, 2023. Disponível em: https://journals.sagepub.com/doi/epub/10.1177/10776958221149577. Acesso em: 3 abr. 2025.

RIBEIRO, G. C.; SANTOS, S. M. A. V.; VERNER, A. R.; GOUVEA, A. P.; VIEIRA, H. N.; GOMES, M. D. T.; SANTOS, O. J.; VIANA, S. C.; MARTINS, V. F. R. Inteligência artificial na educação: potencialidades e limites para o século XXI. Revista Aracê, [s. l.], v. 6, n. 4, p. 13867–13883, 2024. Disponível em: https://periodicos.newsciencepubl.com/arace/article/view/2117. Acesso em: 1 jun. 2025.

TELES, L. M. G.; SILVA, L. P.; SILVA, L. O. Percepções de professores de Química da Amazônia paraense sobre a incorporação da inteligência artificial no ensino. Areté, Revista Digital del Doctorado en Educación, Caracas, v. 10, n. especial, p. 141-158, 2024. Disponível em: https://saber.ucv.ve/ojs/index.php/rev_arete/article/view/29457. Acesso em: 15 abr. 2025.