Design e implementação de teste adaptativo computadorizado utilizando dados do ENEM

Autores

DOI:

https://doi.org/10.31417/educitec.v12.2771

Palavras-chave:

avaliação educacional, teste adaptativo computadorizado, tecnologias digitais

Resumo

A presente pesquisa objetiva o desenvolvimento e o design experimental de um Teste Adaptativo Computadorizado (CAT), a partir da plataforma R e de seus modelos estatísticos e computacionais destinados à modelagem psicométrica e à simulação de testes baseados na Teoria de Resposta ao Item (TRI). O estudo utiliza dados reais da prova de Linguagens e Códigos (LC) do Exame Nacional do Ensino Médio (ENEM), referentes às edições de 2021 a 2023. Para a calibração dos parâmetros dos itens do teste, foi definida uma amostra de 3.000 respondentes aos itens da prova de LC do ENEM. Os parâmetros dos itens foram calibrados por meio do modelo logístico de três parâmetros. A partir dos parâmetros calibrados pela TRI, o CAT construído seleciona, de maneira adaptativa, itens adequados ao nível de habilidade/proficiência de cada participante, reduzindo o número total de questões em comparação aos testes tradicionais. Essa redução contribui para menor fadiga e diminui a probabilidade de respostas aleatórias. Para testar a viabilidade do CAT, foram realizados testes experimentais com 12 alunos concluintes do ensino médio. Os resultados indicam que o CAT é sensível às características das proficiências individuais, ao permitir a identificação de perfis de desempenho distintos entre os respondentes. As conclusões destacam o CAT como um instrumento de avaliação adaptativo, reforçando seu potencial para análises educacionais baseadas em dados quantitativos e evidências, bem como para subsidiar intervenções pedagógicas direcionadas e individualizadas.

Downloads

Não há dados estatísticos.

Biografia do Autor

Erika Tiemi Anabuki, Centro Federal de Educação Tecnológica de Minas Gerais

Pós-doutoranda pelo Programa de Pós-graduação em Educação da Universidade Federal de Juiz de Fora (PPGE-UFJF). Professora EBTT no Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG), Campus Leopoldina, Minas Gerais, Brasil.

Tufi Machado Soares, Universidade Federal de Juiz de Fora

Pós-doutorado em Educação pelo Programa de Pós-graduação em Educação da Universidade Católica do Rio de Janeiro (PUC-RJ) e em Estatística pelo Programa de Pós-graduação em Estatística da Universidade Federal do Rio de Janeiro (UFRJ). Professor Titular do Programa de Pós-graduação em Educação e Programa de Pós-graduação em Estatística da Universidade Federal de Juiz de Fora (UFJF), Campus Juiz de Fora, Minas Gerais, Brasil.

Rafaela Reis Azevedo de Oliveira, Universidade Federal de Juiz de Fora

Doutorado em Educação pelo Programa de Pós-graduação em Educação da Universidade Federal de Juiz de Fora (PPGE-UFJF). Professora do Programa de Pós-graduação em Educação da Universidade Federal de Juiz de Fora (UFJF), Campus Juiz de Fora, Minas Gerais, Brasil.

Referências

ALMEIDA, M. E. B.; VALENTE, J. A. (Org.). Tecnologia na escola: a entrada da inteligência artificial na educação. São Paulo: Loyola, 2023.

ALUISIO, S. M.; PITON-GONÇALVES, J. Teste adaptativo computadorizado multidimensional com propósitos educacionais: princípios e métodos. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 87, p. 389-414, 2015. Disponível em: https://www.scielo.br/pdf/ensaio/v23n87/0104-4036-ensaio-23-87-389.pdf. Acesso em: 11 nov. 2024.

ALVES, L. M. A. Um estudo sobre testes adaptativos computadorizados baseados na Teoria da Resposta ao Item. 2018. 94 f. Dissertação (Mestrado em Estatística) – Universidade Federal do Ceará, Fortaleza, 2018. Disponível em: https://repositorio.ufc.br/handle/riufc/33278. Acesso em: 12 nov. 2024.

BAYLÉ, S.; DESMARAIS, M. C. Artificial intelligence in computerized adaptive testing: review and new prospects. International Journal of Artificial Intelligence in Education, [S.l.], v. 30, n. 4, p. 589–622, 2020. Disponível em: https://link.springer.com/article/10.1007/s40593-020-00218-3. Acesso em: 11 dez. 2024.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP. Exame Nacional do Ensino Médio. Documentação técnica do Enem e Microdados. Brasília: INEP, 2024.

CARVALHO, S. M. P. de; SANTOS, M. A. B. dos. Tecnologias digitais, mocinhas ou vilãs? olhares sobre o impacto na cognição dos estudantes. Educitec - Revista de Estudos e Pesquisas sobre Ensino Tecnológico, Manaus, v. 7, p. e126121, 2021. Disponível em: https://doi.org/10.31417/educitec.v7.1261. Acesso em: 11 dez. 2025.

CATALANI, E. M. T. Teste adaptativo informatizado da Provinha Brasil: a construção de um instrumento de apoio para professores(as) e gestores(as) de escolas. 2019. 282 f. Tese (Doutorado em Educação) – Faculdade de Educação, Universidade de São Paulo, São Paulo, 2019.

CHANG, H.; ZHANG, J. Recent advances in computerized adaptive testing with applications in educational assessment. Educational Measurement: Issues and Practice, [S.l.], v. 40, n. 2, p. 3–14, 2021. Disponível em: https://onlinelibrary.wiley.com/journal/17453992. Acesso em: 12 dez. 2024.

CHALMERS, R. P. mirt: Multidimensional Item Response Theory. R package version 2.3.0, 2025. Disponível em: https://cran.r-project.org/package=mirt. Acesso em: 11 mar. 2025.

CHALMERS, R. P. mirtCAT: Computerized Adaptive Testing with the 'mirt' Package. R package version 1.6.0, 2024. Disponível em: https://cran.r-project.org/package=mirtCAT. Acesso em: 11 mar. 2025.

COSTA, T. F. F. Testes adaptativos informatizados (TAI) e desafios da avaliação da proficiência em leitura nos anos iniciais do Ensino Fundamental: um modelo de análise de alternativas de itens de múltipla escolha como contribuição para o sucesso escolar. 2023. Dissertação (Mestrado em Educação) – Universidade de São Paulo, São Paulo, 2023.

EGGEN, T. J. H. M. Psychometric developments in computerized adaptive testing: a review. Psychometrika, [S.l.], v. 87, p. 637–659, 2022. Disponível em: https://doi.org/10.1007/s11336-022-09852-w. Acesso em: 10 nov. 2024.

FERNANDES, P. G. Testes adaptativos computadorizados como um processo de decisão markoviano: equilíbrio ótimo entre eficiência e precisão. 2022. 201 f. Tese (Doutorado em Estatística) – Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, 2022. Disponível em: https://bdtd.ibict.br/vufind/Record/USP_dc0aacd41eb9cfa241fad78b9e79d2b9. Acesso em: 16 fev. 2025.

HOFFMANN, J. Avaliação mediadora: uma prática em construção da pré-escola à universidade. 33. ed. Porto Alegre: Mediação, 2014.

JALOTO, A.; PRIMI, R. Enem de próxima geração com menos itens e alta confiabilidade usando CAT. Estudos em Avaliação Educacional, São Paulo, v. 35, e10142, 2024. Disponível em: https://doi.org/10.18222/eae.v35.10142_port. Acesso em: 11 fev. 2025.

KLEIN, R. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 78, p. 35-56, 2013. Disponível em: http://www.scielo.br/pdf/ensaio/v21n78/aop_0213.pdf. Acesso em: 11 jan. 2025.

LIN, C. et al. Application of machine learning algorithms to online adaptive testing with real-time feedback. British Journal of Educational Technology, [S.l.], v. 51, n. 6, p. 2193–2211, 2020. Disponível em: https://onlinelibrary.wiley.com/journal/14678535. Acesso em: 14 dez. 2024.

LUCKESI, C. C. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 1998.

MAGALHÃES, T. R.; ALVES, A. M. S.; CÉSAR, C. M. Desenvolvimento de um teste adaptativo informatizado com pacotes R. Revista Brasileira de Informática na Educação, [S.l.], v. 30, n. 1, p. 162–183, 2022. Disponível em: https://sol.sbc.org.br/journals/index.php/rbie/article/view/21198. Acesso em: 19 fev. 2025.

PASQUALI, L.; PRIMI, R. Fundamentos da teoria da resposta ao item – TRI. Avaliação Psicológica, [S.l.], v. 2, n. 2, p. 99-110, 2003. Disponível em: https://arquivos.ufrrj.br/arquivos/2023038199fe6037813060b8467bb780aTRI_pasquali.pdf. Acesso em: 11 nov. 2024.

PEREIRA, J. Testes adaptativos computadorizados: uma abordagem prática utilizando o software R. 2020. 85 f. Trabalho de Conclusão de Curso (Bacharelado em Estatística) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2020. Disponível em: https://lume.ufrgs.br/handle/10183/214913. Acesso em: 19 jan. 2025.

PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais. 2012. 153 f. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2012. Acesso em: 13 dez. 2024.

PITON-GONÇALVES, J. Testes adaptativos para o Enade: uma aplicação metodológica. Revista Meta: Avaliação, [S.l.], v. 12, n. 36, p. 37–56, 2020. Disponível em: https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/2735. Acesso em: 14 fev. 2025.

RIBEIRO, D. C.; SILVA, M. P. Influência dos aspectos formativos e geracionais no uso das tecnologias digitais na prática pedagógica: o que dizem os professores?. Educitec - Revista de Estudos e Pesquisas sobre Ensino Tecnológico, Manaus, v. 8, p. e202022, 2022. Disponível em: https://doi.org/10.31417/educitec.v8.2020. Acesso em: 10 dez. 2025.

RYAN, W. et al. Shiny: Web Application Framework for R. R package version 1.7.8, 2025. Disponível em: https://cran.r-project.org/package=shiny. Acesso em: 14 mar. 2025.

SOUSA, D. Comparação entre testes adaptativos computadorizados e testes tradicionais em larga escala no Brasil. 2021. 123 f. Dissertação (Mestrado em Avaliação de Políticas Públicas) – Universidade Federal do Ceará, Fortaleza, 2021. Disponível em: https://repositorio.ufc.br/handle/riufc/57987. Acesso em: 20 mar. 2025.

SPENASSATO, D. et al. Testes adaptativos computadorizados aplicados em avaliações educacionais. Revista Brasileira de Informática na Educação, [S.l.], v. 24, n. 2, p. 1-12, 2016. Disponível em: http://milanesa.ime.usp.br/rbie/index.php/rbie/article/view/6416. Acesso em: 15 mar. 2025.

TABAK, G. C. et al. Teste adaptativo multiestágio para o ENEM. Revista Brasileira de Informática na Educação, [S.l.], v. 31, p. 1–18, 2023. Disponível em: https://journals-sol.sbc.org.br/index.php/rbie/article/view/2529. Acesso em: 11 dez. 2024.

TRAVITZKI, R. et al. Teste adaptativo informatizado da Provinha Brasil-Leitura: Resultados e perspectivas. Estudos em Avaliação Educacional, São Paulo, v. 31, n. 78, p. 525-553, 2020. Disponível em: https://publicacoes.fcc.org.br/eae/article/view/7216. Acesso em: 21 jan. 2025.

VAN DER LINDEN, W. J.; GLAS, C. A. W. (Ed.). Elements of adaptive testing. New York: Springer, 2010.

Downloads

Publicado

26-02-2026

Como Citar

ANABUKI, Erika Tiemi; SOARES, Tufi Machado; OLIVEIRA, Rafaela Reis Azevedo de. Design e implementação de teste adaptativo computadorizado utilizando dados do ENEM. Educitec - Revista de Estudos e Pesquisas sobre Ensino Tecnológico, Manaus, Brasil, v. 12, n. jan./dez., p. e277126, 2026. DOI: 10.31417/educitec.v12.2771. Disponível em: https://sistemascmc.ifam.edu.br/educitec/index.php/educitec/article/view/2771. Acesso em: 8 mar. 2026.

Edição

Seção

Dossiê temático - IA no ensino e em pesquisa no ensino: desafios, potencialidades e perspectivas