Design e implementação de teste adaptativo computadorizado utilizando dados do ENEM
DOI:
https://doi.org/10.31417/educitec.v12.2771Palavras-chave:
avaliação educacional, teste adaptativo computadorizado, tecnologias digitaisResumo
A presente pesquisa objetiva o desenvolvimento e o design experimental de um Teste Adaptativo Computadorizado (CAT), a partir da plataforma R e de seus modelos estatísticos e computacionais destinados à modelagem psicométrica e à simulação de testes baseados na Teoria de Resposta ao Item (TRI). O estudo utiliza dados reais da prova de Linguagens e Códigos (LC) do Exame Nacional do Ensino Médio (ENEM), referentes às edições de 2021 a 2023. Para a calibração dos parâmetros dos itens do teste, foi definida uma amostra de 3.000 respondentes aos itens da prova de LC do ENEM. Os parâmetros dos itens foram calibrados por meio do modelo logístico de três parâmetros. A partir dos parâmetros calibrados pela TRI, o CAT construído seleciona, de maneira adaptativa, itens adequados ao nível de habilidade/proficiência de cada participante, reduzindo o número total de questões em comparação aos testes tradicionais. Essa redução contribui para menor fadiga e diminui a probabilidade de respostas aleatórias. Para testar a viabilidade do CAT, foram realizados testes experimentais com 12 alunos concluintes do ensino médio. Os resultados indicam que o CAT é sensível às características das proficiências individuais, ao permitir a identificação de perfis de desempenho distintos entre os respondentes. As conclusões destacam o CAT como um instrumento de avaliação adaptativo, reforçando seu potencial para análises educacionais baseadas em dados quantitativos e evidências, bem como para subsidiar intervenções pedagógicas direcionadas e individualizadas.
Downloads
Referências
ALMEIDA, M. E. B.; VALENTE, J. A. (Org.). Tecnologia na escola: a entrada da inteligência artificial na educação. São Paulo: Loyola, 2023.
ALUISIO, S. M.; PITON-GONÇALVES, J. Teste adaptativo computadorizado multidimensional com propósitos educacionais: princípios e métodos. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 87, p. 389-414, 2015. Disponível em: https://www.scielo.br/pdf/ensaio/v23n87/0104-4036-ensaio-23-87-389.pdf. Acesso em: 11 nov. 2024.
ALVES, L. M. A. Um estudo sobre testes adaptativos computadorizados baseados na Teoria da Resposta ao Item. 2018. 94 f. Dissertação (Mestrado em Estatística) – Universidade Federal do Ceará, Fortaleza, 2018. Disponível em: https://repositorio.ufc.br/handle/riufc/33278. Acesso em: 12 nov. 2024.
BAYLÉ, S.; DESMARAIS, M. C. Artificial intelligence in computerized adaptive testing: review and new prospects. International Journal of Artificial Intelligence in Education, [S.l.], v. 30, n. 4, p. 589–622, 2020. Disponível em: https://link.springer.com/article/10.1007/s40593-020-00218-3. Acesso em: 11 dez. 2024.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP. Exame Nacional do Ensino Médio. Documentação técnica do Enem e Microdados. Brasília: INEP, 2024.
CARVALHO, S. M. P. de; SANTOS, M. A. B. dos. Tecnologias digitais, mocinhas ou vilãs? olhares sobre o impacto na cognição dos estudantes. Educitec - Revista de Estudos e Pesquisas sobre Ensino Tecnológico, Manaus, v. 7, p. e126121, 2021. Disponível em: https://doi.org/10.31417/educitec.v7.1261. Acesso em: 11 dez. 2025.
CATALANI, E. M. T. Teste adaptativo informatizado da Provinha Brasil: a construção de um instrumento de apoio para professores(as) e gestores(as) de escolas. 2019. 282 f. Tese (Doutorado em Educação) – Faculdade de Educação, Universidade de São Paulo, São Paulo, 2019.
CHANG, H.; ZHANG, J. Recent advances in computerized adaptive testing with applications in educational assessment. Educational Measurement: Issues and Practice, [S.l.], v. 40, n. 2, p. 3–14, 2021. Disponível em: https://onlinelibrary.wiley.com/journal/17453992. Acesso em: 12 dez. 2024.
CHALMERS, R. P. mirt: Multidimensional Item Response Theory. R package version 2.3.0, 2025. Disponível em: https://cran.r-project.org/package=mirt. Acesso em: 11 mar. 2025.
CHALMERS, R. P. mirtCAT: Computerized Adaptive Testing with the 'mirt' Package. R package version 1.6.0, 2024. Disponível em: https://cran.r-project.org/package=mirtCAT. Acesso em: 11 mar. 2025.
COSTA, T. F. F. Testes adaptativos informatizados (TAI) e desafios da avaliação da proficiência em leitura nos anos iniciais do Ensino Fundamental: um modelo de análise de alternativas de itens de múltipla escolha como contribuição para o sucesso escolar. 2023. Dissertação (Mestrado em Educação) – Universidade de São Paulo, São Paulo, 2023.
EGGEN, T. J. H. M. Psychometric developments in computerized adaptive testing: a review. Psychometrika, [S.l.], v. 87, p. 637–659, 2022. Disponível em: https://doi.org/10.1007/s11336-022-09852-w. Acesso em: 10 nov. 2024.
FERNANDES, P. G. Testes adaptativos computadorizados como um processo de decisão markoviano: equilíbrio ótimo entre eficiência e precisão. 2022. 201 f. Tese (Doutorado em Estatística) – Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, 2022. Disponível em: https://bdtd.ibict.br/vufind/Record/USP_dc0aacd41eb9cfa241fad78b9e79d2b9. Acesso em: 16 fev. 2025.
HOFFMANN, J. Avaliação mediadora: uma prática em construção da pré-escola à universidade. 33. ed. Porto Alegre: Mediação, 2014.
JALOTO, A.; PRIMI, R. Enem de próxima geração com menos itens e alta confiabilidade usando CAT. Estudos em Avaliação Educacional, São Paulo, v. 35, e10142, 2024. Disponível em: https://doi.org/10.18222/eae.v35.10142_port. Acesso em: 11 fev. 2025.
KLEIN, R. Alguns aspectos da Teoria de Resposta ao Item relativos à estimação das proficiências. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 78, p. 35-56, 2013. Disponível em: http://www.scielo.br/pdf/ensaio/v21n78/aop_0213.pdf. Acesso em: 11 jan. 2025.
LIN, C. et al. Application of machine learning algorithms to online adaptive testing with real-time feedback. British Journal of Educational Technology, [S.l.], v. 51, n. 6, p. 2193–2211, 2020. Disponível em: https://onlinelibrary.wiley.com/journal/14678535. Acesso em: 14 dez. 2024.
LUCKESI, C. C. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 1998.
MAGALHÃES, T. R.; ALVES, A. M. S.; CÉSAR, C. M. Desenvolvimento de um teste adaptativo informatizado com pacotes R. Revista Brasileira de Informática na Educação, [S.l.], v. 30, n. 1, p. 162–183, 2022. Disponível em: https://sol.sbc.org.br/journals/index.php/rbie/article/view/21198. Acesso em: 19 fev. 2025.
PASQUALI, L.; PRIMI, R. Fundamentos da teoria da resposta ao item – TRI. Avaliação Psicológica, [S.l.], v. 2, n. 2, p. 99-110, 2003. Disponível em: https://arquivos.ufrrj.br/arquivos/2023038199fe6037813060b8467bb780aTRI_pasquali.pdf. Acesso em: 11 nov. 2024.
PEREIRA, J. Testes adaptativos computadorizados: uma abordagem prática utilizando o software R. 2020. 85 f. Trabalho de Conclusão de Curso (Bacharelado em Estatística) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 2020. Disponível em: https://lume.ufrgs.br/handle/10183/214913. Acesso em: 19 jan. 2025.
PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais. 2012. 153 f. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2012. Acesso em: 13 dez. 2024.
PITON-GONÇALVES, J. Testes adaptativos para o Enade: uma aplicação metodológica. Revista Meta: Avaliação, [S.l.], v. 12, n. 36, p. 37–56, 2020. Disponível em: https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/2735. Acesso em: 14 fev. 2025.
RIBEIRO, D. C.; SILVA, M. P. Influência dos aspectos formativos e geracionais no uso das tecnologias digitais na prática pedagógica: o que dizem os professores?. Educitec - Revista de Estudos e Pesquisas sobre Ensino Tecnológico, Manaus, v. 8, p. e202022, 2022. Disponível em: https://doi.org/10.31417/educitec.v8.2020. Acesso em: 10 dez. 2025.
RYAN, W. et al. Shiny: Web Application Framework for R. R package version 1.7.8, 2025. Disponível em: https://cran.r-project.org/package=shiny. Acesso em: 14 mar. 2025.
SOUSA, D. Comparação entre testes adaptativos computadorizados e testes tradicionais em larga escala no Brasil. 2021. 123 f. Dissertação (Mestrado em Avaliação de Políticas Públicas) – Universidade Federal do Ceará, Fortaleza, 2021. Disponível em: https://repositorio.ufc.br/handle/riufc/57987. Acesso em: 20 mar. 2025.
SPENASSATO, D. et al. Testes adaptativos computadorizados aplicados em avaliações educacionais. Revista Brasileira de Informática na Educação, [S.l.], v. 24, n. 2, p. 1-12, 2016. Disponível em: http://milanesa.ime.usp.br/rbie/index.php/rbie/article/view/6416. Acesso em: 15 mar. 2025.
TABAK, G. C. et al. Teste adaptativo multiestágio para o ENEM. Revista Brasileira de Informática na Educação, [S.l.], v. 31, p. 1–18, 2023. Disponível em: https://journals-sol.sbc.org.br/index.php/rbie/article/view/2529. Acesso em: 11 dez. 2024.
TRAVITZKI, R. et al. Teste adaptativo informatizado da Provinha Brasil-Leitura: Resultados e perspectivas. Estudos em Avaliação Educacional, São Paulo, v. 31, n. 78, p. 525-553, 2020. Disponível em: https://publicacoes.fcc.org.br/eae/article/view/7216. Acesso em: 21 jan. 2025.
VAN DER LINDEN, W. J.; GLAS, C. A. W. (Ed.). Elements of adaptive testing. New York: Springer, 2010.
Downloads
Publicado
Como Citar
Edição
Seção
Licença

Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.

Este trabalho está licenciado sob uma Licença Internacional Creative Commons Attribution 4.0
Esta licença permite que outros compartilhem, copiem, redistribuam o material em qualquer meio ou formato, adaptem, remixem, transformem e desenvolvam o material a partir do seu trabalho, mesmo que comercialmente, atribuindo o devido crédito e fornecendo um link para a licença.
Os artigos publicados são de propriedade e inteira responsabilidade dos seus autores, que poderão dispor deles para posteriores publicações, sempre fazendo constar a edição original, não cabendo qualquer responsabilidade legal sobre seu conteúdo à Revista EDUCITEC.









