Este relatório técnico foi produzido no âmbito do Grupo de Trabalho em Comparabilidade entre Avaliações da Educação Básica (Portaria Inep nº 441, de 25 de setembro de 2023), constituído com a atribuição de assessorar a produção de diretrizes para a comparabilidade entre as avaliações estaduais e o Saeb, e é de autoria dos professores Adriano Ferreti Borgatto[1] e Dalton Francisco de Andrade[2], que é membro do grupo. O texto detalha uma análise das avaliações de alfabetização realizadas pelos estados no 2º ano do Ensino Fundamental, utilizando itens calibrados compartilhados com o Saeb 2019. A avaliação foi organizada pelos próprios estados em 2023 (ESTADUAL 2023), com o objetivo de comparar o desempenho dos alunos com base em uma escala nacional padronizada. O documento aborda a importância da equalização dos itens para garantir a comparabilidade dos resultados entre os estados, destacando a relevância de um processo uniforme e eficaz na avaliação da alfabetização e o uso de ferramentas como a Teoria da Resposta ao Item (TRI). São conduzidos cinco estudos:
Estudo 1: Análise da proporção de acertos em cada estado na avaliação ESTADUAL 2023 dos itens cedidos pelo Inep e dos itens comuns nos 21 estados – este estudo analisou a proporção de acertos em dois blocos de itens (16 itens cedidos pelo Inep e 16 itens novos) para comparar o desempenho dos estados e verificar a exposição dos itens já usados em avaliações anteriores. Ele permite observar que os itens do Inep não tiveram um comportamento diferente dos itens comuns novos dos 21 estados
Estudo 2: Comparabilidade da proporção de acertos por estado e global dos itens comuns das avaliações amostral do Saeb 2019 e da censitária ESTADUAL 2023 – foram comparados os parâmetros dos itens fornecidos pelo Inep com os novos itens calibrados nos estados, observando diferenças na dificuldade e na informação dos itens. O estudo indica que quase todos os itens apresentaram maior proporção de acertos na avaliação ESTADUAL 2023. Isso evidencia que o desempenho médio dos alunos que fizeram a avaliação ESTADUAL 2023 é superior ao desempenho médio dos alunos que fizeram o Saeb 2019.
Estudo 3: Análise das curvas de informação dos itens da avaliação ESTADUAL 2023 – este estudo comparou a curva de informação das avaliações estaduais de 2023 com a do Saeb 2019, evidenciando que as avaliações estaduais são mais informativas na parte superior da escala, medindo com mais precisão os alunos alfabetizados.
Estudo 4: Análise da dimensionalidade e da dependência local na avaliação ESTADUAL 2023 – foi conduzida uma análise da dimensionalidade e da dependência local dos itens, com um estudo de caso em Santa Catarina. A análise mostrou que itens de leitura e escrita pertencem a dimensões distintas, indicando a necessidade de estudos complementares.
Estudo 5: Análise da equalização dos itens na avaliação ESTADUAL 2023 – uma vez que o processo de equalização para cada estado foi realizado de forma separada, esse estudo apresenta a checagem no processo de equalização via TRI realizada em cada estado. Ele indica que alguns procedimentos diferentes podem alterar, ainda que marginalmente, o resultado, mas não há evidência de que mudança significativa tenha ocorrido com os resultados em virtude desse procedimento. Além disso, indica que, mesmo que a equalização dos itens tenha sido realizada com diferentes tamanhos de amostra entre os estados, isso não deve impactar no resultado entre os estados.
[1] Professor associado da Universidade Federal de Santa Catarina (UFSC). Tem experiência na área de Probabilidade e Estatística, com ênfase em Estatística Experimental.
[2] Professor Titular da Universidade Federal de Santa Catarina (UFSC). Tem experiência na área de Probabilidade e Estatística, atuando principalmente nos temas: teoria da resposta ao item, avaliação educacional, modelos de variável latente, dados longitudinais e modelos hierárquicos/multiníveis lineares e não-lineares.