Como a prática de inglês com IA tornou visível o progresso na aprendizagem

Contexto

Por que medir a aprendizagem enquanto ela acontece?

A avaliação tradicional muitas vezes revela um problema só depois de muito tempo de aula. A premissa de trabalho do Jinso é que as instituições tomam melhores decisões pedagógicas quando a própria prática gera evidências úteis de aprendizagem. Se um estudante está com dificuldades hoje, as evidências da prática atual podem orientar ações antes da próxima avaliação de alto impacto.

Um modelo de aprendizagem em ciclo fechado (5 etapas)

1. Objetivos institucionais: Definir as habilidades e os resultados que importam.
2. Prática: Realizar prática alinhada ao currículo.
3. Medição: Gerar evidências a partir das interações dos estudantes.
4. Aprender e adaptar: Usar as evidências para ajustar o ensino.
5. Novas evidências: Verificar se o próximo ciclo melhora.

Este estudo avalia uma parte desse ciclo: se a participação registrada na prática com apoio de IA está associada a uma mudança estimada no desempenho dos estudantes.

Metodologia e fontes

Da conversa a evidências verificáveis

Os dados históricos incluíam conversas detalhadas dos estudantes e o contexto de cada lição. Porém, não houve experimento randomizado nem uma avaliação externa comum aplicada no início e no fim do período de observação. As conversas e o contexto das lições foram transformados em evidências de desempenho classificadas pelo CEFR (QECR), depois em observações por tarefa e depois em uma habilidade estimada. As observações foram classificadas como desempenho independente bem-sucedido ou tentativas claramente solicitadas sem sucesso. Evidências insuficientes ou pouco confiáveis não foram pontuadas.

Desenho do estudo

Para cada estudante, a participação registrada foi o número de atividades válidas no período observado. Uma atividade registrada exigia pelo menos duas mensagens do estudante. A mudança estimada foi a diferença entre a primeira e a última estimativa modelada de habilidade nesse período. O modelo principal foi ajustado por habilidade inicial, duração da observação e turma.

Quem foi incluído

Os dados vêm de quatro instituições parceiras que usam o Jinso como parte do ensino. Os nomes foram removidos para proteger a confidencialidade. Uma instituição contribuiu com duas coortes analíticas de níveis diferentes, por isso a análise combinada tem cinco coortes.

*As contagens por instituição são estudantes distintos com pelo menos uma troca enviada para pontuação. Não são totais de matrícula nem tamanhos de amostra analítica.

Validação e limites

As verificações incluíram reprodutibilidade computacional, comparações entre padrões de resposta observados e previstos e análises de sensibilidade sob diferentes regras de cobertura, períodos de observação e especificações. Essas verificações sustentam a interpretação dos resultados ajustados. Não comprovam a precisão em relação a uma avaliação externa. O desenho não consegue descartar diferenças não medidas entre estudantes, turmas ou implementações. Ele estima associação, não impacto causal.

Resultados

Participação e mudança estimada por coorte

Associação estimada a cada cinco atividades registradas, em desvios padrão de linha de base relativos ao modelo, da mudança estimada entre a primeira e a última estimativa. (Opcional: um gráfico tipo forest plot com barras de IC 80%, em SVG ou HTML com texto acessível. A tabela abaixo também deve estar no HTML.)

Quatro das cinco estimativas por coorte foram positivas. A coorte C teve a estimativa positiva mais clara na comparação principal por coorte, com um intervalo de 80% que não incluiu o zero. O intervalo combinado de 80% incluiu o zero por pouco, e o intervalo de 95% correspondente (−0,039 a +0,149) foi mais amplo.

Como ler esta tabela: Os intervalos de confiança mostram uma faixa de estimativas compatíveis com o modelo e com os dados disponíveis. Um intervalo que inclui o zero significa que a análise não descarta uma associação nula nesse nível. Intervalos de 80% têm cobertura menor que os de 95%. Eles não acrescentam observações nem aumentam a certeza. As visualizações institucionais usaram suas regras originais de turmas e coortes, enquanto a análise combinada usou uma regra harmonizada e, às vezes, amostras diferentes.

Como eram os padrões por coorte

• Instituição parceira A, coorte de nível inicial: 89% dos estudantes tiveram uma estimativa pontual final mais alta. Com menor participação (2–27 atividades; n=74), o aumento mediano foi de +5,99 logits. Com maior participação (28–37 atividades; n=67), foi de +6,66 logits. São resumos descritivos por grupo do mesmo modelo retrospectivo.
• Instituição parceira D: Uma comparação descritiva sem ajuste mostrou mudança estimada média de +0,21 DP de linha de base entre os estudantes com menor participação e de +0,56 DP entre os com maior participação. Após o ajuste, a diferença entre os grupos caiu para +0,10 DP (IC 80%: −0,08 a +0,27).
• Instituição parceira C: Entre 141 estudantes com estimativas repetidas, 66% tiveram uma estimativa final de habilidade mais alta, e a mudança estimada mediana foi de +0,30 logits do modelo. Uma análise de participação específica dessa coorte estimou +0,24 logits a cada cinco atividades registradas (IC 80%: +0,02 a +0,45). Essa escala em logits, própria da coorte, não deve ser comparada diretamente com as estimativas combinadas em DP de linha de base.

Usando as evidências dos estudantes para orientar a intervenção

O valor prático do sistema de medição não é só gerar uma nota. Ele também revela padrões recorrentes que as equipes acadêmicas podem investigar e tratar enquanto o ensino ainda está em andamento. Exemplo: um estudante omite repetidamente formas obrigatórias ao formular perguntas. Numa revisão acadêmica de 916 tentativas de formular perguntas, 28% falharam, e 14 de 145 estudantes falharam três ou mais vezes em pelo menos duas lições. Os professores revisam a gramática correspondente e ligam a prática de acompanhamento ao conteúdo em curso. Depois, o trabalho seguinte dos estudantes pode ser analisado para ver se houve melhora, e a mesma taxa de erro pode ser medida de novo nas mesmas turmas.

Como ler os resultados

• Compatível com uma relação positiva. A análise combinada e a maioria das estimativas por coorte apontam na direção positiva. Após o ajuste pelas variáveis da análise, os estudantes com mais participação registrada tenderam, em média, a mostrar uma mudança modelada maior.
• Não é uma estimativa causal. Estudantes que participam mais podem ser diferentes em motivação, frequência, apoio dos professores, exposição prévia ou outros fatores que os modelos não capturam totalmente. O estudo sustenta uma associação. Não mostra que atribuir mais prática vai, por si só, produzir uma melhora de determinado tamanho.
• Resultados derivados de modelos. Os resultados vêm de ajustes retrospectivos de modelos. Os intervalos reportados não cobrem todas as fontes de incerteza nem possíveis erros de especificação do modelo. O alinhamento das tarefas ao CEFR foi modesto em várias coortes e inexistente em uma análise principal, por isso os rótulos das tarefas não devem ser lidos como limites diretos do nível CEFR dos estudantes.
• Versões diferentes da análise respondem a perguntas diferentes. Uma análise compatível de inclinações de crescimento estimou +0,0009 DP de linha de base a cada 30 dias a cada cinco atividades, em 516 estudantes de 92 turmas (IC 80%: −0,0088 a +0,0106; IC 95%: −0,0145 a +0,0164). As amostras e os estimandos são diferentes.
• Acompanhamento curto. Uma coorte parceira com acompanhamento curto mostrou uma mudança mais fraca entre a primeira e a última estimativa em uma visualização institucional separada. Entre 191 estudantes com datas repetidas, 45,5% tiveram mudanças pontuais positivas, o acompanhamento mediano foi de 10 dias e a mudança mediana foi de −0,111 logits do modelo.

Próximos passos

O próximo estudo deve ser mais prospectivo, padronizado e integrado

A conclusão mais sólida deste trabalho retrospectivo não é que o tamanho do efeito esteja definido. É que existe um sinal que vale a pena testar com mais rigor em implementações prospectivas. Próximos passos recomendados:

• Coletar mais dados de implementações em que a prática com o Jinso esteja explicitamente integrada ao currículo.
• Usar avaliações externas comuns em momentos definidos de linha de base e acompanhamento, quando possível.
• Definir com antecedência a exposição às atividades, os períodos de observação e as regras de inclusão das coortes.
• Acompanhar variáveis de implementação, como o uso pelos professores, os horários e o acompanhamento pedagógico.
• Continuar reportando a incerteza e os resultados de sensibilidade junto com as estimativas principais.

Nota de confidencialidade (pequena): As instituições parceiras e os centros binacionais estão anonimizados em todo o estudo. Os rótulos das instituições servem apenas para distinguir as coortes e não identificam as organizações participantes. As análises de origem foram concluídas e sintetizadas em setembro de 2026.