Cómo la práctica de inglés con IA hizo visible el progreso en el aprendizaje

Contexto

¿Por qué medir el aprendizaje mientras ocurre?

La evaluación tradicional suele revelar un problema solo después de que ha pasado mucho tiempo de instrucción. La premisa de trabajo de Jinso es que las instituciones toman mejores decisiones pedagógicas cuando la propia práctica produce evidencia útil del aprendizaje. Si un estudiante tiene dificultades hoy, la evidencia de su práctica actual podría orientar acciones antes de la próxima evaluación de alto impacto.

Un modelo de aprendizaje de ciclo cerrado (5 pasos)

1. Objetivos institucionales: Definir las habilidades y los resultados que importan.
2. Práctica: Realizar práctica alineada con el currículo.
3. Medición: Generar evidencia a partir de las interacciones de los estudiantes.
4. Aprender y adaptar: Usar la evidencia para ajustar la instrucción.
5. Nueva evidencia: Comprobar si el siguiente ciclo mejora.

Este estudio evalúa una parte de ese ciclo: si la participación registrada en la práctica con apoyo de IA se asocia con un cambio estimado en el desempeño de los estudiantes.

Metodología y fuentes

De la conversación a evidencia verificable

Los datos históricos incluían conversaciones detalladas de los estudiantes y el contexto de cada lección. Sin embargo, no hubo un experimento aleatorizado ni una evaluación externa común aplicada al inicio y al final del periodo de observación. Las conversaciones y el contexto de las lecciones se convirtieron en evidencia de desempeño etiquetada según el MCER (CEFR), luego en observaciones por tarea y luego en una habilidad estimada. Las observaciones se clasificaron como desempeño independiente exitoso o intentos claramente solicitados que no tuvieron éxito. La evidencia insuficiente o poco confiable no se puntuó.

Diseño del estudio

Para cada estudiante, la participación registrada fue el número de tareas válidas durante el periodo observado. Una tarea registrada requería al menos dos mensajes del estudiante. El cambio estimado fue la diferencia entre la primera y la última estimación modelada de habilidad en ese periodo. El modelo principal se ajustó por habilidad inicial, duración de la observación y aula.

Quiénes se incluyeron

Los datos provienen de cuatro instituciones aliadas que usan Jinso como parte de su enseñanza. Los nombres se eliminaron para proteger la confidencialidad. Una institución aportó dos cohortes analíticas de distintos niveles, por lo que el análisis combinado tiene cinco cohortes.

*Los conteos por institución son estudiantes distintos con al menos un intercambio enviado para puntuación. No son totales de matrícula ni tamaños de muestra analítica.

Validación y límites

Las verificaciones incluyeron reproducibilidad computacional, comparaciones entre patrones de respuesta observados y predichos, y análisis de sensibilidad según reglas de cobertura, periodos de observación y especificaciones. Estas verificaciones respaldan la interpretación de los resultados ajustados. No establecen su precisión frente a una evaluación externa. El diseño no puede descartar diferencias no medidas entre estudiantes, aulas o implementaciones. Estima una asociación, no un impacto causal.

Resultados

Participación y cambio estimado por cohorte

Asociación estimada por cada cinco tareas registradas, en desviaciones estándar de línea base relativas al modelo, del cambio estimado entre la primera y la última estimación. (Opcional: un gráfico tipo forest plot con barras de IC 80 %, en SVG o HTML con texto accesible. La tabla siguiente también debe estar en el HTML.)

Cuatro de las cinco estimaciones por cohorte fueron positivas. La cohorte C tuvo la estimación positiva más clara en la comparación principal por cohortes, con un intervalo del 80 % que no incluyó el cero. El intervalo combinado del 80 % incluyó el cero por poco, y el intervalo del 95 % correspondiente (−0,039 a +0,149) fue más amplio.

Cómo leer esta tabla: Los intervalos de confianza muestran un rango de estimaciones compatibles con el modelo y los datos disponibles. Un intervalo que incluye el cero significa que el análisis no descarta una asociación nula a ese nivel. Los intervalos del 80 % tienen menor cobertura que los del 95 %. No agregan observaciones ni aumentan la certeza. Las visualizaciones institucionales usaron sus reglas originales de aulas y cohortes, mientras que el análisis combinado usó una regla armonizada y, en algunos casos, muestras distintas.

Cómo se veían los patrones por cohorte

• Institución aliada A, cohorte de nivel inicial: El 89 % de los estudiantes tuvo una estimación puntual final más alta. Con menor participación (2–27 tareas; n=74), el aumento mediano fue de +5,99 logits. Con mayor participación (28–37 tareas; n=67), fue de +6,66 logits. Son resúmenes descriptivos por grupo del mismo modelo retrospectivo.
• Institución aliada D: Una comparación descriptiva sin ajustar mostró un cambio estimado promedio de +0,21 DE de línea base entre los estudiantes con menor participación y de +0,56 DE entre los de mayor participación. Tras el ajuste, la diferencia entre ambos grupos se redujo a +0,10 DE (IC 80 %: −0,08 a +0,27).
• Institución aliada C: Entre 141 estudiantes con estimaciones repetidas, el 66 % tuvo una estimación final de habilidad más alta, y el cambio estimado mediano fue de +0,30 logits del modelo. Un análisis de participación específico de esta cohorte estimó +0,24 logits por cada cinco tareas registradas (IC 80 %: +0,02 a +0,45). Esta escala en logits propia de la cohorte no debe compararse directamente con las estimaciones combinadas en DE de línea base.

Usar la evidencia de los estudiantes para orientar la intervención

El valor práctico del sistema de medición no es solo producir un puntaje. También revela patrones recurrentes que los equipos académicos pueden investigar y abordar mientras la instrucción sigue en curso. Ejemplo: un estudiante omite repetidamente formas obligatorias al construir preguntas. En una revisión académica de 916 intentos de formular preguntas, el 28 % falló, y 14 de 145 estudiantes fallaron tres o más veces en al menos dos lecciones. Los docentes repasan la gramática correspondiente y vinculan la práctica de seguimiento con la instrucción en curso. Luego se puede revisar el trabajo posterior de los estudiantes para ver si mejoró y volver a medir la misma tasa de error en las mismas aulas.

Cómo leer los hallazgos

• Compatible con una relación positiva. El análisis combinado y la mayoría de las estimaciones por cohorte apuntan en dirección positiva. Tras ajustar por las variables del análisis, los estudiantes con más participación registrada tendieron, en promedio, a mostrar un mayor cambio modelado.
• No es una estimación causal. Los estudiantes que participan más pueden diferir en motivación, asistencia, apoyo docente, exposición previa u otros factores que los modelos no capturan por completo. El estudio respalda una asociación. No demuestra que asignar más práctica vaya a producir por sí solo una mejora de una magnitud determinada.
• Resultados derivados de modelos. Los resultados provienen de ajustes retrospectivos de modelos. Los intervalos reportados no cubren todas las fuentes de incertidumbre ni los posibles errores de especificación del modelo. La alineación de las tareas con el MCER fue modesta en varias cohortes y nula en un análisis principal, por lo que las etiquetas de las tareas no deben interpretarse como límites directos del nivel MCER de los estudiantes.
• Distintas versiones del análisis responden preguntas distintas. Un análisis compatible de pendientes de crecimiento estimó +0,0009 DE de línea base por cada 30 días por cada cinco tareas, en 516 estudiantes de 92 aulas (IC 80 %: −0,0088 a +0,0106; IC 95 %: −0,0145 a +0,0164). Las muestras y los estimandos son diferentes.
• Seguimiento corto. Una cohorte aliada con seguimiento corto mostró un cambio más débil entre la primera y la última estimación en una visualización institucional aparte. Entre 191 estudiantes con fechas repetidas, el 45,5 % tuvo cambios puntuales positivos, el seguimiento mediano fue de 10 días y el cambio mediano fue de −0,111 logits del modelo.

Próximos pasos

El próximo estudio debe ser más prospectivo, estandarizado e integrado

La conclusión más sólida de este trabajo retrospectivo no es que el tamaño del efecto esté definido. Es que hay una señal que vale la pena poner a prueba con más rigor en implementaciones prospectivas. Próximos pasos recomendados:

• Reunir más datos de implementaciones donde la práctica con Jinso esté integrada explícitamente en el currículo.
• Usar evaluaciones externas comunes en momentos definidos de línea base y seguimiento, cuando sea posible.
• Definir de antemano la exposición a las tareas, los periodos de observación y las reglas de inclusión de cohortes.
• Registrar variables de implementación como el uso docente, los horarios y el seguimiento pedagógico.
• Seguir reportando la incertidumbre y los resultados de sensibilidad junto con las estimaciones principales.

Nota de confidencialidad (pequeña): Las instituciones aliadas y los centros binacionales están anonimizados en todo el estudio. Las etiquetas de institución solo distinguen las cohortes del estudio y no identifican a las organizaciones participantes. Los análisis fuente se completaron y sintetizaron en septiembre de 2026.