Por Silvia Montoya, Directora del Instituto de Estadística de la UNESCO, y Luis Crouch, miembro de la Junta Directiva de la UIS
Tras la aprobación del marco de seguimiento de los ODS en 2017, el Grupo Interinstitucional y de Expertos sobre Indicadores de los ODS (IAEG-SDG), el grupo de países coordinado por las Naciones Unidas encargado del desarrollo de indicadores, programó dos revisiones integrales. La primera revisión en 2019/20 centrado en la metodología de indicadores. La segunda revisión próxima en 2024/25 se centrará en la cobertura de los indicadores. El pasado mes de octubre, la IAEG-ODS emitió la revisión criterios: ‘los datos deben estar disponibles para al menos el 40 por ciento de los países y de la población en las diferentes regiones donde el indicador es relevante; y se debe incluir un plan sobre cómo se ampliará la cobertura de datos si la cobertura de datos actual es inferior al 50 por ciento”.
En el caso del ODS 4, dos indicadores tienen una cobertura inferior al 40%: el desarrollo de la primera infancia (4.2.1) y la alfabetización de jóvenes y adultos (4.6.1). Pero es el indicador 4.1.1, el porcentaje de estudiantes que alcanzan el nivel mínimo de competencia en lectura y matemáticas, el que ha despertado mayor interés. La cobertura del indicador 4.1.1 es suficiente al final de la educación primaria (4.1.1b) y al final de la educación secundaria inferior (4.1.1c): 46% de la población y 60% de los países. Pero es bajo en los grados 2/3 (4.1.1a), lo que llevó a la IAEG-ODS a reclasificarlo del Nivel I al Nivel II: 16% de la población y 20% de los países. Provienen de dos iniciativas de evaluación transnacionales: LLECE en América Latina (grado 3) y PASEC en África francófona (grado 2).
Muchos vieron esta reclasificación con alarma debido a la señal que podría enviar de que el aprendizaje en los primeros grados importa menos, a pesar de que es una cuestión de importancia global. Se escribieron un puñado de blogs para protestar y casi invariablemente preguntaron por qué no se han utilizado otras tres evaluaciones para informar sobre el indicador 4.1.1a. Este blog explica los problemas con estas evaluaciones, los esfuerzos recientes para abordarlos y cómo más países pueden informar sobre este indicador.
Se han propuesto tres evaluaciones como formas de aumentar la cobertura.
De los dos autores de este blog, uno fue uno de los creadores de una de estas evaluaciones (Early Grade Reading Assessment, EGRA) y asesor de las otras dos evaluaciones (Módulo de Aprendizaje Fundamental de la Encuesta de Indicadores Múltiples por Conglomerados, MICS; y las evaluaciones ciudadanas de la Red de Acción Popular para el Aprendizaje (PAL, por sus siglas en inglés). El otro autor es responsable de la definición de los estándares para informar sobre el indicador y es un defensor del proceso para alentar y, en última instancia, convencer a la IAEG-ODS de agregar el nivel de grado inicial al indicador 4.1.1 en 2018. Por lo tanto, escribimos con tanto experiencia como sentido de responsabilidad a la hora de plantear las cuestiones.
Lo primero que cabe señalar es que estas tres evaluaciones fueron no Diseñado originalmente para informes comparativos globales. Su potencial para generar resultados comparables tampoco ha sido suficientemente documentado de forma clara, estandarizada y centralizada. Estas evaluaciones se administran uno a uno, ya sea en la escuela (EGRA) o en el hogar (MICS y PAL Network), en lugar de a un grupo de niños en un salón de clases.
Las evaluaciones de EGRA y PAL Network se crearon a mediados de la década de 2000 con la intención original de generar conciencia sobre políticas, casi siempre país por país, midiendo habilidades concretas y fáciles de comunicar que son precursoras de la lectura con comprensión. EGRA se utilizó para evaluar la eficacia de proyectos financiados por donantes, a menudo en regiones seleccionadas de un país. Las evaluaciones de la Red PAL fueron iniciativas lideradas por ciudadanos destinadas a presionar a los gobiernos para que prestaran atención a los bajos niveles de aprendizaje. Ambos ganaron popularidad y se difundieron. A menudo también se utilizaban en la investigación.
Poco después de que se declararan los ODS y se planteara el concepto de un indicador de resultados de aprendizaje, a mediados de la década de 2010, el equipo multipropósito de encuestas de hogares MICS también decidió desarrollar un módulo para aumentar la cantidad de mediciones, en el momento en que las definiciones de los objetivos mínimos nivel de competencia estaba siendo iniciado por el Instituto de Estadística de la UNESCO, organismo custodio del indicador 4.1.1.
¿Cuáles son los problemas?
En contra de lo que parece ser una corriente de opinión expresada en los blogs antes mencionados, es importante señalar que nunca hubo renuencia a considerar el potencial de estas evaluaciones para ser utilizadas para informes globales y ser una alternativa que los países podrían considerar. Pero también se señaló que las cuestiones relacionadas con la intención original de estas evaluaciones, que afectaron su diseño y rigor, pueden hacer que no puedan resistir el escrutinio de los informes globales.
Estas evaluaciones:
- no están respaldados por evidencia documentada de manera acordada y centralizada sobre cómo se mantiene la transparencia de cada idioma. ortografía afecta la precisión de la lectura y, por lo tanto, cómo se deberían ajustar los resultados para que los informes sean comparables;
- tienden a medir habilidades precursoras a leer con comprensión: el nivel que evalúan está por debajo competencia mínimasegún la definición acordada globalmente como se describe visualmente en la figura;
- varían en cómo son administradoy dichos procesos no siempre están documentados de manera centralizada: por ejemplo, tiende a no medirse, no informarse o no informarse de manera estandarizada si diferentes evaluadores en evaluaciones individuales llegan a las mismas conclusiones sobre el aprendizaje de los niños;
- a menudo no cuentan con documentación clara, accesible y centralizada de sus muestreo (por ejemplo, quién fue excluido, qué niños pueden reemplazar a los que han sido incluidos en la muestra pero no pueden participar, si los niños que no pudieron ser evaluados la primera vez podrían ser contactados nuevamente, etc.), aunque tales diferencias en el diseño de la encuesta afectan los resultados, mientras que muchos Las muestras no son representativas a nivel nacional.
¿Cuáles son los caminos a seguir?
Algunos blogs han sugerido ignorar estas cuestiones –en otras palabras, ignorar la definición de competencia mínima acordada por consenso global– para aumentar el número de países que potencialmente pueden informar. Han señalado, por ejemplo, cómo se lleva a cabo la medición de la mortalidad infantil. Pero si bien hay cierto margen de maniobra, por ejemplo, a la hora de definir qué se considera un nacimiento vivo, una muerte es un acontecimiento biológicamente claro. Por el contrario, la acumulación y progresión del aprendizaje es un proceso largo y culturalmente determinado. Aceptar los resultados de evaluaciones que sabemos positivamente que no miden el nivel mínimo de competencia y que su documentación es vaga no es probable que conduzca a ningún progreso. ¿Lo que hay que hacer?
A primero Un paso para superar todos los problemas mencionados anteriormente son los criterios detallados para la presentación de informes que ayuden a guiar estas y otras evaluaciones que analizan más las habilidades fundamentales y precursoras sobre cómo mejorar en el futuro. Este trabajo ha comenzado. A principios de diciembre, el UIS convocó una reunión del Alianza Global para Monitorear el Aprendizaje, un grupo constituyente del Grupo de Cooperación Técnica (GCT) sobre Indicadores del ODS 4, para trazar un camino a seguir. Los criterios fueron propuestos y luego examinados por un Grupo Asesor Técnico (TAG) a principios de marzo. A partir de los comentarios del TAG, los criterios se perfeccionarán y publicarán.
Una cosa es ver si una evaluación mide bien, pero una segundo El siguiente paso es mapear su ‘puntuación’ en el Marco Global de Competencia generado por el UIS y en las declaraciones del Nivel Mínimo de Competencia.
A tercero El paso previsto para el futuro es que el UIS examine los informes para asegurarse de que cumplan con los criterios establecidos en los pasos 1 y 2 anteriores.
Paralelamente a estos esfuerzos (e independientemente de ellos), los países deberán desarrollar planes sobre cómo podrían informar este indicador al UIS. Equipado con esos planes que asumirán compromisos firmes sobre cómo aumentar la presentación de informes, el UIS puede entablar un diálogo con el IAEG-ODS y la Comisión de Estadística de las Naciones Unidas para argumentar a favor de la reclasificación del indicador 4.1.1a al Nivel I.
Finalmente, además de todos estos pasos, en última instancia es decisión y responsabilidad de cada país elegir qué evaluación elegible desea utilizar para informar sobre el indicador, y que las organizaciones asociadas con evaluaciones particulares apoyen las decisiones de los países brindándoles la mejor información posible. documentación