UY Press - Agencia uruguaya de noticias

06.12.2016

MONTEVIDEO (Uypress) - Un trabajo del Instituto de Nacional de la Evaluación Educativa de México explica las características principales de las pruebas PISA.

1. ¿Qué es PISA? Es un estudio coordinado por la Organización para la Cooperación y el Desarrollo Económico (OCDE) para evaluar las habilidades y conocimientos de los estudiantes de 15 años en Matemáticas, Lectura y Ciencias. En el ciclo 2015 participaron 72 países y Ciencias fue el área prioritaria de evaluación. Los resultados serán dados a conocer por la OCDE el 6 de diciembre de 2016.

2. ¿Qué quiere decir PISA? PISA, por sus siglas en inglés, significa Programme for International Student Assessment. En el INEE se le ha traducido como Programa para la Evaluación Internacional de los Estudiantes. Es un estudio comparativo de evaluación de los resultados de los sistemas educativos, coordinado por la OCDE (Organización para la Cooperación y el Desarrollo Económicos).

3. ¿Cuál es el propósito central de PISA? Conocer el nivel de habilidades necesarias que han adquirido los estudiantes para participar plenamente en la sociedad, centrándose en dominios claves como Lectura, Ciencias y Matemáticas, y en el ciclo de 2015 se incorporó un área nueva llamada Solución de Problemas en Colaboración.

PISA mide si los estudiantes tienen la capacidad de reproducir lo que han aprendido, de transferir sus conocimientos y aplicarlos en nuevos contextos académicos y no académicos, de identificar si son capaces de analizar, razonar y comunicar sus ideas efectivamente, y si tie- nen la capacidad de seguir aprendiendo durante toda la vida. Para PISA, esos dominios están definidos como competencia (literacy) científica, lectora o matemática.

4. ¿En qué consiste el estudio de PISA? Hasta el ciclo 2012 consistió en una medición basada en instrumentos de lápiz y papel, y a partir de 2015 es por computadora. Se aplican dos tipos de instrumentos: uno, al que de manera habitual se le conoce como prueba que, de hecho, consiste en diferentes versiones de pruebas; el otro se refiere a los cuestionarios de contexto dirigidos al estudiante y al director del centro escolar. La duración total para responder la prueba y el cuestionario del estudiante es de dos horas y media (dos horas para la prueba y de veinte a treinta minutos

para contestar el cuestionario), incluyendo descansos. Los directores escolares contestan en aproximadamente veinte minutos el cuestionario diseñado para ellos.

5. ¿Qué evalúa PISA y por qué? PISA se enfoca, en primer lugar, en la evaluación del desempeño de los estudiantes en Lectura, Matemáticas y Ciencias, ya que son áreas fundamentales en la educación de los estudiantes. Sin embargo, PISA también recopila información valiosa sobre las actitudes y motivaciones de los estudiantes y evalúa habilidades como la solución de problemas en colaboración. Además, analiza oportunidades para evaluar otras competencias importantes relacionadas como la competencia global, la creatividad o la capacidad empresarial.

PISA se basa en los contenidos que se pueden encontrar en los planes de estudio de todo el mundo y toma en cuenta la capacidad de los estudiantes para aplicar conocimientos y habilidades, así como para analizar, razonar y comunicarse eficazmente a medida que revi- san, interpretan y resuelven problemas. PISA no prescribe o promueve algún currículo ni está limitado por la necesidad de encontrar denominadores comunes. Para 2015, el objetivo de PISA fue evaluar los conocimientos científicos y las habilidades que los expertos de los países participantes consideran más importantes para el futuro exitoso de los estudiantes en un mundo cada vez más basado en la ciencia.

6. ¿Cada cuándo se aplica PISA? Cada tres años. En cada ciclo se enfatiza uno de los tres dominios de evaluación y los otros son evaluados con menor profundidad. En 2000 el principal dominio fue Lectura; en 2003, Matemáticas; en 2006, Ciencias; en 2009, nuevamente Lectura, y así sucesivamente.

Un objetivo prioritario de PISA es informar y apoyar la toma de decisiones sobre política educativa de los países participantes. Un ciclo de tres años proporciona a los países información oportuna que incluye datos y análisis para considerar el impacto de las decisio- nes en las políticas y programas relacionados. Si fuera más frecuente, no habría un tiempo suficiente para que los cambios e innovaciones mostraran mejoría o disminución y, si fuera menos frecuente, significaría que la disminución en el rendimiento no podría ser manejada con prontitud.

7. ¿PISA mide algo más de lo que se enseña en un currículo escolar? En efecto, PISA se centra en medir la capacidad de los jóvenes para usar su conocimiento y sus destrezas para afrontar los retos de la vida real en la sociedad actual, más que determinar lo que se domina de un currículo escolar. Bajo esta perspectiva de competencias, PISA se interesa en el repertorio de conocimientos y habilidades adquirido tanto en las escuelas como fuera de ellas y en el potencial para reflexionar y usar este repertorio en situaciones o escenarios diversos.

3

PISA

4

8. El concepto de literacy, ¿a qué se refiere y cómo se traduce? No hay una convención establecida para su traducción al español. Lo que se tiene es una gama amplia de traducciones, tales como: alfabetización, competencia, habilidad, cultura, y hasta se ha llegado a manejar la palabra literacidad. Independientemente de su traducción, para PISA es un concepto fundamental que se refiere, por un lado, a la capacidad para aplicar conocimientos y destrezas en situaciones diversas y, por otro, a la consecución de procesos cognitivos complejos, tales como analizar, razonar, comunicarse de manera efectiva; así como plantear, resolver e interpretar diferentes problemas. Como se ve, el concepto de alfabetización o literacy usado en PISA va más allá de la idea tradicional de la capacidad de leer y escribir: es considerada como una habilidad que se aprende a lo largo de la vida y no como un rasgo que un individuo tiene o no tiene.

9. ¿Qué países participan? Los miembros de la OCDE, que participan de manera voluntaria. Los países no miembros también lo pueden hacer. En ambos casos, deben solicitar a este organismo su inclusión.

10. ¿A quién se dirige la prueba y por qué? A muestras de estudiantes que van de 4 500 a 10000, de una muestra mínima de 150 escuelas, para asegurar la representatividad del país en su conjunto. Los países pueden solicitar ampliarla a más centros educativos para tener mayor representatividad. La población objetivo son los estudiantes de 15 años 3 meses a 16 años 2 meses (de manera abreviada se dice población de 15 años).

La edad promedio de 15 años se eligió porque a esta edad los jóvenes, en la mayoría de los países de la OCDE, están llegando al final de la educación obligatoria o básica. La selección de escuelas y estudiantes es la más inclusiva posible, de modo que la muestra de estudiantes comprenda una amplia gama de antecedentes y habilidades.

11. ¿Cómo se selecciona la muestra de escuelas y estudiantes? PISA aplica estándares técnicos estrictos tanto para el muestreo de las escuelas, como para el muestreo de los estudiantes en las escuelas. Se asegura la calidad de los procedimientos de muestreo y de las muestras obtenidas; por otro lado, las tasas de respuesta correspondientes están sujetas a un proceso para verificar si cumplen con los estándares fijados.

La selección de la muestra de escuelas es responsabilidad del consorcio de PISA, no es atribución de los países participantes. Por lo que se refiere a México, el INEE envía el listado de todas las escuelas del nivel secundaria y de educación media superior del país, y el consorcio selecciona la muestra de escuelas. Cuando ésta es recibida en México, se solicita a las áreas de evaluación de cada entidad federativa que integren la lista de todos los estudiantes de 15 años de cada escuela de la muestra. Con base en esta lista, se selecciona aleatoriamente a los estudiantes que participarán en la evaluación.

Preguntas frecuentes

12. ¿Por qué hay escuelas que participan en PISA y otras no? A partir del listado nacional de escuelas secundarias y de educación media superior, la muestra elegida por el consorcio contiene más escuelas que las requeridas, en previsión de los casos en donde no sea posible realizar la aplicación.

13. ¿El director o directora de una escuela puede solicitar

que su escuela participe en PISA? Las escuelas no participan a partir de la solicitud de su director o directora, porque hay que recordar que el consorcio selecciona la muestra de escuelas. PISA es un proyecto de evaluación comparativa a gran escala de sistemas educativos a nivel internacional, cuyos resultados sirven para identificar fortalezas y debilidades del conjunto del sistema educativo, y promover mediante los planes de largo alcance la mejora progresiva de la calidad educativa; el programa no constituye un servicio certificador.

14. ¿Por qué hay estudiantes que participan en la evaluación

de PISA y otros que no? Del total de estudiantes de 15 años de las listas que envían las escuelas de la muestra, sólo se seleccionan al azar una cierta cantidad de alumnos de cada escuela, por lo cual algunos presentan la prueba, y otros no.

15. ¿Los resultados de las pruebas afectarán las calificaciones

escolares de los estudiantes? No. Los resultados no afectan las calificaciones de los estudiantes, puesto que éstos se usan sólo para propósitos de investigación comparativa entre los diferentes países participantes. El propósito final de PISA es usar los resultados para realimentar los sistemas educativos.

16. ¿Por qué a los estudiantes no les dan resultados

si presentan la prueba de PISA? Por tratarse de pruebas que tienen el objetivo de evaluar sistemas educativos nacionales, las de PISA tienen un diseño que no permite dar resultados por escuela o persona, pues los estudiantes responden sólo a una parte de las preguntas. Esto se hace así porque para poder evaluar las competencias que mide la prueba se requiere una gran cantidad de reactivos, y responder a todos ellos le tomaría a una persona mucho tiempo. Así, para facilitar la aplicación, cada estudiante responde una parte de la prueba. Por esta razón es imposible obtener resultados en forma individual. Además, por tener una muestra de escuelas, tampoco se pueden ofrecer resultados por cada una de ellas; en cambio, se obtienen datos confiables sobre el conjunto del sistema educativo.

5

PISA

6

17. Entonces, ¿no hay manera de tener resultados

por alumno o por escuela? No con las pruebas de PISA.

18. ¿Qué papel tiene la evaluación que realizan

los profesores en las aulas? La evaluación en el aula practicada por los profesores es sumamente importante e insustituible. Lo que los profesores miden día a día, mensual o anualmente, les permite, por un lado, monitorear el desempeño de los estudiantes y ajustar su proceso de enseñanza; por otro, les ayuda a certificar a cada alumno. En ese sentido, esta evaluación se conoce como de alto impacto por el tipo de decisiones a las cuales llega, pues en función de los resultados de las pruebas de aula, acompañadas de los trabajos escolares, las tareas, las participaciones, etcétera, se asignan calificaciones a los estudiantes. Esto no sucede con los resultados de las pruebas a gran escala, como es el caso de PISA.

19. ¿Quién coordina a nivel internacional el estudio de PISA? Para cada aplicación de PISA, la OCDE contrata por concurso a diferentes organismos especializados en evaluación para que coordinen el diseño y la implementación del proyecto. De 2000 a 2006 estuvo a cargo de un consorcio internacional encabezado por el organismo australiano Australian Council for Educational Research (ACER). En 2009 y 2012 la OCDE reorganizó los trabajos del proyecto y mantuvo a ACER como el responsable de su manejo, control y coordinación. PISA 2015 ha sido desarrollado y coordinado por un conjunto diferente de organismos, cuya cabeza ha sido Educational Testing Service (ETS). Para mayor información sobre la estructura organizativa de PISA visite la página: www.pisa.oecd.org

20. ¿Quién está a cargo de PISA en México? Coordinados por el consorcio internacional, el responsable en México es el Instituto Nacional para la Evaluación de la Educación (INEE), organismo creado en 2002 para encargarse de evaluaciones internacionales y nacionales, independientes de las realizadas por la SEP. Dentro del INEE, es la Unidad de Evaluaciones del Sistema Educativo Nacional (UESEN) quien se encarga de coordinar la implementación del proyecto en todas sus fases y garantiza que se cumplan los procedimientos y estándares técnicos definidos por el consorcio para que la implementación sea de alta calidad. También participa en el desarrollo y validación de los instrumentos de medición, contribuye en la verificación y revisión de los resultados, así como en el análisis e integración de reportes, entre ellos el nacional.

21. ¿Desde cuándo participa México en PISA? Desde el primer ciclo de aplicación en 2000; lo ha seguido haciendo y se prevé que así sea en los subsecuentes ciclos.

Preguntas frecuentes

22. ¿Qué niveles y modalidades educativas de México participan en PISA? La población objetivo de PISA corresponde a estudiantes de 15 años. En el caso de México, esta población está inscrita principalmente en el primer año de educación media superior, pero también hay estudiantes inscritos en tercer grado de secundaria.

23. ¿Qué tipos de preguntas se usan en PISA y por qué? PISA utiliza preguntas de opción múltiple porque son confiables, eficientes y soportan análisis científicamente sólidos. También es importante tomar en cuenta que las preguntas de opción múltiple en PISA tienen una variedad de formatos; por ejemplo, resaltar una palabra dentro de un texto, conectar partes de información y hacer selecciones múltiples desde menús desplegables. Un tercio de las preguntas de PISA son abiertas.

24. ¿Quién genera las preguntas de la prueba? Se invita a todos los países participantes de PISA a presentar preguntas a los contratistas internacionales. Los contratistas también redactan algunas preguntas. Las preguntas propuestas son revisadas por los contratistas y por los participantes; se pone mucho cuidado para evitar sesgos culturales. Solamente aquellas preguntas que son aprobadas por unani- midad son usadas en PISA. Además, antes de la prueba definitiva hay una aplicación piloto en todos los países participantes. Si las preguntas del piloto resultan ser demasiado fáciles o demasiado difíciles en ciertos países o economías,1 se eliminan de la prueba definitiva.

25. ¿Cómo se estructura la prueba? La prueba está compuesta por diferentes tipos de reactivos. Uno comprende los muy conocidos, en los cuales se selecciona una sola opción de respuesta; en otro tipo de reactivo, se pide como respuesta una frase corta o una cantidad; y los predominantes son aquéllos en donde se pide que el estudiante construya la respuesta. En todos los casos, los reactivos no se presentan aislados, sino que se acompañan de un estímulo introductorio que bien puede ser un texto, una gráfica, un diagrama, un mapa, etcétera. Es así que, para responderlos, el es- tudiante debe leer y comprender el estímulo introductorio para resolver cada tarea solicitada en el reactivo.

Para medir las competencias en Ciencias, Matemáticas y Lectura, la prueba abarca muchos más reactivos de los que contesta un estudiante. La medición completa incluye, en promedio, ciento ochenta reactivos; esta cantidad varía dependiendo del ciclo. Es claro que un estudiante no puede, además de leer el estímulo introductorio, dar respuesta a todos los reactivos de la prueba en un tiempo de dos horas. Por lo tanto, el total de reactivos se organiza

1

Un país se define como la comunidad social con una organización política común, territorio y órganos de gobierno propios que es soberana e independiente políticamente de otras comunidades. En tanto, por economía se entiende el sistema de producción, distribución, comercio y consumo de bienes y servicios de una sociedad determinada. Existen algunas economías que no tienen el estatus de país independiente, pero que sí participan en PISA.

7

PISA

8

en grupos, y éstos se distribuyen en las diferentes versiones de la prueba. Cada estudiante responde una versión de la prueba que le fue asignada de forma aleatoria. En PISA 2015 los reactivos se adaptaron para su aplicación por computadora.

26. ¿Por qué se diseñan más reactivos de los que un estudiante

puede responder? Porque del total de las respuestas de la muestra de alumnos a quienes se les aplicó la prueba PISA se obtiene mucha más información, sin que esto implique una jornada extenuante que impacte en los estudiantes ni en el operativo de la aplicación. De esta manera, se logra tener más reactivos contestados y así los resultados no se limitan a uno solo, sino a medir una amplia gama de procesos cognitivos y contenidos de cada área de evaluación.

27. PISA 2015 se aplicó como una prueba por computadora,

¿cuál es la importancia de esto? Las computadoras y la informática forman parte de nuestra vida cotidiana, lo que hace inevitable que PISA haya progresado a esta forma de aplicación. La gran mayoría de los países que participaron en PISA 2015 aplicaron la prueba por computadora, pero los países que no estaban listos para la prueba en esa modalidad, aplicaron la prueba en papel. En PISA 2015 fue posible comparar el desempeño de los estudiantes entre pruebas por computadora y en papel, y entre esta última prueba y los ciclos previos de PISA, que también se aplicaron en papel. Es posible encontrar más información sobre la comparabilidad de las pruebas en el sitio web de PISA: www.pisa.oecd.org

28. ¿Cómo se mejoró el análisis de los datos de PISA para el ciclo 2015? Se realizaron varias mejoras en el enfoque y el proceso de análisis de los datos de PISA 2015. Estas mejoras se basaron en la experiencia de ciclos anteriores y en la comprensión de nuevas técnicas que aumentarían la precisión de la medición, la validez y la confiabilidad de los datos de PISA, así como la estabilidad de los datos entre ciclos. Puede encontrar más información sobre estas mejoras en el sitio web de PISA: www.pisa.oecd.org

29. ¿Para qué sirven los resultados de PISA? Para que todos los profesores de secundaria y de educación media superior de México sepan cómo está el sistema educativo en comparación con otros. El INEE también se ha abocado a elaborar material derivado de las pruebas a gran escala que le permita a los docentes hacer uso educativo de ellas. Un ejemplo es el libro titulado PISA para docentes, elaborado por el INEE, en el cual los profesores pueden ver ejemplos reales de preguntas de los ciclos 2000 y 2003, en la versión del español usado en México, y que pueden aplicar a sus estudiantes para observar su nivel, en comparación con el de jóvenes de 15 años de México u otros países. También pueden consultar y usar, como un recurso complementario en la enseñanza, la serie

Preguntas frecuentes

"PISA en el aula" integrada por tres libros, uno por área de evaluación (Lectura, Ciencias y Matemáticas), y cuyo foco de atención son propuestas didácticas para la educación secundaria, tomando como base los referentes de PISA y los planes y programas de ese nivel educativo. Otro material dirigido a los docentes es la colección "La competencia lectora desde PISA" que integra tres cuadernos organizados a partir de los tres formatos textuales que maneja PISA (continuo, discontinuo y mixto). En ellos se incluyen elementos concretos para facilitar el trabajo analítico, práctico y reflexivo de los estudiantes a fin de lograr una mejor competencia lectora. Todas estas obras están disponibles en la página electrónica del INEE: www.inee.edu.mx

30. ¿Qué alcance tendrán los resultados de México en PISA 2015? En esta ocasión, los resultados de México serán a nivel nacional, no será posible tener resultados por entidad federativa.

31. ¿Cómo han ayudado los resultados de PISA a los países

para mejorar sus sistemas educativos? De acuerdo con una encuesta de 2012 de la OCDE aplicada a los países participantes, la mayoría de los encuestados señaló que las políticas de los países de alto rendimiento o sus sistemas de mejora, habían influido en sus propios procesos de formulación de políticas. También indicaron que PISA había influido en el desarrollo de nuevas estrategias de evaluación nacional o estatal. En relación con el establecimiento de planes de estudio y estándares, muchos países mencionaron la influencia de la comparación de los marcos y evaluaciones de PISA con los planes de estudio nacionales; la conformación de estándares comunes a nivel nacional; el impacto en sus marcos conceptuales de lectura; la incorporación de competencias semejantes a las evaluadas en PISA en sus planes de estudio y en el establecimiento de estándares nacionales de desempeño.

La OCDE se esfuerza por identificar qué políticas y prácticas parecen estar "funcionando" en los países que registran un alto desempeño o muestran evidencia de mejoras significativas en PISA al paso de los años. Además, informa de esas conclusiones y apoya a los países que desean investigar y explorar cómo se beneficiarían de programas similares. La OCDE está consciente de las diferentes circunstancias de los países que participan (en PISA 2015 participaron 72 países). También considera que no existe un modelo educativo único para los países, por lo que no es posible trasladar el sistema educativo de un país a otro.

32. ¿Cómo se puede obtener más información sobre PISA

y quién la desarrolla? La OCDE, a través de su sitio web y sus publicaciones, pone a disposición del público y de los especialistas toda la información relevante sobre los métodos y procesos relacionados con las evaluaciones de los diferentes ciclos de PISA. Esto incluye: los marcos de evaluación que explican qué se evalúa, por qué y cómo; ejemplos de los ítems de la prueba y de las preguntas

9

PISA

10

de los cuestionarios; un informe técnico de cada ciclo con información detallada sobre aspectos relacionados a la evaluación y al análisis; los datos obtenidos de la evaluación; los manuales de análisis de datos que permiten a los investigadores analizar y examinar más a fondo la información; los manuales técnicos para la aplicación y para el aseguramiento de la calidad de la traducción; así como un conjunto detallado de preguntas frecuentes que proporcionan información clave. Además del personal y los contratistas de la OCDE, cientos de expertos, académicos e investigadores de los países participantes en PISA se involucran en el desarrollo, el análisis y la presentación de informes de resultados. La información detallada de los participantes se proporciona tanto en los informes, como en el sitio web de PISA: www. pisa.oecd.org

33. ¿Cuándo y cómo se difunden los resultados de PISA? Los resultados de los países son procesados por el consorcio de PISA, a fin de publicar el reporte internacional, que es dado a conocer un año después de la aplicación definitiva. Puede accederse a la siguiente liga para revisar los reportes disponibles: www.pisa.oecd.org

Cada país es responsable de integrar su propio reporte, una vez que dicho consorcio entregue los datos a cada país. Los reportes nacionales se deben dar a conocer cuando el consorcio publica el internacional. En México, el INEE los difunde ampliamente a través de su página electrónica: www.inee.edu.mx

34. ¿Están a disposición del público las pruebas y cuestionarios de PISA? Sí, para cada ciclo de evaluación se pone a disposición del público en general una selección de materiales de la prueba PISA. Es posible acceder a las preguntas liberadas y cuestionarios de PISA publicados hasta la fecha. Actualmente, se puede consultar la publicación Take the Test, para seleccionar interactivamente preguntas en línea que fueron del tipo que se aplicó en PISA 2015, el sitio es: www.oecd.org/pisa/test/#d.en.258043

35. ¿Por qué no están disponibles todos los materiales

de la prueba de PISA? Con el fin de permitir a los países seguir su rendimiento en el tiempo, muchas preguntas se utilizan en más de una aplicación de PISA. Estas preguntas no pueden hacerse públicas mientras estén en uso.