PROYECTO PISA

Bloque III. La calidad de los resultados educativos

Propósito: Reconozcan a la evaluación como uno de los requisitos indispensables para mejorar la calidad de la educación, e identifiquen sus alcances y límites.

En esta actividad es muy importante precisar los argumentos y observar en un análisis reflexivo las implicaciones de la evaluación en el aspecto de calidad de la educación.

“Los referentes representan como tal, compromisos para el ejercicio profesional futuro”.

En la historia del sistema educativo mexicano, las políticas de evaluación tienen un carácter reciente, no mayor a cuatro décadas. La sistematización de los esfuerzos, la mejora de su calidad, y la difusión de los resultados, son rasgos que sólo en la última década se han afianzado. Tres periodos se distinguen en este desarrollo:

El primero abarca las décadas de 1970 y 1980. A principios de 1970 la Secretaría de Educación Pública (SEP) mejoró y sistematizó significativamente la recolección de información censal para la construcción de estadísticas referidas a la educación nacional. Es también en este período cuando, en el ámbito de la SEP, se realizaron las primeras evaluaciones de aprendizajes en educación primaria.

El segundo periodo comprende la década de 1990. En esta etapa se implementó un amplio conjunto de instrumentos de evaluación de aprendizajes en primaria y secundaria, con diversos objetivos: desde la acreditación de niveles educativos, y asignación de incentivos a maestros, hasta la evaluación de aprendizajes en sentido estricto. El proceso de federalización del sistema educativo marcó fuertemente el periodo, lo que incentivó el desarrollo de un Sistema Nacional de Evaluación de la Educación (SNEE) que integrara y coordinara las diversas iniciativas, incluyendo a las Áreas Estatales de Evaluación (AEE).

El tercer periodo comienza en 2001, a partir de la asunción del gobierno de Vicente Fox. Esta etapa se caracteriza por dos avances de importancia en relación a los periodos anteriores. En el terreno político, se confiere un papel estratégico a la evaluación de la educación, como elemento imprescindible para la planeación y la rendición de cuentas por parte de la autoridad educativa. En
el ámbito institucional, se da un paso fundamental hacia la reestructuración de las instancias encargadas de la evaluación, a través de la creación del Instituto Nacional para la Evaluación de la Educación (INEE).

En este contexto, la Dirección General de Evaluación (DGE) de la SEP se convierte en un actor central, encargándose del diseño y la coordinación de múltiples evaluaciones. Sus funciones generales, a cumplir de manera coordinada con las instancias correspondientes, son:
Evaluar de manera sistemática y permanente el desarrollo del sistema educativo, el cumplimiento de sus objetivos, programas y proyectos, así como su impacto, de acuerdo con lo establecido por el Programa Nacional de Educación.
• Evaluar la asignación de recursos públicos por parte de la Secretaría de Educación Pública, proponiendo medidas correctivas cuando fuera necesario.
• Participar en el desarrollo y coordinación de la política nacional de evaluación educativa, del sistema nacional de evaluación educativa, y de la participación de México en las evaluaciones internacionales.
• Participar en el desarrollo de criterios y parámetros de evaluación.
• Proponer lineamientos generales de evaluación a las autoridades locales.
• Proponer, a partir de la evaluación, prioridades, políticas y programas de carácter estratégico.
Durante la década de 1990, la DGE continúo con la aplicación del Instrumento para el Diagnóstico de Alumnos de Nuevo Ingreso a Secundaria (IDANIS), iniciado sistemáticamente en 1989. A partir de 1994, desarrolló la evaluación del aprovechamiento escolar en el marco del Programa de Carrera Magisterial y la evaluación del Programa para Abatir el Rezago Educativo (PARE); desde 1996, el programa Evaluación de la Educación Primaria (EVEP); a partir de 1998, las pruebas de Estándares Nacionales. Algunas de estas pruebas continúan aplicándose en la actualidad, mientras que otras han sido sustituidas o sustancialmente modificadas.
El IDANIS se aplica sistemáticamente desde 1989 a los alumnos de 6º año de educación primaria con el objetivo de tener un conocimiento individualizado de las habilidades básicas en las áreas verbal, matemática, y de razonamiento, a fin de distribuirlos en las escuelas secundarias.
Inicialmente, se aplicó selectivamente en dos entidades, y en 1991 se expandió a 16, con carácter censal. Actualmente la prueba se aplica en veinte de las 32 entidades del país.
Los resultados de las pruebas aportan información sobre las habilidades de cada alumno, que se ubican en cuatro niveles de logro. Estos resultados también se agrupan por escuela, pero no permiten realizar comparaciones rigurosas entre sus niveles de logro, debido a que, con excepción del Distrito Federal, las pruebas no se acompañan de cuestionarios de contexto.
El PARE fue un programa compensatorio a cargo del Consejo Nacional de Fomento Educativo
(Conafe), iniciado en el ciclo escolar 1991-1992, orientado a mejorar la calidad de las
escuelas en los cuatro estados con mayor nivel de marginación. Uno de los componentes del programa fue la evaluación de los aprendizajes y de los procesos de aula. Se pretendía contar con elementos que permitieran conocer los impactos del programa sobre los aprendizajes, así como mejorar la calidad de los procedimientos de evaluación que utilizan los docentes, y propiciar la autoevaluación de las escuelas.
A partir de esta experiencia, se diseñó el Programa para Abatir el Rezago en la Educación Básica (PAREB), en cuyo marco se desarrolló el Programa Evaluación de la Educación Primaria (EVEP). Su objetivo era obtener información que permitiera generar series históricas sobre el nivel de aprendizajes no solamente en los Estados que eran objeto de políticas compensatorias, sino también en el resto de las escuelas del país.
Desde el primer levantamiento del EVEP, en 1996, se aplicaron pruebas de aprendizaje de Español y Matemáticas a alumnos de 3º y 6º grado, junto con cuestionarios de contexto a padres, docentes y directores. No se conocen análisis más complejos de la información a nivel cuantitativo.
La importancia del EVEP radica en que constituye el primer intento de realizar una evaluación de aprendizajes exhaustiva, del tipo de las que estaban difundiéndose en la década de 1990 en América Latina. Constituye un valioso antecedente para la evaluación de aprendizajes que actualmente desarrolla el INEE. Por otra parte, el desarrollo de este programa contribuyó a fortalecer a las Áreas Estatales de Evaluación (AAE), dado que se capacitó al personal técnico de las entidades mediante diversos diplomados, seminarios, cursos y talleres.
Las pruebas de Estándares Nacionales (EN) representaron una innovación dado que se orientaron a conocer el grado en que los alumnos alcanzaban los estándares mínimos propuestos en los programas oficiales.
La DGE tuvo a cargo la elaboración de las pruebas y el diseño de los mecanismos de evaluación entre los años 1998 y 2003. A partir de ese año, su aplicación se trasladó al Instituto Nacional para la Evaluación de la Educación (INEE).
Su diseño buscó elevar la validez y confiabilidad de los instrumentos, para lo cual la SEP convocó a diversos especialistas y funcionarios.
Diversos esfuerzos se han realizado durante los últimos años para avanzar en la consolidación
del Sistema Nacional de Evaluación. De entre estos cabe destacar particularmente la creación del
Instituto Nacional para la Evaluación de la Educación (INEE), el cual ocupa actualmente un lugar central en la evaluación educativa nacional.
El INEE se crea en el mes de agosto de 2002 por un decreto presidencial. El decreto de creación establece que al Instituto le corresponde evaluar la educación básica y media superior, a través de las siguientes actividades: el desarrollo de un sistema de indicadores que permita evaluar la calidad del Sistema Educativo Nacional; apoyar la realización de evaluaciones nacionales de aprendizaje; desarrollar modelos de evaluación de escuelas; apoyar la evaluación educativa en las entidades federativas; diseñar instrumentos y sistemas de evaluación adecuados a cada nivel, apoyando en su aplicación y análisis, así como supervisando su implementación; impulsar y fortalecer la cultura de la evaluación, difundir resultados y capacitar en materia de evaluación; realizar investigaciones en la materia, y coordinar la participación de México en los proyectos de evaluación internacionales.
¿También se evalúan escuelas y maestros?

La calidad de la educación implica algo más que evaluar sus resultados; también es necesario conocer la calidad de las condiciones y los procesos en que se desarrollan los aprendizajes. Una buena evaluación del sistema educativo requiere, además de observar el aprendizaje de los alumnos, conocer a las escuelas, sus recursos, sus condiciones de operación y sus procesos organizacionales.
También es necesario un conocimiento detallado sobre los maestros y directores, sus condiciones de trabajo y su capacidad pedagógica.
En México la evaluación de escuelas y maestros no tiene aún el grado de desarrollo de las evaluaciones de la calidad de los aprendizajes.
Existen, sin embargo, iniciativas que aportan un considerable caudal de información.

Programa Escuelas de Calidad (PEC)

El Programa Escuelas de Calidad es una iniciativa del Gobierno Federal orientada a las escuelas públicas de educación básica. Su operación inició en el ciclo escolar 2001-2002, incorporándose más de 35 mil escuelas en el ciclo 2004-2005
La evaluación de este ambicioso programa constituye una tarea de grandes proporciones, encabezada por la SEP, que involucra a diversas instituciones.

























¿Qué es ENLACE?


Es una prueba cuyo objetivo es obtener información adicional sobre el funcionamiento de la educación escolar en México a través de los aprendizajes en Matemáticas y Español de estudiantes de tercero, cuarto, quinto y sexto de primaria y tercero de secundaria de todo el país.
No es un examen que aprueba o reprueba. Tampoco permite emitir juicios de valor para calificar o descalificar la calidad de los servicios educativos de las escuelas. Pretende reforzar y mejorar las habilidades y conocimientos de nuestras hijas e hijos para desplegar todo su potencial, qué es, en realidad, el propósito fundamental de la educación.
ENLACE es un instrumento adicional para que los Maestros, Maestras, Directivos, Educandos y Autoridades educativas y escolares de todo el país conozcan, con una medida confiable y razonablemente comparable, el estado actual y la evolución de sus esfuerzos y resultados escolares en todos los niveles: Estatal, Municipal, Local, Escolar, Grupal y Estudiantil.
ENLACE es un instrumento más para promover una cultura de información, transparencia, evaluación y rendición de cuentas en todo el país. ENLACE propicia que la información de todo el sistema educativo fluya desde los salones de clase hasta los hogares pues es en el seno familiar donde se encuentra una parte muy importante del éxito educativo de nuestros hijos e hijas.
ENLACE es un instrumento que pretende unir más a los mexicanos, que busca mejorar los procesos educativos e identificar las áreas en que las Mamás, los Papás, las y los Maestros, los Directivos, los Alumnos y las Autoridades educativas de la República, debemos trabajar más por la calidad de la educación.
¿Qué evalúa la prueba?



ENLACE contempla los conocimientos y habilidades que poseen los alumnos en las asignaturas de Español y Matemáticas. En primaria se evalúan los grados de tercero a sexto y en secundaria sólo tercero.
Estas asignaturas han sido consideradas en diversos estudios internacionales como fundamentales en la educación básica.
¿Cuáles son sus características?



ENLACE es una serie de pruebas que se elabora para cada grado y asignatura. Las preguntas son de opción múltiple y presentadas en un cuadernillo y una hoja donde los alumnos registran sus respuestas.
Las pruebas de ENLACE tienen 102 preguntas como mínimo (para tercer grado de primaria) y hasta 134 como máximo (para tercer grado de secundaria), variando en cada asignatura-grado.
Las diferentes pruebas evalúan los contenidos establecidos en los planes y programas de estudios oficiales vigentes de la SEP.
Las preguntas que conforman las pruebas han sido revisadas por docentes de toda la República así como por especialistas y expertos de instituciones públicas y privadas.

¿Cómo se aplicó?



ENLACE se aplicó el pasado ciclo escolar a 10,148,666 alumnos de tercero a sexto grados de primaria y de tercero de secundaria en 121, 585 escuelas del país.
A fin de facilitar y darle homogeneidad al proceso, se contrató un coordinador de aplicación externo para cada plantel educativo. La aplicación en cada aula estuvo a cargo de un docente que no fuera el titular del grupo, bajo la observación de dos padres de familia cuyos hijos no pertenecían al grupo. Se desarrolló durante dos días, cada uno con tres sesiones de aplicación, con una duración de 45 minutos cada una.
¿Cómo se difunden los resultados?



La difusión se realiza a través de diversos medios:
· Reportes impresos con diagnósticos individualizados para padres de familia y, por grupo, para docentes y directivos.
· Carteles para la comunidad educativa, con información de resultados de los alumnos evaluados de la escuela.
· Sistema de Consulta de Resultados que incluye material de apoyo para maestros y ejercicios para alumnos.
· Red de 7,000 espacios públicos y 350 tiendas de autoservicio que facilitarán a padres de familia, alumnos y docentes, servicio de cómputo y acceso a Internet durante agosto y septiembre.
· Spot de televisión y notas de prensa.
· Historieta para reforzar los propósitos y beneficios de la prueba ENLACE e informar sobre el aprovechamiento de los materiales de apoyo.
¿Quiénes participan?



Los investigadores e instituciones participantes en La Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE) son:
Participantes por tipo de proceso
· Elaboración de las tablas de referencia –Funcionarios de Subsecretaría de Educación Básica (SEB), Instituto Nacional para la Evaluación de la Educación (INEE) y Dirección General de Evaluación de Políticas (DGEP).
· Taller de Jueceo de reactivos – Profesores y especialistas de Español y Matemáticas.
· Revisión de las pruebas – Universidad Nacional Autónoma de México, (UNAM), Sociedad Mexicana Matemática (SMM), Universidad Pedagógica Nacional (UPN), Universidad del Claustro de Sor Juana (UCSJ), entre otras.
· Validación de la pertinencia de los materiales de apoyo y ejercicios que se recomiendan para cada pregunta y tema evaluado – Centro de Investigación y Docencia Económicas, (CIDE), Universidad Pedagógica Nacional (UPN), Universidad Nacional Autónoma de México, (UNAM) y Sociedad Mexicana Matemática (SMM).
· Validación externa de los procesos de calificación de las pruebas y aplicación de los métodos de copia – Centro de Investigación en Matemáticas (CIMAT).
· Validación del proceso de equiparación resultados 2006 y 2007– Universidad Complutense de Madrid.
· Revisión de los indicadores de contexto que inciden en los resultados académicos –Universidad Complutense de Madrid, Modelo de Calidad Total de España.
· Validación de los estándares internacionales que reúnen las pruebas –Instituto de Evaluación e Ingeniería Avanzada, (IEIA).
¿Qué significan los resultados?



En esta sección se presentan los resultados obtenidos por su escuela desglosados de la siguiente forma:
· Resultados de mi grupo
· Respuestas de mi grupo en Español
· Respuestas de mi grupo en Matemáticas
· Desempeño en mi escuela
· Comparación con otras escuelas
Resultados de mi grupo. Presenta un diagnóstico individualizado del grupo con información para cada asignatura, de los puntajes máximos, mínimos y promedio que se obtuvieron en el grupo, la escuela y la entidad en la que está la escuela, además del obtenido en el País para cada grado-asignatura. También el porcentaje por nivel de logro (Insuficiente, Elemental, Bueno y Excelente) para el grupo, escuela y entidad en la que está la escuela, además del obtenido en el país para cada grado-asignatura. Cuando algunos de los porcentajes del grupo son los mismos que los de la escuela significa que la escuela cuenta con un sólo grupo en ese grado.

El proyecto PISA

Programme for International Student Assessment (PISA)

El PISA es un programa especial desarrollado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) en el que han participado 49 países.

El Programa Internacional para la Evaluación de los Estudiantes (PISA) es un proyecto de los países miembros de la OCDE que tiene como propósito medir qué tan bien están preparados los jóvenes de hoy para enfrentar los retos del mundo moderno.

El proyecto parte del supuesto que obtener datos sobre el desempeño de los estudiantes, su contexto individual, la familia y los factores institucionales y sociales que influyen en el desempeño y conocer su dinámica es de gran ayuda para explicar las diferencias en el desempeño de los estudiantes. PISA se enfoca más a evaluar las habilidades para usar los conocimientos y destrezas para enfrentar retos de la vida real que a la evaluación de la medida en que los estudiantes han logrado adquirir un currículo escolar especifico.

Las principales características del estudio son:
• Su orientación expresa hacia la política educativa con diseño y métodos de reporte determinados por las necesidades de los gobiernos de los países participantes para derivar del estudio lecciones de política educativa.
• Su enfoque innovador hacia la alfabetización no sólo de la lectura sino también hacia las ciencias y las matemáticas.
• Su enfoque en la demostración de conocimientos y habilidades de manera que sea relevante a la vida diaria.
• Su amplitud en la cobertura geográfica con 45 países participando lo que representa un tercio de la población mundial.
• Su regularidad con un compromiso de repetir el estudio cada tres años.
• Su naturaleza colaborativa en el sentido de que los gobiernos de los países participantes conducen en conjunto el proyecto junto con un consorcio de instituciones líderes en el mundo en el campo de la evaluación y con conocimiento científico de punta.
Población objetivo
Con objeto de asegurar la mayor comparabilidad posible, el proyecto PISA se dirige a evaluar jóvenes de 15 años de edad, independientemente del grado y modalidad de enseñanza secundaria o media superior en la que estén inscritos; en la mayoría de los países, en esta edad los estudiantes están finalizando la educación básica obligatoria y se aprestan para ingresar al mundo del trabajo, de manera que es posible apreciar las competencias adquiridas en una etapa semejante de vida.
Muestra
Se utilizan muestras representativas entre 4,500 y 10,000 estudiantes en cada país, de manera que es posible realizar inferencias para el país en su conjunto, no así para regiones o estados. En el caso particular de México en la aplicación del 2003, se decidió ampliar la muestra hasta más de 30,000 estudiantes para poder derivar conclusiones a nivel estatal y no sólo a nivel país.

El diseño del estudio considera una escala continua donde cada estudiante recibe una puntuación que muestra la actividad o conjunto de tareas con mayor grado de dificultad que es realizado correctamente. Cada área de competencia -lectura, matemáticas y ciencias- tiene su propia escala, donde la puntuación promedio es de 500 puntos.

Presentará SEP bases del Sistema Nacional de EvaluaciónExpone la titular de Educación, Josefina Vázquez Mota, que “todavía enfrentamos grandes desafíos en materia de calidad y de equidad. En esta agenda no debe haber complacencia ni tregua”
NotimexEl UniversalCiudad de MéxicoJueves 15 de noviembre de 2007
12:48 La titular de la SEP, Josefina Vázquez Mota, anunció que en los próximos días se presentarán las bases del Sistema Nacional de Evaluación, que incorpora las propuestas de diversos actores de la agenda educativa.
En la entrega de reconocimientos a alumnos y maestros de la Prueba Enlace 2007, la funcionaria reconoció que "sólo evaluándonos podemos saber en qué vamos bien, qué debemos mejorar y proponer acciones para lograrlo".
La titular de la Secretaría de Educación Pública (SEP) expuso que "todavía enfrentamos grandes desafíos en materia de calidad y de equidad. En esta agenda no debe haber complacencia ni tregua".
En el acto, que estuvo encabezado por el presidente Felipe Calderón, refirió que la Prueba Enlace identifica las competencias de las niñas y los niños en las materias de matemáticas y español.
Mencionó que en las aulas donde la mayoría de los estudiantes obtuvieron muy buenos resultados las y los maestros jugaron un papel importante, "que hoy valoramos y también reconocemos".
Vázquez Mota destacó que el acuerdo tomado y firmado con el Sindicato Nacional de Trabajadores de la Educación hizo posible este avance en la credibilidad de la Prueba Enlace.
La aplicación y los resultados obtenidos en esta evaluación confirma que las tareas del aprendizaje y aprovechamiento no son solamente responsabilidad de los maestros y directores, sino que requieren del acompañamiento y compromiso de los padres, sostuvo.
Ante ello, invitó a los padres de familia a que utilicen los materiales que se han desarrollado para acompañar a sus hijos en este propósito de mejorar la calidad en la educación.
EL CENEVAL
El Centro Nacional de Evaluación para la Educación Superior (CENEVAL), constituido en febrero de 1994, comenzó ese año a aplicar exámenes de ingreso al bachillerato y a licenciatura, e inició los trabajos técnicos y de integración de organismos colegiados para el diseño y aplicación de exámenes para egresados de distintas carreras, como Contaduría, Administración, Ingeniería, Medicina Veterinaria y Zootecnia, Medicina, Enfermería, Odontología, Ciencias farmacéuticas y Turismo.
Los principales proyectos desarrollados por el CENEVAL han sido los que se denominan técnicamente como EXANI I, (ingreso a la educación media superior) y EXANI II, (ingreso a la educación superior), y EGEL (egreso de licenciatura). También este Centro inició la realización de otros proyectos, entre los que sobresalió el examen de selección para ingreso a educación media superior de la zona metropolitana de la ciudad de México, por encomienda de la Comisión Metropolitana de Instituciones de Educación Media Superior y que se viene aplicando desde 1996.