Análisis de factores indiciarios del efecto de las TIC en la calidad educativa

En esta entrada trataré de buscar indicios que me acerquen a responder a una cuestión que me lleva preocupando desde hace un tiempo: ¿existen evidencias empíricas objetivas estadísticamente relevantes del impacto de las TIC en la educación?

Esta cuestión nos lleva a diferentes vertientes discursivas de gran interés, especialmente aquellas destinadas a reflexionar sobre el camino que se está siguiendo para la introducción de las TIC en la educación y su grado de idoneidad. En todo caso, no es mi intención obtener una respuesta categórica al respecto (algo imposible con los métodos empleados y la información disponible) sino intentar encontrar indicios que permitan guiar futuras investigaciones al respecto.

El planteamiento

Como ya he comentado, mi objetivo es reflexionar de la forma más objetiva posible sobre el posible impacto de las políticas de introducción de las TIC en el aula. El interés en torno a este tema resulta obvio al tratarse de una cuestión de obligado planteamiento para la revisión y mejora de las políticas educativas. Desde un punto de vista educativo, no se debe limitar el debate en torno a la TIC a planteamientos ideológicos o teóricos sino también a contrastar dichos planteamientos en la medida en que ello sea posible. En este sentido, la demonización del discurso de la eficiencia y su vinculación a políticas de “recorte” no debe apartarnos del camino de entender, como profesionales de la educación, que los recursos (ya sea el tiempo, la financiación o los medios materiales) son bienes escasos con usos alternativos que deben emplearse del mejor modo posible para maximizar los beneficios que percibe la sociedad del esfuerzo colectivo que realiza para financiar todos los servicios público. En este escenario no pretendo cuestionar el potencial de las TIC en la educación sino analizar si, con las políticas actuales, su uso está siendo efectivo o no.

El planteamiento por el que he optado no se fundamenta en la recopilación de fuentes bibliográficas teóricas complementadas con mis reflexiones al respecto. En lugar de ello he decidido recopilar datos empíricos y analizarlos desde un punto de vista estadístico. Básicamente, he recopilado fuentes de información vinculadas a dos fenómenos que pretendo analizar de forma cruzada: la evolución que han tenido diferentes países de nuestro entorno en términos de desempeño en el informe PISA (Program for International Student Assessment realizado por la OCDE) y los esfuerzos que han realizado esos mismos países en implantar las TIC en la educación. Para intentar estabilizar los resultados y evitar desviaciones por variaciones puntuales tomaré como referencia la variación en el nivel de desempeño en el informe PISA entre 2003 y 2009 y las políticas TIC impulsadas durante dicho periodo. Los países elegidos, tanto por diversidad como por disponibilidad de datos son los siguientes: España, Austria, Bélgica, Bulgaria, Chipre, República Checa, Dinamarca, Estonia, Grecia, Finlandia, Francia, Croacia, Hungría, Irlanda, Italia, Letonia, Lituania, Luxemburgo, Malta, Noruega, Polonia, Portugal, Rumanía, Eslovenia, Eslovaquia, Suecia y Turquía. Este grupo de países no sólo incluye un entorno geográfico más o menos cercano sino también a países con niveles de “calidad educativa” (en términos PISA) e implementación de las TIC muy diversos.

La principal fuente que he tomado como referencia para medir el grado de implantación de las TIC en la educación ha sido el documento “Survey of Schools: ICT in Education (Benchmarking Access, Use and Attitudes to Technology in Europe’s Schools)” de la Comisión Europea publicado en Febrero de 2013 con datos del curso 2011-2012. Las principales razones que justifican su elección son las siguientes: se trata de un análisis profundo que toca todos los aspectos de las TIC en la educación, presenta datos objetivos, compara de forma igualitaria diferentes países de nuestro entorno, analiza varios niveles educativos y cubre un rango temporal amplio de iniciativas.

Por otro lado, en lo tocante al desempeño de los diferentes países en las pruebas PISA, he acudido a la fuente oficial (OCDE) para recopilar su evolución entre 2003 y 2009.

Cabe destacar que, por diversos motivos, no siempre ha sido posible obtener todos los indicadores analizados para todos los países planteados en la comparativa por lo que en cada caso se han tomado para el análisis tantos de ellos como era posible (las ausencias, salvo los países que cito a continuación son puntuales y se detallan en el informe de la Comisión Europea). Con todo, he tenido que descartar a los siguientes países por no encontrar históricos suficientemente antiguos: Malta, Lituania, Croacia, Chipre, Rumania, Eslovaquia y Eslovenia.

Para este análisis de potenciales indicios de correlación entre diferentes indicadores de las TIC en el sistema educativo y la calidad educativa, he tabulado todos los indicadores empleados para calcular de forma cruzada las correspondientes regresiones lineales con la evolución en los informes PISA (es decir, se calculó la correlación entre cada indicador TIC y el indicador de calidad educativa del informe PISA). En cada caso se ha realizado el mejor ajuste lineal calculando, en base al nivel de correspondencia entre la tendencia calculada y las muestras disponibles, el nivel de correlación (tanto en signo como en valor absoluto). En todos los casos se contrastó la evolución de cada país en el estudio PISA entre 2003 y 2012 contra cada uno de los diferentes indicadores del uso de las TIC.

Para los indicadores del uso de las TIC en el aula se tomaron los valores publicados en la obra de referencia mencionada previamente.

Para el caso del estudio PISA se calcularon las diferencias relativas entre las puntuaciones promedio de las diferentes pruebas del informe PISA para cada uno de los dos años mencionados (de manera que a un país con un promedio de 500 en PISA en 2003 que presentaba un promedio de 490 en 2009 le correspondería una evolución del -2%). He decido medir la evolución de los diferentes países en PISA en estos términos porque estaba más interesada en la mejoría de cada país respecto a su situación de partida que en medir su desempeño en términos absolutos (ya que de lo que se trata es de medir el posible impacto de las TIC, no la calidad del sistema educativo).

Posibles limitaciones y hándicaps

Expuesto el planteamiento del que he partido conviene puntualizar que, al igual que en toda “investigación” de esta naturaleza, existen diversas limitaciones que deben tenerse en consideración a la hora de interpretar los resultados:

  • Estamos buscando correlaciones lineales entre parámetros que se deben interpretar como elementos indiciarios que apoyen o pongan en duda una posible relación de causa efecto entre la inclusión de las TIC en el aula y un mayor nivel de desempeño en estudio comparativo internacional. En ningún caso podemos afirmar la existencia o no de vinculación causal entre ambas variables, sólo posibles indicios de la misma o de su inexistencia (lo que podría ser suficiente para llevarnos a la reflexión o a profundizar en mayor medida).

 

  • Partimos de la base de que la evolución de los resultados promedio en PISA son indicativos de la evolución de la calidad de los sistemas educativos. Existen factores sociales del entorno educativo que inciden sobre aspectos como la equidad pero tienen difícil encaje en este indicador (el informe PISA posee indicadores de equidad pero el que hemos tomado es de resultados de desempeño educativo). Con todo ello no debería invalidar el análisis efectuado sino servir de recordatorio de que algunos aspectos pueden no estar debidamente representados en el mismo. Adicionalmente, pueden existir opiniones enfrentadas en lo tocante al grado de validez de los resultados obtenidos en dicha comparativa. Sin embargo no he podido encontrar una alternativa que parezca más satisfactoria para analizar el parámetro objeto del estudio (evolución de la calidad de diferentes sistemas educativos en un marco común que tenga históricos más o menos amplios).

 

  • Existen múltiples factores que inciden sobre la evolución del desempeño del sistema educativo desde sociales a económicos. Ello no invalida el análisis pero remarca la necesidad de recordar que el efecto de las TIC podría estar enmascarado por otros factores dominantes. Sin embargo, dado que en los tiempos recientes las TIC han sido, en el mundo desarrollado, uno de los cambios educativos más representativos en los que más esfuerzos se han orientado sería de esperar que tuviese cierto peso en la evolución del sistema educativo. Del mismo modo, al tomar un abanico de países más o menos amplio con realidades muy divergentes en cuanto a las TIC en la educación es de esperar que los resultados sean representativos de esas diferencias y el posible impacto de factores como la crisis económica se reduzca al menos en parte.

 

  • Debemos tener en consideración los factores temporales dado que, aunque hemos tomado un periodo de 6 años para el análisis, puede que el mayor hándicap de las TIC sea su fase embrionaria en la educación. De ser ese el caso sería necesario esperar para analizar periodos temporales mayores. Sin embargo, parece razonable que, dado que existen países que llevan muchos años progresando en el campo de las TIC sería de esperar que sus efectos fuesen visibles. Adicionalmente, durante el periodo analizado se ha constatado el caso de sistemas educativos como el turco o el portugués que han tenido avances notables por lo que no parece razonable pensar que el factor temporal justifique per se la posible ausencia de resultados tangibles.

 Los resultados

La tabla 1 muestra el resumen de la regresión lineal realizada entre los 21 parámetros vinculados al uso de las TIC en la educación contra la evolución de diferentes países en la comparativa PISA (entre los años 2003 y 2009):

  • estudiantes por ordenador (primaria)
  • estudiantes por ordenador (secundaria)
  • estudiantes por portátil conectado a internet (primaria)
  • estudiantes por portátil conectado a internet (secundaria)
  • estudiantes por pizarra interactiva (primaria)
  • estudiantes por pizarra interactiva (secundaria)
  • proporción de estudiantes en centros sin acceso de banda ancha (primaria)
  • proporción de estudiantes en centros sin acceso de banda ancha (secundaria)
  • evolución de la inversión por alumno (2000-2010)
  • alumnos en centros con entornos virtuales de aprendizaje (primaria)
  • alumnos en centros con entornos virtuales de aprendizaje (secundaria)
  • alumnos con acceso a entornos virtuales de aprendizaje fuera del centro (secundaria)
  • proporción de alumnos en centros altamente equipados en TIC (primaria)
  • proporción de alumnos en centros altamente equipados en TIC (secundaria)
  • docentes que emplean las TIC en al menos el 25% de las clases (primaria)
  • docentes que emplean las TIC en al menos el 25% de las clases (secundaria)
  • disponibilidad de las TIC para docentes y alumnos en las clases (primaria)
  • disponibilidad de las TIC para docentes y alumnos en las clases (secundaria)
  • proporción de uso de ordenadores/portátiles para fines educativos (secundaria)
  • proporción de uso de pizarras interactivas para fines educativos (secundaria)
  • proporción e estudiantes que casi nunca usan el ordenador con fines educativos (secundaria)

En la tabla 1 no sólo se representa el grado de correlación en valor absoluto (entre 0 y 1) sino también su signo y el signo que sería esperable observar si existiese un impacto beneficioso de las TIC en el desempeño educativo global en PISA.

Viendo los resultados que se presentan en la tabla 1, llaman poderosamente la atención los siguientes fenómenos:

  • Aparentemente, parecen existir parámetros directamente vinculados a la implantación de las TIC en el aula que presentan correlaciones marcadamente negativas con la evolución de los diferentes sistemas educativos en la comparativa PISA (principalmente parámetros de disponibilidad de terminales físicos como ordenadores o portátiles).

                           Gráfica: Regresión lineal entre los estudiantes por ordenador y la evolución en PISA (primaria 2003-2009)

 Figura 1. Regresión lineal entre el número de estudiantes por ordenador y la evolución en PISA. Los resultados parecen arrojar una correlación opuesta a lo esperado que trataré de motivar en las conclusiones.

 

  • Existen un grupo de factores vinculados a las TIC que presentan una correlación muy baja o nula con la evolución de los diferentes sistemas educativos en la comparativa PISA (como el acceso a la banda ancha o entornos virtuales de aprendizaje).

                              Gráfica: Regresión lineal entre los alumnos en centros con entornos virtuales y la evolución en PISA (primaria 2003-2009)

Figura 2. Regresión lineal entre la proporción de estudiantes en centros con acceso a Internet de banda ancha y la evolución en PISA. Los resultados parecen arrojar una ausencia total de correlación seguramente por tratarse de un factor que no está directamente vinculado con el uso adecuado de las TIC sino que es un posibilitador.

 

  • Existen dos indicadores vinculados al uso regular de las TIC por parte de los docentes que presentan una correlación positiva digna de mención lo cual resulta especialmente revelador tal y como comentaré en las conclusiones finales (en concreto el indicador de la proporción de docentes que usan activamente las TIC de forma regular en clase).

                             Regresión lineal entre la proporción de docentes que emplean las TIC regularmente y la evolución en PISA (primaria 2003-2009)

 

Figura 3. Regresión lineal entre la proporción de docentes que emplean regularmente las TIC en sus sesiones con los alumnos y la evolución de los diferentes países en la comparativa PISA (como se esperaría a priori se observa una correlación positiva al ser el factor más directamente vinculado al uso efectivo de las TIC).

Igualmente, si analizamos los resultados por países, veremos que existe una gran diversidad de situaciones desde el punto de vista de uso de las TIC en el aula. En el caso de España llama poderosamente la atención como se sitúa entre los primeros puestos en equipamiento y acceso a la banda ancha y entornos virtuales de aprendizaje (en algunos casos al mismo nivel o incluso por encima de países como Finlandia o Noruega) pero permanece muy rezagada en uso efectivo de las TIC en el aula. Algunos países como Italia, Grecia, Portugal o Turquía parecen haber tenido avances en materia educativa sin grandes inversiones en equipamiento TIC mientras que a otros como Suecia les ha ocurrido justo lo opuesto. Uno de los aspectos que más llama la atención es que algunos de los países que mejor evolución han presentado en los informes PISA entre 2003 y 2009 tienen las mayores proporciones de docentes que emplean las TIC regularmente en sus sesiones con los alumnos (como es el caso de Italia, Noruega, Portugal o Turquía). Curiosamente, en el caso de España (que se ha estancado en el informe PISA en términos absolutos como otros países de su entorno) el uso regular de las TIC por parte de los docentes es reducido y no se corresponde para nada con la presencia de medios materiales de que dispone comparativamente con otros países.

Adicionalmente, he incluido en la comparativa la evolución relativa del gasto (prefiero emplear el término inversión pero se suele denotar como gasto) educativo por alumno en secundaria. En nuestra comparativa la correlación no parece representativa (0,13) lo cual va en línea de los propios comentarios que se vierten en los informes de la OCDE en los que se recuerda que un mayor gasto no implica necesariamente mejor calidad.

               Tabla de las correlaciones cruzadas entre diferentes indicadores TIC y la evolución en los resultados educativos en los informes PISA (2003 - 2009))

   

Tabla 1. Tabla de las correlaciones cruzadas entre diferentes indicadores TIC y la evolución de los resultados educativos en los informes PISA entre 2003 y 2009 (elaboración propia). En rojo se marcan las correlaciones que se oponen a la existencia de una relación directa entre la implantación de las TIC en la educación y la consecución de mejores resultados educativos.

Conclusiones y posibles explicaciones

Hasta este momento he querido plasmar datos los más objetivos posibles sobre los resultados del análisis que he llevado a cabo (y respecto del cual agradecería las opiniones, críticas constructivas o comentarios que podáis aportar). En esta sección intentaré reflexionar sobre dichos resultados aportando mi punto de vista particular sobre los mismos. Una vez más, las reflexiones que realizo tienen muy en cuenta que el análisis presentado sólo permite obtener elementos indiciarios y en ningún momento se presente sacar del mismo relaciones causa-efecto que requerirían de otro tipo de estudio.

En primer lugar llama mucho la atención la elevada correlación negativa que existe entre la disponibilidad de medios materiales y la evolución en términos de “calidad” educativa. A primera vista parece contra intuitiva y opuesta a lo esperable. Sin embargo, revisando los datos he podido encontrar dos posibles explicaciones. Por un lado, países como Turquía o Grecia han presentado evoluciones positivas con inversiones aparentemente modestas en TIC seguramente por partir de una situación más precaria que les facilita “crecer” en términos de calidad educativa por medios más “tradicionales” y que en su día ya han seguido otros países como puede ser la dotación de medios que en países como España consideramos básicos. Sin embargo este fenómeno no explica totalmente el efecto observado pues tenemos el contraejemplo de Portugal, un país de nuestro entorno y similar nivel de “calidad educativa”, que ha logrado evolucionar mejor que España con menores inversiones en recursos TIC. Ello nos debería llevar a reflexionar sobre las políticas de inversión en TIC que hemos estado siguiendo en los últimos años (de hecho algunos países como el nuestro han recortado estos programas de forma apreciable y puede que en parte fuese por ello).

Por otro lado, resulta muy esclarecedor que se encontrase una correlación no despreciable (0,67 y 0,51 según se trate de primaria o secundaria) entre el uso de las TIC en las clases por parte de los docentes y una mejor evolución de la calidad educativa. Ello demuestra que, no es tanto la inversión que se realiza en equipamiento sino el uso que se hace de las TIC (aun cuando el equipamiento es escaso o no muy avanzado) lo que marca una verdadera diferencia. En esta misma línea en las conclusiones del informe “Survey of Schools: ICT in education” figura una frase esclarecedora: “Surprisingly, the survey could find no relationship between numbers of desktop computers in schools and frequency of their use by students […]which also found no correlation between the level of ICT access (student to computer ratio) and the percentage of teachers reporting having used ICT in their teaching”. Es decir, en el propio estudio se han dado cuenta de la paradoja de que los países mejor equipados en TIC no sean los que más las usan en el aula. La aportación que he realizado es correlacionar dicho uso con mejores resultados en los informes PISA. De hecho, a título personal considero que la correlación “negativa” que hemos visto en la dotación de equipamiento procede en realidad de políticas de implantación de las TIC mucha más preocupadas por la instalación de medios que por su uso efectivo y adecuado. En este sentido, países como Portugal, Grecia o Italia parecen haber rentabilizado mejor sus esfuerzos en las TIC que otros como España en donde comparativamente el esfuerzo ha sido mucho mayor. Ello debería llevarnos a reformular nuestras políticas pasadas y esforzarnos, tanto la administración como profesionales de la educación, en trasladar las TIC a la práctica educativa y no sólo en instalar en los colegios de ordenadores, pizarras interactivas, tablets y portátiles. Estas reflexiones se refuerzan más si cabe si observamos la baja o nula correlación que existe entre incremento de gasto y nivel de mejoría de la calidad educativa lo cual debería llevarnos a pensar que, en general, no es tanto que se gaste mucho en educación sino en ocasiones mal. Por ello debería de haber margen para poder obtener bastante más manteniendo estable el nivel de gasto.

Dicho todo lo anterior parece que a través del análisis que he llevado a cabo he encontrado posibles indicios de que el factor determinante a la hora de impulsar la calidad educativa a través de las TIC es el uso efectivo regular de las mismas por parte de los docentes durante las clases ordinarias. En contraste, la política de gasto en TIC aparentemente seguida por países como España (centrada en invertir en equipamiento) parece ser ineficiente o incluso contraproducente al desviar esfuerzos de las iniciativas que más los requerirían (como formar en las TIC y fomentar más su uso regular) o crear frustración y desconfianza entre los profesionales (que ven como no se les forma adecuadamente y no obtienen las mejoras esperadas de los nuevos medios de que se les dota). Con todo, no existen criterios únicos en cuanto a la mejora educativa y los posibles caminos a seguir para avanzar en la calidad del sistema educativo. Y si no podemos mencionar a Finlandia que, teniendo unos indicadores de equipamiento TIC peores a los de España y un nivel muy bajo de uso de las TIC por parte de los docentes en el aula se mantiene como uno de los sistemas educativos de referencia.

Fuentes bibliográficas

European Commission (2013). “Survey of Schools: ICT in education”.

http://www.arbeidsmarktplatformpo.nl/uploads/media/ICT_in_education.pdf

Informe PISA 2003 (datos tabulados en formato xls).

http://www.oecd.org/newsroom/34011082.xls

Informe PISA 2009 (datos tabulados en formato xls).

http://www.oecd.org/els/family/43138957.xls