Criterios para la evaluación de experiencias de Enseñanza Remota en Emergencias (ERT)

Cuarta entrega parte de una serie (En qué consiste la Enseñanza Remota de Emergencia ERT, Diseño de experiencias de aprendizaje online y Diseñar experiencias de Aprendizaje Online en contextos de emergencia) que iniciamos con motivo del artículo original en inglés The Difference Between Emergency Remote Teaching and Online Learning.

Errores comunes en la evaluación de experiencias de aprendizaje online

Las instituciones ciertamente querrán realizar evaluaciones de sus esfuerzos en Enseñanza Remota en Emergencias (ERT), pero ¿qué deberían evaluar? Primero, consideremos qué no evaluar.

Un error común es considerar una evaluación útil al comparar un curso presencial con una curso online del mismo. Este tipo de evaluaciones, conocidas como: estudio de comparación de medios, no proporcionan valor real, por al menos tres razones.

1. Cualquier medio es simplemente una forma de entregar información, y un medio no es inherentemente mejor o peor que cualquier otro. 
2. Necesitamos comprender mejor los diferentes medios y la forma en que las personas aprenden con diferentes medios para diseñar estudios efectivos. 
3. Hay demasiadas variables de confusión incluso en el mejor estudio de comparación de medios para que los resultados sean válidos y significativos.

Los investigadores que realizan estudios de comparación de medios están analizando todo el medio único y pensando poco en los atributos y características de cada uno de éstos, según las necesidades del alumno o en las teorías de la psicología del aprendizaje.

Criterios para la evaluación de experiencias de aprendizaje online

Otros criterios de evaluación pueden ser más útiles en este movimiento hacia iniciativas de ERT. El éxito de las experiencias de aprendizaje a distancia y la formación online se pueden medir de diferentes maneras, dependiendo de cómo se defina el «éxito» según la perspectiva de un determinado stakeholder.

Desde el punto de vista del profesorado, los resultados de aprendizaje de los estudiantes serían el foco principal. ¿Los alumnos lograron el conocimiento, las habilidades y/o actitudes deseadas, según el foco de la experiencia educativa?.

Los resultados actitudinales también son probablemente de interés para los estudiantes y para el profesorado. Para los estudiantes, cuestiones como el interés, la motivación y la participación están directamente relacionadas con el éxito del alumno y, por lo tanto, serían posibles focos de evaluación. Para el profesorado, las actitudes hacia la formación online o formación en línea y todo lo que conlleva pueden afectar la percepción de éxito.

Los resultados programáticos, como las tasas de finalización de cursos y programas, el alcance del mercado, las inversiones de tiempo del profesorado, los impactos en los procesos de promoción y tenencia, todos estos son temas relevantes relacionados con la oferta de cursos online y programas a distancia.

Finalmente, los recursos y estrategias de implementación son posibles áreas de evaluación, como la confiabilidad de los sistemas de entrega tecnológica utilizados, la provisión y acceso a los sistemas de apoyo al alumno, el apoyo al desarrollo profesional del profesorado para las pedagogías y herramientas de enseñanza online, las cuestiones de política y gobernanza relacionadas al desarrollo del programa a distancia y al aseguramiento de la calidad.

Todos estos factores pueden influir en la efectividad de las experiencias de aprendizaje a distancia y online y pueden servir para informar el diseño de la experiencia de aprendizaje y el desarrollo e implementación del programa.

Estas áreas recomendadas de evaluación son para esfuerzos de formación online o a distancia bien planificados y pueden no ser apropiados en el caso de iniciativas de ERT. La evaluación de iniciativas de ERT requerirán preguntas más amplias, especialmente durante las implementaciones iniciales.

Criterios de evaluación CIPP

A continuación, te recomendamos dónde debes enfocar tu evaluación relacionada a los esfuerzos de ERT. El lenguaje del modelo CIPP se utilizará para la estructura de evaluación. CIPP es un acrónimo que representa el contexto, los inputs, el proceso y los productos.

• Evaluaciones de contexto
  Evaluar necesidades, problemas, activos y oportunidades, así como las condiciones contextuales y dinámicas relevantes.
• Evaluaciones de inputs
  Evaluar la estrategia, el plan de acción, los arreglos de personal y el presupuesto de un programa para determinar la factibilidad y la posible rentabilidad para satisfacer las necesidades específicas y alcanzar los objetivos de éste.
• Evaluaciones de proceso
  Monitorear, documentar, evaluar e informar sobre la implementación de los planes.
• Evaluaciones de producto
  Identificar y evaluar los costos y los resultados: intencionales y no intencionales, a corto y largo plazo.

En el caso de las iniciativas de ERT, las instituciones pueden considerar preguntas de evaluación como las siguientes:

• Dada la necesidad de cambiar a la instrucción en remoto, ¿qué recursos internos y externos fueron necesarios para apoyar esta transición? ¿Qué aspectos del contexto (institucional, social, gubernamental) afectaron la viabilidad y efectividad de la transición? (contexto)
• ¿Cómo las interacciones de la universidad con los estudiantes, las familias, el personal y los stakeholders locales y gubernamentales impactaron en la respuesta percibida al cambio a ERT? (contexto)
• ¿Fue la infraestructura tecnológica suficiente para manejar las necesidades de ERT? (input)
• ¿El personal de apoyo del campus tenía la capacidad suficiente para manejar las necesidades de ERT? (input)
• ¿Fue suficiente nuestro continuo desarrollo profesional de la facultad para permitir ERT? ¿Cómo podemos mejorar las oportunidades para demandas de aprendizaje inmediatas y flexibles relacionadas con enfoques alternativos de instrucción y aprendizaje? (input)
• ¿Dónde los profesores, estudiantes, personal de apoyo y administradores tuvieron más dificultades con ERT? ¿Cómo podemos adaptar nuestros procesos para responder a tales desafíos operativos en el futuro? (proceso)
• ¿Cuáles fueron los resultados programáticos de la iniciativa ERT (es decir, tasas de finalización del curso, análisis agregados de calificaciones, etc.)? ¿Cómo pueden abordarse los desafíos relacionados con estos resultados en apoyo de los estudiantes y profesores afectados por estos problemas? (producto)
• ¿Cómo pueden los comentarios de los estudiantes, el profesorado y los equipos de apoyo del campus informar las necesidades de ERT en el futuro? (producto)

La evaluación de iniciativas de ERT deberán centrarse más en el contexto, los elementos de entrada (inputs) y de procesos que el producto (aprendizaje). Hay que tener en cuenta que no estamos abogando por ninguna evaluación de si se produjo o no el aprendizaje, o en qué medida se produjo, sino que simplemente estamos enfatizando que la urgencia de ERT y todo lo que se necesitará para que ocurra en un corto período de tiempo, serán los elementos más críticos a evaluar durante esta crisis.

Además, dada la evidencia continua de los problemas que rodean las evaluaciones de instrucción de los estudiantes bajo experiencias de educación superior típicas, es recomendable que las evaluaciones de enseñanza estándar de fin de semestre definitivamente no se cuenten con los miembros de la facultad involucrados en ERT.

Si la política de una institución exige que esas evaluaciones se administren, hay que considerar enmendar la política o asegurarse de que los resultados estén claramente calificados con las circunstancias del período o del semestre.