miércoles, 28 de junio de 2017

La evaluación del y al profesor: un misterio no revelado. (final)

En el anterior comentario me referí a la autoevaluación al docente de nuestra Universidad, analizando un arcaico y contradictorio instrumento, que además de contener preguntas fuera de tiempo tiene otras que aun cuando indican que no la debe responder si no es su caso, está obligado a hacerlo para cerrar automáticamente el instrumento. En otras palabras mienta para concluir dicha encuesta.

Ahora le corresponde el turno a la evaluación del estudiante al profesor. Esta puede ser la valoración más importante, en la práctica es el quien conoce más de cerca el trabajo del profesor. Los estudiantes evalúan a sus profesores mediante este instrumento en algunos semestres y otros no y siempre en el último mes del semestre. Hasta este punto todo parece coherente, sin embargo el primer absurdo de otros que comentaré es que el profesor nunca conoce los resultados de la evaluación. ¿Para qué se realiza? En todos los años de trabajo en la U, solo una vez y cuando esta se realizaba de manera manual, fui informado de los resultados de dicha evaluación. Ahora que es digital, es el secreto mejor guardado.

El presente cuestionario está dividido en siete áreas, donde las preguntas se mezclan entre si en una interminable cadena de contradicciones. 

La primera parte llamada “Asistencia y puntualidad” se puede salvar para un próximo instrumento.



A partir de la segunda sección el instrumento empieza a demostrar sus incongruencias. En la imagen se pueden leer las preguntas.

La pregunta 3 se refiere al conocimiento y dominio de la materia por parte del docente. Estará preparado el estudiante para evaluar la posesión del conocimiento que tiene el profesor, además que es intangible. 

La cuarta pregunta me confunde, cuándo el docente explicó los objetivos; al inicio, en cada clase, en algunas. Cómo se puede evaluar una explicación como claro o nada claro.

La pregunta cinco no logro comprenderla: señaló y explicó. Puede explicar y no señalar y sí es así, que se evalúa, sí señaló o explicó. La pregunta seis se repite en la siete, o es que la carta descriptiva, como le llaman, es el cronograma de actividades. Por qué evaluar lo mismo dos veces, o es que no se percataron de la repetición.

La tercera parte sigue elevando el tono errático del instrumento. Veamos las preguntas.


La pregunta ocho refiere solamente a la comunicación oral, pero la empatía, los gestos, los movimientos que forman parte del proceso de la comunicación no solo son por medio oral. La nueve demuestra el desconocimiento de los evaluadores en relación con los medios. Cuáles son los recursos virtuales y cuál la diferencia con el multimedia. Pero lo más contradictorio, el estudiante estará en condiciones de evaluar la utilización de los medios y por qué no se valora el diseño de estos.

La pregunta diez es casi imposible de responder con sinceridad. Cuál es la diferencia entre muy claro y bastante claro, difícil para el profesor y para los estudiantes imposible. Pero solo los contenidos importantes, lo que significa que hay otros no importantes.

La cuarta sección de las preguntas aún no alcanza el peldaño más alto de lo errático, pero se acerca. 

La pregunta 13 se refiere a exposiciones, es decir un solo método, además tan criticado y ajeno a la realidad. Según el instrumento el orden y la secuencia lógica de los contenidos son diferentes. Pero el estudiante debe unirlos y responder a uno de los incisos.

La pregunta 14 es el colmo del absurdo, tres indicadores para ser evaluados en un mismo inciso. La bibliografía puede ser adecuada y actualizada pero no completa y cómo la califico. Además la temporalidad de la respuesta no guarda relación con la práctica de la clase.

Por último, la pregunta 16 además de estar fuera del contexto de este grupo solo tiene dos posibles respuestas, mientras que las anteriores llegan a cinco tipos diferentes de respuestas.

Llegamos al quinto grupo de preguntas, que no analizaré por una razón que explico debajo de la imagen. 

Estas preguntas deben ser respondidas por los estudiantes que tienen prácticas de laboratorio, tal y como se puede leer. Sin embargo la burocracia es tan grande que aquellos que no realizan este tipo de tarea deben responderlas, para que la encuesta pueda ser registrada en el sistema de la Universidad. Entonces llegamos a una funesta conclusión, la evaluación está realizada para la mentira, para el cumplimiento de números. ¿Así educamos en valores?

El sexto grupo de preguntas implica las mayores contradicciones en las preguntas, están sacadas de un manual de didáctica de dos siglos de existencia.

A esta altura del comentario no creo necesario seguir analizando esta última sección, solo una mirada a la imagen, nos ubica en otro contexto, en otra universidad y no en la que hoy estamos, donde la mayoría de sus docentes alcanzaron una maestría y todos al menos tienen un diplomado en educación superior. No es justo evaluar a los docentes con ese instrumento.

Existe un tercer instrumento que en manos de los directores de carrera, debe evaluar también a los profesores. Al igual que el cuestionario que acabo de comentar, los resultados de este tampoco son conocidos por los profesores, por lo que carece de sentido su análisis.


En mis años de profesor de Didáctica nunca revisé un cuestionario con tantas contradicciones, anticuado, incoherente con la realidad y que en el fondo es una farsa que alienta la mentira y va en contra del esfuerzo de la mayoría de los profesores de formar un estudiante acorde las necesidades actuales.

sábado, 24 de junio de 2017

La evaluación del y al profesor: un misterio no revelado. (primera parte)


Recientemente a los profesores de nuestra Carrera de Educación se nos indicó realizar la "Autoevaluación docente de nuestro trabajo, a través de un instrumento digital ubicado en el sitio Web de la Universidad. 

Es un formulario que se le obliga a responder a los profesores después de un período de tiempo, que no corresponde necesariamente al del curso escolar. En otras palabras es una evaluación individual no sistemática cuyo propósito como demuestro más adelante es más burocrático que docente.

La evaluación siempre es el Talón de Aquiles de todos los procesos formativos, tanto si es por objetivos o por las competencias que están de moda. En este último caso por lo general los profesores vuelven a evaluar en base a lo que “aprendió” el estudiante y no en virtud de las competencias alcanzadas. En otras palabras una cosa es la teoría y otra la realidad, en especial cuando se debe trabajar con 100 estudiantes en un grupo de primer año de una carrera universitaria. La inmadurez de los estudiantes, sumada a una base con muchos huecos en su formación, obliga a dejar de lado las modernas competencias.

Evaluar es un proceso complejo y lleno de elementos subjetivos y más si se refiere a la evaluación de actividades tan variadas como la de enseñar y aprender. La evaluación, requiere de indicadores que permitan medir o comparar sus resultados y en definitiva que sean útiles para la evaluación. No son estáticos, tampoco generales, no se puede evaluar de la misma manera al profesor que imparte una asignatura teórica en primer semestre, que al que imparte una materia práctica en octavo semestre. Para ser objetivo es preferible contar con diferentes instrumentos, que con uno solo. Cuando se pretende evaluar a todos mediante un único instrumento, ya no se evalúa, se responde a la burocracia.

La planilla de evaluación a la que hago referencia se divide en seis grandes indicadores, que van desde la imprecisión hasta el absurdo de la desactualización.

El primer grupo de estos se refiere a la planificación del curso. En la imagen se pueden apreciar todos los indicadores que son evaluados.

Considero que no es necesario el análisis detallado de cada una de las preguntas. Pero cabe preguntarse, sí en la Universidad la mayoría de los programas de estudio se elaboran por competencias, cuál es la razón de la pregunta seis. Es probable que más de la mitad de nuestros docentes respondan por la simple acción de responder. 

A lo anterior se suma la existencia de materias que no tienen examen final o periódicos, como es el caso de las asignaturas finales de grado. La pregunta cuatro es una contradicción total, se refiere a la nota final y a la calificación de la asignatura a lo largo del semestre. Entonces cómo puedo responder esa pregunta. Se cae en el error de evaluar a todos con los mismos indicadores.

Pero si en el primer grupo de indicadores reina la contradicción, esperemos revisar el segundo grupo, que indaga por el desarrollo del programa, pero solo en dos ítems que son insuficientes, en especial la pregunta 8. En esta pregunta cabe la posibilidad que no se realizó este tipo de reunión o se convocó en algún momento que chocaba con clases. No existe un espacio donde se pueda responder esta inquietud.


Llegando al tercer grupo alcanzamos a pensar que la auto evaluación es para seres de otro planeta y menos de una universidad. 

La pregunta nueve parece sacada de un cuento de ciencia ficción: cabe la posibilidad de realizar un examen de temas no tratados en clases? Todos los profesores de la Universidad alguna vez hicieron un Diplomado en Educación superior, donde uno de los módulos tiene que ver con la evaluación. Pero si aún así un profesor se le ocurre preguntar de otro tema diferente a su asignatura, los estudiantes de inmediato protestarían por tan absurdo proceder. En definitiva ellos protestan por baños sucios o la falta de ómnibus, nada raro que también lo hagan por esta razón.

La pregunta diez vuelve nuevamente al tema de la generalización, los que no toman exámenes prácticos, qué deben responder.

La pregunta once está sacada de un viejo y obsoleto manual de evaluación. ¿Por qué, el examen final tiene que evaluar todo el contenido? En otras palabras, teoría y práctica van lejos en esta y otras de las preguntas. 

Las preguntas 14 y 15 son el colmo del absurdo, no por lo que preguntan, sino por la frase (si corresponde). En nuestro idioma (si no estoy equivocado) significa que puede no responder, ya que no corresponde. Pero nos llevamos la sorpresa que si no la responde no puede cerrar la autoevalaución!!!. Esto no tiene otro objetivo que el de seguir respondiendo “por responder” a las demás preguntas.

Las preguntas 16, 17 y 18 no las voy a comentar, pues ellas por sí solas demuestran que el pensamiento de este instrumento está en un profundo enfoque conductista, lejos de los enfoques que la Universidad asume. Pero el mayor absurdo, si es que cabe esta palabra que no existe el ítem Ninguna, es decir sí no lo hago, debo obligatoriamente mentir y responder “pocas veces”

El cuarto grupo de indicadores si es de aquellos como dice la frase popular “apaga y vámonos”. Si antes parecía estar leyendo una novela de ciencia ficción, ahora no queda la menor duda que sí la estamos leyendo. 

La pregunta 20 se lleva la medalla de lo absurdo. ¿Transparencias?, en qué Universidad se ubican los creadores de esta encuesta. Una Universidad que ha empleado cientos de miles de dólares en dotar de medios modernos, como pizarras digitales interactivas y que le entregó a cada profesor una portátil de última generación. Como profesor de medios de enseñanza hace años que no uso, tampoco veo un proyector de transparencias. 

Igual sucede con el ítem multimedia, qué significa. Es el equipo o el sistema de medios.
Al igual que en la sección anterior el absurdo de no añadir un ítem que señale “no lo uso” por lo que todos tenemos que usarlos, aunque sea muy poco. En otras palabras mientes, ya que si no lo haces no puedes cerrar la autoevaluación.

Cuando llegué a la pregunta 20 decidí que las siguientes evaluaciones (una por cada grupo) la realizaría rompiendo el récord de velocidad, en todos marcaría el primer ítem. Comprendí que en mis años dictando Didáctica y los temas relacionados con la evaluación, estuve omitiendo tal vez la más importante de todas las funciones de esta categoría: la función burocrática.

Cuando la evaluación está vacía, con instrumentos fuera del momento y lugar que se desea evaluar, no cabe otra solución que entrar el juego de la burocracia: responde y deja lo demás pasar.

Espero que los que elaboran este instrumento antiquísimo, absurdo y general, lo revisen críticamente, se den cuenta que mide poco o nada y bajen desde el Olimpo a las facultades y carreras para comprender cómo se puede evaluar al profesor. Pero esperen me quedan por referirme a la evaluación de los estudiantes y de los directores de carrera, por lo que la novela continuará. 



miércoles, 21 de junio de 2017

CAAM: El libro digital interactivo a través de una aplicación móvil. Resultados finales

En las dos entradas anteriores comentamos que el CAAM (curso abierto a través de una aplicación móvil) estuvo enfocado a la creación de un libro digital distribuido mediante una App. En la primerade las entradas explicamos la organización del diseño instruccional, desde la detección de las características generales de los posibles matriculados, hasta la determinación de métodos, medios y la evaluación del curso.

El CAAM se inscribe dentro de un curso no formal, abierto, masivo, en línea y con el empleo de una aplicación móvil. La razón de este tipo de forma de organización es la de contribuir a la construcción y reconstrucción del sistema personal de aprendizaje de cada individuo.

En el segundo comentario nos detuvimos en el análisis de los medios y la evaluación del curso, para los interesados en obtener el certificado de participación que otorga nuestra Universidad.

En el comentario actual abordamos los resultados del curso, tomando en cuenta la valoración realizada en la encuesta de conclusión que forma parte de la metodología creada para el desarrollo del CAAM. A lo anterior unimos la evaluación a las Apps desarrolladas en el corto tiempo del curso.

Como mencionamos al finalizar el curso aplicamos una encuesta de valoración de la metodología empleada. Como en casi todos los cursos abiertos existe una diferencia entre los que terminan y los que ingresan. Esta diferencia también estuvo presente en nuestro curso. La inscripción inicial fue de 515 personas procedentes de unos 22 países. Es una cifra aceptable, tomando en cuenta que nuestra divulgación se realiza mediante redes sociales y de manera personal en espacios de trabajo universitario.

La cifra anterior proviene de la cantidad de personas que respondieron la encuesta indagatoria, datos que fueron discutidos en los dos comentarios anteriores. Una vez que se concluía con las preguntas, los encuestados tenían acceso a una página en la que se pedía su inscripción a un grupo de Facebook, que tuvo por objetivo servir de puente entre los contenidos tratados en la App y las interacciones con todos los participantes. En este caso nos percatamos que no todos leían esa página y por ende no se enteraban del grupo en Facebook. Nuestro equipo de trabajo llegó a la conclusión que es preferible colocar una pregunta donde se advierta de la necesidad de la inscripción a dicho grupo y no dejarlo en otra página de la encuesta.

Otra forma que empleamos para comunicar las instrucciones para iniciar el CAAM fue por medio de las direcciones de correo electrónico, a las que después enviamos un mensaje con las instrucciones. Algunas de estas personas me comunicaron que no recibieron el mensaje, lo que indica que esta forma no siempre resulta exitosa. Conocemos que algunos correos pasan directamente a la bandeja de spam y otros son olvidados en la bandeja de entrada. A esto se une que algunas veces las direcciones no son escritas correctamente. Estas dificultades pueden ser las causas por las que al grupo de Facebook accedieron 400 participantes, es decir casi 8 de cada diez de los respondieron la encuesta indagatoria.

Otro dato a tomar en cuenta es que la aplicación del CAAM, fue descargada por la mitad de los inscritos en el grupo de Facebook antes citado. La mayoría de las descargas se realizaron en la primera semana del curso. Tomando en cuenta estos datos la población que tomó parte del curso fue de alrededor de 200 personas, las que llamaré como participantes activos y será la referencia para las conclusiones del curso.

De la cifra anterior de los participantes activos recibimos 50 aplicaciones para ser evaluadas con el objetivo de obtener el certificado de participación en el CAAM. A este grupo lo consideramos como los que concluyeron el curso. Este valor representa la cuarta parte de los participantes activos en el curso. En los distintos Mooc y Wooc que antes realizamos la cifra de los concluyeron estuvo entre uno de cada diez participantes. Pero en el CAAM la cantidad de los que concluyeron se cuadriplica, es decir cuatro de cada diez. Este dato puede demostrar la importancia que los participantes le confieren al curso.

Los resultados de la encuesta de conclusión.

Un componente importante del diseño instruccional del CAAM es recoger las opiniones de los que concluyen el curso. En esta ocasión la indagación contó con siete preguntas, dos de ellas de carácter abierto. Las tres primeras dirigidas a la valoración personal de la aplicación creada.

En la primera de estas se destaca que la mayoría considera que su aplicación se evalúa entre buena y muy buena, tal y como muestra la gráfica.


La siguiente pregunta de la encuesta final estuvo dirigida a verificar si los participantes están dispuestos a mejorar su aplicación. Como se muestra en la siguiente imagen casi la mayoría manifestó su interés por mejorarla. Esto puede ser interpretado como la necesidad de perfeccionar su trabajo, crear otras aplicaciones y en sentido general ratifica la utilidad del curso. Varios profesores de nuestra Universidad manifestaron personalmente el interés en mejorar su aplicación y crear otras.


La tercera pregunta fue orientada a indagar de manera abierta sobre el empleo de su aplicación. La mayoría de las respuestas se refieren a un uso vinculado a la docencia, principalmente como libro de texto. 

La segunda parte de la encuesta se enfocó en la valoración del curso, desde los recursos empleados hasta la metodología desarrollada. En relación a los medios utilizados, se contó con la aplicación, que fue el centro del trabajo, las guías de estudio, los videos y el grupo de Facebook. Las respuestas ubicaron como el medio de mayor utilidad la aplicación y fueron en descenso hasta el grupo de Facebook, como se aprecia en la imagen.



La función del grupo en Facebook estuvo dirigida a convertirse en un espacio de discusión y comentarios. Esto con el objetivo de no crear en la aplicación, un chat que pudiera llegar a ser agotador para todos los participantes. De igual modo consideramos no necesario crear un grupo en WhatsApp, que se enfrentaría a los mismos problemas que en un chat en la App. No obstante debemos analizar detenidamente las formas de discusión en los siguientes CAAM.

La siguiente pregunta de la encuesta de conclusión se enfocó en la valoración de la metodología seguida en el CAAM. Los resultados se observan en la imagen a continuación.

Aún cuando la mayoría de las respuestas valora positivamente la metodología, consideramos que queda un camino por recorrer en la mejora y perfeccionamiento de la misma. 

La sexta pregunta evaluaba los elementos negativos de esta metodología 
 
Como se aprecia la mayoría no encontró elementos negativos en la metodología, mientras que una minoría se refirió a compleja, confusa, rígida y otros criterios que se pueden leer en la imagen. En sentido general nos satisface este tipo de valoración, pero eso no significa que no mejoremos la metodología para los siguientes cursos con aplicaciones.

La penúltima pregunta indagó por el grado de cumplimiento de los objetivos del curso. La imagen muestra el resultado. La totalidad estuvo de acuerdo con el cumplimiento de estos objetivos.


La última pregunta de carácter abierto solicitó a los participantes que dejaran algún comentario para el equipo de trabajo. La nube de palabras recoge las respuestas de dicha pregunta.

En general nuestro equipo de trabajo se siente muy agradecido por las opiniones expresadas tanto en la encuesta que analizamos, como en el grupo de Facebook, además de los comentarios personales de varios de los participantes.

Nuestro primer CAAM significó un arduo trabajo, pero en los siguientes mejoraremos el diseño, creando así una metodología propia para el desarrollo de cursos abiertos a través de una aplicación móvil. Los esperamos en los próximos cursos abiertos mediante aplicaciones móviles. 

domingo, 4 de junio de 2017

CAAM: El libro digital interactivo a través de una aplicación móvil. Su diseño instruccional (2)

En el comentario anterior señalamos que el CAAM (curso abierto a través de una aplicación móvil) estuvo enfocado a la creación de un libro digital distribuido mediante una App. En aquella entrada comentamos que el diseño instruccional se dividió en tres etapas: metodológica, operativa y evaluativa.

En la etapa metodológica se determinó el objetivo del curso, tomando en cuenta los destinatarios, además de proceder a seleccionar métodos, formas de evaluación y los medios o recursos. En el CAAM se trabajó con tres diferentes tipos de medios; la aplicación móvil que actúa como el elemento central, los videos y las guías de estudio. 

Para la elaboración de estos recursos se considera el tipo de medio, la cantidad, variedad e intensidad de la información que puede trasmitir, los principios del diseño, la importancia de los signos y símbolos y en especial el papel de los medios dentro del sistema personal de aprendizaje del individuo. Los medios elaborados se someten a una evaluación previa donde son revisados varias veces por el equipo y por personas ajenas a la organización del curso. La aplicación centro del curso, tiene un carácter innovador al convertir el dispositivo móvil como un elemento de aprendizaje. Sobre esta aplicación comentaremos en otras entradas del blog.

A la par que se trabajaba en los medios, se procedió al desarrollo de la segunda área del diseño instruccional. La etapa operativa incluye las tareas de informar sobre el CAAM, distribuir invitaciones y controlar la matrícula. Para la divulgación además de materiales impresos, difusión en redes sociales se elaboró un mural interactivo que se puede leer tanto en el celular como en una computadora.  

El tercer y último paso en el diseño es la evaluación del curso que se extiende desde la ejecución hasta su cierre y análisis de los resultados del curso que se extendió durante tres semanas, la última para la recepción de las evaluaciones. Esta etapa concluye con el análisis de los resultados, la mejora del actual curso para próximas ediciones, la publicación de artículos y la presentación en congresos y eventos científicos. En esta oportunidad el curso es parte del trabajo final de grado de dos estudiantes para obtener el título de Licenciatura en Educación, por lo que la culminación será en el momento que defiendan estos resultados en el tribunal de grado de nuestra Facultad.

Como aún no cierra la fecha para la recepción de las evaluaciones, no podemos comentar sobre este elemento ni tampoco analizar las opiniones de los participantes sobre el desarrollo del CAAM. Pero queda un componente del diseño que no se analizó con anterioridad y es el objetivo del curso.

El curso tuvo como objetivo elaborar un libro de texto multimedia e interactivo a través de una aplicación móvil. La encuesta indagatoria, a la que hicimos referencia en la anterior entrada, también preguntó sobre el empleo de los libros de texto.

Una de las preguntas estuvo dirigida a determinar el grado de uso de los libros de texto. La imagen muestra las respuestas donde 6 de cada diez emplea este tipo de medio.
Pregunta de la encuesta indagatoria

Otra pregunta indagó sobre el formato de los textos más empleados. La respuesta revela que 6 de cada 10 encuestados emplea una combinación de formatos, entre el impreso y el digital.
Pregunta de la encuesta indagatoria

Los resultados de las dos respuestas anteriores ratificaron parte del objetivo propuesto para el CAAM dirigido a la creación de libros digitales. Pero las respuestas a las preguntas 3 y 5 de la encuesta ratificaron por completo el objetivo del curso.

La pregunta 3 recolectó información acerca de la utilidad del celular en la actividad de aprendizaje. Los valores entre 4 y 5 de la escala se refieren a útil y muy útil. La mayoría de los participantes reconocen las ventajas de este medio, como puede ser apreciado en la imagen.
Pregunta de la encuesta indagatoria

La quinta pregunta se dirigió al centro del CAAM: la utilidad de emplear libros digitales a través de aplicaciones móviles. Al igual que la pregunta anterior se usó una escala lineal donde 1 es poco útil y el 5 muy útil. Como muestra la imagen la mayoría de los participantes considera muy  útil la creación de aplicaciones móviles dirigidas a los libros de texto.


Los resultados de la encuesta indagatoria ratificaron la correcta determinación del objetivo de nuestro CAAM. 

En la última etapa del diseño dirigida a la evaluación, nos resta tanto revisar las aplicaciones creadas por los participantes, como la evaluación del CAAM, mediante una encuesta, cuyos resultados daremos a conocer próximamente.