Probablemente el título de esta entrada debería ser: ¿Cómo medir el resultado en el aprendizaje informal? Porque la clave aquí no está tanto en el método empleado sino en lo complicado que es medir el grado de aprovechamiento de la formación, da igual formal que informal.
Existen dos corrientes de pensamiento sobre este tema. Una piensa que no es necesario medir de forma objetiva el resultado del aprendizaje informal, si tienes una red social en la que los usuarios participan, ya puedes decir que el proyecto es un éxito. La otra sostiene que es necesario medir estos resultados. Yo estoy más de acuerdo con la segunda que con la primera porque, como dice Tony Karrer, si no disponemos de métricas:
- No ganaremos credibilidad.
- No sabremos si podemos repetirlo con éxito.
- No podemos estar seguros de haber tenido éxito.
Sin duda la única forma de medir el grado de aprovechamiento de la formación pasa por definir objetivos claros. Debemos preguntarnos ¿Qué quiero conseguir con esta formación?
Si una empresa adopta una nueva herramienta para su fuerza de ventas y quiere formar a sus empleados en el uso de la misma, un objetivo puede ser reducir el tiempo que un vendedor dedica a dar de alta clientes, a gestionar sus datos, etc.
Definir los objetivos es muy importante. Hace poco leía el caso de The Nature Conservancy, una asociación dedicada a la conservación de especies raras de animales y plantas que medía sus resultados por el número de kilómetros cuadrados que protegía (comprando) cada año. Seguro que hacían una gran tarea pero ¿De verdad proteger más terreno era el mejor indicador para saber cuántas nuevas especies raras habían protegido ese año?¿El éxito de la misión era comprar el planeta?
Otro indicador que yo considero imprescindible es la valoración que el propio alumno hace de la formación recibida, desde la perspectiva del pensamiento crítico, el usuario debe responder a la pregunta ¿Me ha resultado útil el esfuerzo que he invertido en esta formación? En el caso que exponíamos más arriba: ¿He aprendido lo suficiente como para manejar perfectamente la herramienta que voy a usar a diario?
Siempre he pensado que suponer que el alumno es incapaz de valorar la formación, que además de ser un actor no es un observador, es un claro error porque en realidad es el ingrediente principal de todo proceso formativo.
Otro modo de medir el grado de aprovechamiento sería introducir un observador externo, un tutor que proponga, por ejemplo, talleres o trabajos colaborativos que después serán evaluados.
Estos dos indicadores me parecen mucho más interesantes y aportan mucha más información a nivel global que la realización de un test final, que contabilizar el tiempo que el usuario ha estado conectado, o si ha visualizado todos los módulos de un contenido.
Es posible que me interese establecer otros indicadores para conseguir información granular del proyecto. Por ejemplo podría querer saber más sobre si los contenidos eran adecuados, si los temas propuestos eran interesantes, si la herramienta utilizada se adaptaba bien a las necesidades del proyecto, si la dinamización ha funcionado bien. Aquí sí entrarían temas como el tiempo que los usuarios han estado conectados, el número de contribuciones, la valoración de los recursos, etc pero siempre desde la óptica de “la parte”, no del “todo”.
Estos otros indicadores me pueden dar información útil sobre cómo mejorar el proyecto de formación, me pueden decir qué ha fallado pero no me pueden decir si he conseguido mis objetivos iniciales.
Seguro que se conocéis otras formas de evaluar la formación, me encantaría que las expongáis en los comentarios.
Hola
Creo que medir el aprendizaje(entiendo que se mide el incremento de conocimiento o habilidades) es extremadamente difícil. En ese sentido es interesante las propuestas de D. Kirkpatrick (data de los años 60) que sistematiza los distintos grados de lo que se puede medir, desde la satisfacción del alumno con la formación hasta el resultado economico que se obtiene.
Repito, todo esto es muy difícil de medir y creo que en algunos casos el metodo para medir es mas caro que el beneficio que se obtenga(al fin y al cabo estamos tratando de formación en entornos empresariales donde la inversion tiene que ofrecer beneficios no perdidas)
Personalmente, en el ambito de la formación informal y el uso de las distintas herramientas 2.0 me interesan los indicadores que reflejan la el grado de participación de las personas, aportaciones, calidad de los recursos compartidos, etc.
Un tema apasionante, gracias por compartirlo!!!!
Hola Jorge. gracias por tu comentario. Muy interesante lo que aportas sobre Kirkpatrick.
¿No crees que el usuario el mejor nivel para medir la formación?
José Manuel, me ha parecido muy acertado y necesario tu entrada, de principio a fin.
Estamos ocupandonos del aprendizaje informal, algo que debíamos haber hecho desde hace años dado la relación en que aprenden nuestros clientes en uno y otro tipo (80/20 dicen), pero tenemos un componente del proceso de formación empresarial que aun tocamos «de oido»: la evaluación.
Por otro lado ¿qué lugar ocupa el alumno en esta evaluación? Personalmente creo que mucha, pues estamos midiendo también que motivación para realizar otros cursos (fidelización) va a tener, y posiblemente como va a afrontar las tareas en las que le hemos querido que se forme.
Tenemos un reto importante en superar la 2ª regla de Kirkpatrick por sistema, y en hacer asumible para la formación llegar a las superiores.
Gracias por el post.
Muchas gracias por tu comentario José Luis, me agrada ver que hay profesionales alineados con esta idea, lo que no puedo asegurar es que este planteamiento «venda» el argumento en una empresa interesada en formar a sus empleados.
¿Qué opinas?
Jose, si recuerdas ya habíamos discutido este punto en algun blog. No solo las empresas son las «malas» también muchos empleados ni tienen interés en formarse ni en invertir tiempo para desarrollarse.
Un Saludo
Hoy he estado en el Primer encuentro de aprendizaje informal en los programas de valor, que organizaba laconsultora GEC. Todas las charlas me han aportado algo, pero quizá la que más me ha impactado ha sido la del D. Carlos Gómez Plaza, Director Gerente de la Fundación Tripartita, te hubiese gustado. Te cito algunas de las frases que ha dicho y que he tomado:
«Los empleados adquieren certificaciones de haber realizado una formación, pero no adquieren la capacidad laboral para realizar las acciones para las que están certificados»
«Evaluar el aprendizaje, se hace poco, el 3er nivel de Kirkpatrick nadie lo evalua»
«Los test de satisfación del empleado no son validos»
«La formación debe mejorar como se hacen las cosas y/o la productividad, sino no ha conseguido su objetivo»
«Nadie quiere utilizar su tiempo en algo que no le sirve para nada». En referencia que muchas veces la formación que se da no se corresponde con las necesidades reales de mejora. Ha puesto un ejemplo muy gráfico. Una persona quiere mejorar su metodo para hacer presupuestos con la Excel, su empresa le da un curso de 30 horas de Excel, pero comienza desde el principio o le enseña a programar en VB para Excel.
Quizá este sea el caso que comenta Jorge, al menos en un porcentaje alto. Realmente creo, y también lo ha dicho Carlos Gómez, que nadie en su sano juicio si necesita trabajar para vivir rechaza una formación que le enseña su trabajo o le facilita hacerlo, otra cosas distinta es: «Cuantos Kg de formación le pongo».
Ha salido en varios momentos la necesidad de la medición, llamese ROI o como se quiera, pero hasta que no consigamos demostrar que la formación es una Inversión y no un Gasto, a nuestras empresas y a nuestros clientes (empleados) tenemos un problema.
Las good news es que nosotros podemos ser la solución, pero hay que «alargar» el proceso formativo hasta el analisis de la trasferencia al puesto de trabajo, y comprobar numericamente que esta transferencia tiene un saldo positivo con el coste de la formación que hemos realizado.
Siento haberme extendido tanto, pero vengo algo euforico de todo lo que he escuchadom, y si produce placer ver que más gente está trabajando en el mismo sentido para darle solución a este problema tan claro de nuestra área.
José Luis, todo lo contrario. Yo te agradezco que te hayas extendido. Jorge y yo solemos no compartimos punto de vista en este caso y solemos cruzar espadas en diversos escenarios (blogs). Yo diría que Jorge es más pesimista que yo en cuanto a la valoración del empleado/alumno, aunque tengo que reconocer que el día a día muchas veces le da la razón;-)
Me quedo con la frase:“Los empleados adquieren certificaciones de haber realizado una formación, pero no adquieren la capacidad laboral para realizar las acciones para las que están certificados”. Creo que es suficiente razón para desmotivar a cualquiera.
¿Cómo solemos medir a nivel doméstico si un curso es o no es útil? Si conocemos a alguien que lo ha realizado, le preguntamos si merece la pena…Es la opinión del alumno la que por sentido común más valoramos
Debo reconocer que comparto la opinión de Jorge: Hay gente que no desea formarse, incluso cuando esa formación le va a suponer un trabajo más agradable para ella, directamente se niegan a entrar en el proceso de formación y si se les obliga, hacen más esfuerzo en contra que el que necesitaría para formarse.
Pienso que este tipo de personas es una minoría, que seguramente han llegado a esta situación por causas en su vida que sobre las que no puedo actuar. Si no puedo actuar, no es un problema. Me ocupo de los que si puedo ayudarles a mejorar sus capacidades.
De los que puedo cambiar, siempre quiero conocer su opinión, aun sabiendo que muchas veces recogerla en el formato estandard no sirve de mucho. Normalmente los espacios de rellenado libre quedan vacíos, menos en el caso de duras criticas que la mayoría de las veces no tienen nada que ver con la formación. Aun así quiero conocer la opinión de “mis clientes”, solo por “los cisnes negros” que si ponen algo en los comentarios vale la pena recogerla.
¿Dónde está el problema de lo anterior?
Creo que tenemos la mayoría de la responsabilidad las empresas.
El aprendizaje es un proceso individual, igual enriquecido cuando se hace colectivamente, pero individual. El individuo ante la necesidad de aprender algo nuevo parte de unos conocimientos previos, tiene un modelo de aprendizaje propio, y unos tiempos individuales para adquirir unos nuevos contenidos.
¿Qué hacemos las empresas?
Le decimos. Metete en esta aula con estos 19 compañeros. Que este profesor o profesora que no te conoce de nada ni conoce tu nivel te intente transmitir estos conocimientos en un tiempo normalmente corto. Pero cuando acabes, que sepas que todos tenéis que hacer algo que n muchos casos solo habéis vistos como lo hace el profesor o profesora.
Después, le damos un papel con la evaluación, justo antes que se vaya, cuando ya está pensando en la cervecita que se va a tomar, para que en 1 minuto analice todo el proceso y lo evalúe… cuando nadie le ha dicho como se evalúa una formación… además con los mismos criterior de evaluación para todos, cuando en realidad cada uno es un mundo en esto del aprendizaje.
Y esto si la evaluación la hemos diseñado para el curso específicamente y pensando en los alumnos que van a asistir. Si además, ésta evaluación es el modelo de la Tripartita, ya hemos acabado de ponerle la guinda a una situación la mar de surrealista.
Por cierto, el Director Gerente de la Tripartita dijo textualmente en la reunión que tuve ayer, que las evaluaciones que hacemos no sirven para nada.
Entonces ya tenemos la verdad: La culpa es del gobierno.
Dejando a un lado el chiste (o no), acompañó esta afirmación indicando que las empresas nos teníamos que ocupar menos de la formación y más de los cambios que se producen en el trabajo, como ya comenté. Se dieron en la presentación algún intento de solución, como asociar toda formación a un foro moderado, y que el moderador o tutor del foro fuese el que trabajara que los conocimientos que se enseñan en el curso se trasladen al puesto e trabajo, y además que sea el encargado de recibir el feedback personalizado sobre las carencias o los éxitos del curso.
Aun con todo esto, si no hay otra cosa, prefiero ese papel. El margen de error es alto, pero al menos le ofrezco la posibilidad al empleado e opinar, patalear o demostrar su desidia no entregando la evaluación, que creo que es mejor que no tener ningún dato.
Me ha gustado el post y los comentarios. Sin entrar a fondo, me gustaría destacar que estoy de acuerdo que un buen indicador es:
‘la valoración que el propio alumno hace de la formación recibida’.
Afirmación que suscribo por mi propia experiencia cómo alumno. Los alumnos saben perfectamente lo que les ha servido o no, saben que profesor querrían volver a tener, etc
Me gusta que ‘Los empleados adquieren certificaciones de haber realizado una formación, pero no adquieren la capacidad laboral para realizar las acciones para las que están certificados”.
Evidente. Pensemos en mejorar el puesto de trabajo y el desempeño en lugar de evaluar ‘solo’ la formación. Evlauemos la mejora en el desempeño, como dice Jay Cross.
Muchas gracias por tu comentario.
Me parece muy buena idea el pedir la valoracion a la persona que realiza el curso, pero no en todos los casos. Si el curso ha sido muy malo, esa persona no va siquiera a saber si sabe lo que necesita saber. Y si no ha tenido experiencia en lo que se le esta ensennando (como en casos de cambio o nueva incorporacion), menos todavia. Creo que hay varias cosas que hay que evaluar en una formacion, que deben hacerse de formas diferentes:
– Si las condiciones del curso eran correctas (el aula a la temperatura adecuada, la conexion con la lms funcionaba bien, etc.). Se puede hacer directamente despues de la formacion.
– Si la formacion era agradable y motivante (no generaba resistencias, los formadoras se portaban adecuadamente, la tutorizacion era suficiente, etc.). Tambien se puede hacer inmediatamente.
Luego la transferencia al puesto creo que hay que medirla con la persona que ha hecho el curso y la persona que supervisa su trabajo transcurrido un tiempo despues de la formacion. Asi a la persona le da tiempo a saber si la formacion le ha valido o no. Y lo mismo pasa con la persona que supervisa. Ademas, una cosa que pasa muy a menudo es que quien hace el curso quiere implementar los cambios que ha aprendido, pero su gerente lo dificulta porque no le gustan o porque no los entiende o los desconoce. Esa informacion, que es muy importante, se puede recoger en ese momento y permitira evaluar que hacer para solventar la situacion.