Evaluación de la efectividad del aprendizaje electrónico a distancia. La efectividad del aprendizaje a distancia y la práctica de utilizar los resultados del aprendizaje a distancia Criterios para los cursos de aprendizaje a distancia

En este artículo, consideraremos las siguientes preguntas:

• Metas y objetivos la educación a distancia

Métodos para evaluar la efectividad del aprendizaje a distancia

En la formación, el resultado es importante - económicamente factible, justificando todos los recursos gastados en este proceso. Hay varios métodos para determinar la eficacia de un archivo . A continuación se muestran los más comunes.

1) Cuestionamiento

El método más simple y, por lo tanto, el más popular: a través de una encuesta entre los participantes de la formación, se mide el nivel de satisfacción con el curso, se evalúa la utilidad, la exhaustividad y la accesibilidad. materiales de enseñanza. La encuesta se realiza inmediatamente después de la finalización de las actividades de formación. Al mismo tiempo, la encuesta se puede realizar no solo entre los aprendices, sino también entre sus gerentes; podrán responder la pregunta más importante: ¿ha habido algún cambio en el trabajo de los empleados después de la capacitación?

2) Pruebas

Las pruebas, así como otras formas de prueba de conocimiento (tareas prácticas, ejercicios, etc.), le permiten medir qué tan bien se aprende la información de curso de entrenamiento. Es útil realizar las pruebas en dos etapas: inmediatamente después de la capacitación y después de un tiempo para evaluar el conocimiento residual. A veces también organizan pruebas preliminares, antes del inicio de la capacitación, para medir el nivel de conocimiento "antes" y luego compararlo con "después".

3) Análisis de la dinámica de los indicadores individuales de los empleados.

Si la empresa mantiene estadísticas sobre cualquier indicador de desempeño, estos datos pueden usarse para evaluar el impacto de la capacitación en el nivel de desarrollo de habilidades. Estos pueden ser: los volúmenes de ventas, la cantidad de errores cometidos, la cantidad de quejas de los clientes, los resultados del Mystery Shopping (comprobación del trabajo de los empleados con la ayuda de los compradores misteriosos).

4) Análisis del impacto de la formación en los objetivos empresariales de la empresa

Una forma bastante complicada de evaluar la efectividad de LMS: debe evaluar la relación de los cursos de capacitación con indicadores tales como el nivel de satisfacción de los clientes y empleados, la calidad de los productos o servicios proporcionados, etc. La dificultad es separar los resultados del aprendizaje de la influencia de muchos otros factores.

5) Evaluación comparativa

Un método relativamente nuevo, cuya esencia es la comparación de indicadores clave de rendimiento con los de los competidores, especialmente los de los líderes de la industria. La principal dificultad es que rara vez una empresa divulga información sobre un programa de capacitación de empleados y sus resultados. Sin embargo, estos datos se expresan ocasionalmente en conferencias especializadas o se mencionan en publicaciones especializadas.

En el curso de una encuesta entre las grandes empresas rusas que utilizan el aprendizaje a distancia, resultó que después de completar el curso, el 83% de ellas realiza cuestionarios (u otra forma de obtener retroalimentación), el 71% realiza pruebas (u otra forma de probar el conocimiento) , y el cambio en el rendimiento se estima en un 48 % de estas empresas, y el efecto económico se calcula en un 10 %.

Métodos modernos de aprendizaje a distancia.

Hay cuatro esquemas para organizar el trabajo del sistema de aprendizaje a distancia en Rusia y los países de la CEI. Se utilizan solos o combinados entre sí.

Formas de organizar el aprendizaje a distancia en una empresa:

1. Autoaprendizaje

Como su nombre lo indica, los estudiantes interactúan de forma independiente con LMS, sin la participación de los profesores. Este método permite a la organización ahorrar recursos humanos y es muy adecuado para la transferencia de conocimientos fáciles de aprender. Como verificación se utilizan pruebas en línea, que además no requieren costos de tiempo por parte del docente.

2. Formación con la participación del profesor

En este caso, los estudiantes no solo se familiarizan con el curso, sino que también interactúan de alguna manera con el maestro. Por ejemplo, puede dar retroalimentación sobre tareas completadas que no pueden ser reemplazadas por pruebas. Otro formato común: webinars, donde LMS juega el papel de una plataforma técnica, pero el principal portador de conocimiento es el profesor.

3. Aprendizaje personalizado

El esquema de aprendizaje a distancia tete-a-tete (un maestro y un estudiante) rara vez se usa, porque. consume demasiado tiempo y no es recomendable comprar o desarrollar un sistema de aprendizaje a distancia, solo para que dos personas puedan interactuar de forma remota entre sí.

4. Aprendizaje combinado

Un método que se usa con frecuencia es cuando los empleados estudian parte de los materiales de capacitación en el LMS, la otra parte les es presentada por un maestro (entrenador de negocios) durante una reunión presencial. El esquema de formación presencial LMS+ es el más habitual y eficaz: es evidente que los empleados son capaces de aprender algunos conocimientos por su cuenta, por lo que no hay necesidad de hacer perder el tiempo al profesor, por otro lado, hay cosas que se aprenden mejor en la práctica, por ejemplo, durante una formación o una clase magistral.

El propósito del aprendizaje a distancia.

La visión del objetivo final no debe escapar a la atención cuando se trata de elegir un método de aprendizaje a distancia y cómo evaluar su eficacia: los métodos deben estar determinados por la viabilidad económica, y el objeto de medición deben ser los factores elegidos que afectan la rentabilidad de la empresa. . Aprobar un examen, por ejemplo, no es un fin en sí mismo, sino un resultado intermedio en el proceso de aprendizaje, que debe estar encaminado a mejorar las habilidades al nivel necesario para completar con éxito las tareas.

Por lo tanto, el objetivo final de la introducción de un sistema de aprendizaje a distancia es obtener más beneficios mediante el uso de las nuevas habilidades y conocimientos adquiridos por los empleados.

Método moderno El aprendizaje a distancia (DL) a través de Internet se ha convertido en una continuación lógica de los métodos anteriores de obtener educación "remota". Escriben mucho al respecto, lo anuncian y lo llaman una alternativa digna a la educación de "tiempo completo". Sin embargo, la cuestión de su eficacia prácticamente no está cubierta. Y esto es muy importante, ya que la popularidad del aprendizaje a distancia crece constantemente, lo que significa que todos más los profesionales adquieren conocimientos de esta manera.

Moderno método de aprendizaje a distancia(DL) a través de Internet se ha convertido en una continuación lógica de los métodos anteriores para obtener educación "a distancia": correspondencia, corresponsal, televisión, etc. Escriben mucho al respecto, lo anuncian y lo llaman una alternativa digna a la educación de "tiempo completo". Sin embargo, la cuestión de su eficacia prácticamente no está cubierta. Y esto es muy importante, ya que la popularidad de la educación a distancia está en constante crecimiento, lo que significa que un número cada vez mayor de especialistas reciben nuevos conocimientos de esta manera.

Requisitos previos para la creciente popularidad del aprendizaje a distancia

El factor principal que determina el crecimiento constante popularidad del aprendizaje a distancia, es que este método permite superar las limitaciones de la accesibilidad de la educación asociadas al factor geográfico, espacial. Al mismo tiempo, los cursos de aprendizaje a distancia a menudo se ofrecen a un precio más asequible que los de "tiempo completo". Lo cual, sin embargo, es bastante lógico: la organización del proceso educativo utilizando tecnologías remotas requiere una importante inversión en etapa inicial(que se ha completado con éxito en la mayoría de las universidades durante mucho tiempo), y no requiere inversiones financieras adicionales serias en el futuro.

En otras palabras, recibir educación a distancia te permite:

• ahorre dinero: los cursos de DL no solo cuestan menos que los de "tiempo completo", sino que tampoco necesita gastar dinero en alojamiento y comidas en otra ciudad;
• planifique de forma independiente el proceso de aprendizaje: el estudiante mismo elige cómo y cuándo le conviene estudiar el material de capacitación;
• Reciba educación en el trabajo: el horario de "conferencias" planificado de forma independiente le permite combinar el trabajo con el estudio.

Es bastante natural que los estudiantes, limitados por el tiempo, los marcos geográficos y financieros (y hay más y más cada año) opten por la educación a distancia. Pero, ¿qué tan efectivo es este entrenamiento?

Tipos de aprendizaje a distancia

Inicialmente, en los albores de la formación de DO, estaba claro que a pesar de todo beneficios del aprendizaje a distancia, este método está desprovisto de aquellos factores principales que brindan (o pueden brindar) una educación de alta calidad en la situación tradicional de aula o educación individual: la presencia de un maestro talentoso y carismático que sea capaz de desarrollar interés en el tema en el alumno, cautivarlo, fomentar la reflexión y la resolución de problemas, y también mantener en él una alta autoestima y confianza en sí mismo.

Es evidente que todo esto falta ciertamente en la formación por correspondencia y -con un grado muy alto de probabilidad- en las lecciones televisivas. Pero este estado de cosas se consideraba el costo normal del método, el precio a pagar por la oportunidad de estudiar a distancia y sin costo alguno. El advenimiento de la tecnología ha proporcionado más oportunidades para el suministro de material y una mayor facilidad de uso del método.

Contemporáneo educación remota representada por dos tipos:

• sincrónico - las clases se llevan a cabo en tiempo real. Es decir, a la hora señalada, un estudiante (o un grupo de estudiantes) se "reúne" en línea con un profesor que da conferencias, responde a las preguntas de los estudiantes y hace contrapreguntas para comprobar el nivel de dominio del material. Por regla general, las clases virtuales se llevan a cabo utilizando Internet y cámaras web.
• asíncrono: una versión clásica del aprendizaje a distancia, en el que se envía al estudiante material de capacitación para autoestudio seguido de aprobar pruebas y exámenes. Al mismo tiempo, un alumno puede aprobar pruebas tanto de forma presencial como a distancia.

Eficiencia del aprendizaje a distancia

No es difícil adivinar que aprendizaje a distancia sincrónico, que difiere del clásico "tiempo completo" solo en la forma en que el maestro interactúa con los estudiantes, no es inferior en eficiencia a su contraparte tradicional. Es cierto que aquí no hace falta hablar de independencia temporal, ya que el estudiante debe conectarse en línea de forma clara. tiempo específico. Y el costo de dicha capacitación, si es menor que el de tiempo completo, no es mucho. Por lo tanto, de las tres principales ventajas del aprendizaje a distancia enumeradas anteriormente (accesibilidad financiera, temporal y geográfica) "en la cara" es solo la independencia geográfica.

Pero la eficiencia aprendizaje a distancia asíncrono es muy dudoso, ya que aquí mucho depende de la capacidad de aprendizaje del alumno, el nivel de su preparación, la correspondencia de la complejidad del curso elegido con las habilidades del alumno, la disponibilidad de apoyo y asistencia del profesor, etc. No olvidarse de la motivación del alumno.

Los profesores experimentados creen que "... cuando la motivación para aprender es muy baja, entonces es posible, sin correr el riesgo de equivocarse, suponer que el éxito potencial en el aprendizaje se verá reducido en cierta medida". La especificidad del método DL asíncrono en materia de motivación para el aprendizaje se manifiesta en la ausencia de estándares aprendizaje tradicional Momentos motivadores como la presión del grupo, situación familiar de aprendizaje, factores sociales etc.

En otras palabras, la efectividad del aprendizaje a distancia asíncrono en más depende del propio alumno: de sus ganas de aprender y adquirir nuevos conocimientos, de la capacidad de organización y del afán de superación.

Conclusión

Hablando de efectividad del aprendizaje a distancia– y más ampliamente: la educación con la ayuda de las nuevas tecnologías de la información y la comunicación, se puede sacar una conclusión inequívoca. Sí, puede considerarse bastante efectivo, pero solo si es un método de aprendizaje sincrónico o si el estudiante tiene una motivación lo suficientemente fuerte como para estudiar el material por su cuenta. En otros casos, el aprendizaje a distancia es más un autoengaño y una forma de autocomplacencia, lo que le permite obtener solo la "corteza", pero no el nivel adecuado de conocimiento.

La capacitación del personal en las empresas de rápido crecimiento de la actualidad requiere una importante inversión de tiempo y dinero. Esto está obligando a muchas empresas a recurrir al e-learning, que permite acercar la información necesaria a los empleados en cualquier lugar y en cualquier momento a través de Internet, y además hacerlo de forma más rápida y económica.
La efectividad del aprendizaje a distancia (DL) está determinada por una combinación de cinco factores clave que permiten a los alumnos retener más información en la memoria, aumentar su conciencia, lograr un mejor desempeño y, por lo tanto, aumentar el retorno del capital invertido.
Estos factores incluyen:
- interactividad,
- memorabilidad
- flexibilidad en el uso,
- proporcionar asistencia
- disponibilidad.

interactividad
La introducción de la interactividad en el proceso de aprendizaje hace más activa la participación del alumno, le hace intentar alcanzar resultado máximo. La interactividad también ayuda a los instructores a incorporar materiales más complejos en el curso.
La interactividad se puede combinar con la imitación en el proceso de aprendizaje del entorno con el que los alumnos deben familiarizarse. Por ejemplo, si el curso trata sobre el uso programa de computadora, la imagen en la pantalla debe corresponder a la que se muestra cuando se ejecuta este programa, y ​​se le puede dar al alumno la tarea de realizar una operación correspondiente a una de las preguntas estudiadas. Para temas más complejos a este respecto, puede modelar un proceso comercial y hacer que el alumno lo revise.

memorable
Para recordar mejor, los estudiantes deben sentir la importancia del material que se está estudiando. A esto también ayuda la estructuración de los encabezados de los temas que se están estudiando, lo que asegura que la información necesaria se retenga en la memoria. Y esto, a su vez, hace más probable que apliquen los conocimientos adquiridos en futuros proyectos reales. Además, la organización de los títulos ayuda a evitar la repetición, lo que a menudo reduce la eficacia del e-learning.

Flexibilidad en el uso
El sistema debe prever la posibilidad de formar empleados con diferentes niveles de formación y diferentes capacidades. Es necesario que los estudiantes puedan moverse fácilmente a lo largo del curso de formación, controlar su movimiento y también poder volver a la posición en la que estaban durante la sesión anterior de acceso al curso de formación.
A medida que una empresa evoluciona, el contenido del curso rara vez permanece igual, por lo que la herramienta de aprendizaje debe poder cambiar el contenido de aprendizaje. La posibilidad de tales cambios debe incorporarse a la herramienta de aprendizaje desde el principio. El cambio en sí necesita ser planificado y monitoreado.

Proporcionar asistencia
Dado que el aprendizaje electrónico no suele tener lugar en un grupo, es importante que el sistema de aprendizaje brinde asistencia a los alumnos. Su personal necesitará instrucciones del curso, herramientas de navegación, sugerencias de tareas, enlaces para obtener definiciones, soporte para preguntas técnicas y más. Debe haber un botón de ayuda disponible en cualquier diapositiva del curso.
Todo esto ayudará a los empleados a concentrarse en aprender y no distraerse con molestas interferencias. También es útil proporcionar flexibilidad a los alumnos, es útil proporcionar una sección para las preguntas más frecuentes, así como un glosario de términos que pueden ser desconocidos para los alumnos. Estas herramientas pueden convertirse en valiosos recursos de referencia para los empleados incluso después de que se haya completado la capacitación.

Disponibilidad
Debido a la carga de trabajo, a menudo es difícil para los empleados elegir el momento de la formación. Para resolver este problema, es necesario utilizar varias maneras entrega de contenido educativo.
Si el material de capacitación está disponible en línea, se debe alentar a los empleados a utilizar el material fuera del trabajo.
Para aquellas oficinas donde hay dificultades de acceso a Internet, para empleados que quieran estudiar material en casa, así como para personal técnico que necesite material de referencia fuera de la oficina, se podría considerar una versión en CD-ROM del material de capacitación.

Usando el ejemplo de una empresa con 4000 empleados, consideremos la experiencia de introducir el aprendizaje a distancia. El lema de sus organizadores: garantizar la accesibilidad y el carácter masivoformación de los empleados bajo la condición de una calidad uniforme de formación para todos.

Indicadores de rendimiento del sistema de aprendizaje a distancia (DLS)

Lanzar la educación a distancia en una empresa es un proyecto bastante costoso. Para evaluar la viabilidad de gastar en él, es necesario desarrollar un sistema de indicadores de la efectividad del LMS. Entre estos se encuentran:

• general (caracterizar el funcionamiento de la educación a distancia en la empresa como parte del sistema general de aprendizaje);
• organización privada;
• indicadores de calidad que se remontan al concepto de eficacia pedagógica.

El tema clave para lograr la efectividad del aprendizaje a distancia se refiere a la implementación de los estándares de su organización en la empresa. CJSC Insurance Group UralSib ha identificado los siguientes KPI en esta área:

1. Elaboración y aprobación de un documento que establezca el procedimiento para organizar la educación a distancia, es decir, que contenga una descripción de los procedimientos específicos, incluidos los relacionados con la creación planes de estudio, así como esquemas de flujo de trabajo, estándares de informes.
2. Todos los directores, funcionales y los gerentes de línea quienes determinen la necesidad de la educación a distancia deben estar familiarizados con el procedimiento para su organización.
3. Todas las sucursales y puntos de venta de la red regional deben tener acceso al LMS, es decir asegurando la posibilidad técnica de formación a distancia para el 100% de los empleados.
4. Todas las actividades de la organización deben contar con apoyo para el aprendizaje a distancia de acuerdo con la necesidad existente. Se identifica anualmente como parte del procedimiento de planificación. El volumen, los términos y los temas se determinan de acuerdo con los planes de negocios y unidades funcionales, los principales iniciadores de la educación a distancia. En particular, es obligatorio al introducir un nuevo producto de seguro, evaluar las calificaciones de especialistas clave para confirmar o cambiar poderes (para celebrar contratos o liquidar pérdidas), familiarizar a los empleados con pólizas y reglas nuevas o modificadas, aprobar formularios de atestación requeridos por la ley, apoyo posterior a la formación para programas de formación a tiempo completo, adaptación de nuevos empleados (curso de orientación, programas básicos), ampliación o cambio de responsabilidades funcionales de los empleados, etc.
5. Todas las solicitudes de las unidades comerciales para proporcionar informes sobre el desarrollo del personal a través del aprendizaje a distancia deben completarse antes de la fecha de vencimiento.

Los tres primeros indicadores se formularon como criterios para el logro de objetivos de mejora del LMS tras el lanzamiento del proyecto piloto, que se evaluaron al finalizar. El cuarto se especifica anualmente de acuerdo con la creciente necesidad de educación a distancia. Todos ellos están orientados a garantizar la estabilidad y sostenibilidad del LMS. El quinto de estos indicadores es el KPI constante del sistema de aprendizaje en general y de la educación a distancia en particular. Habla de la utilidad y productividad de la formación de los representantes de las unidades de negocio y de la dirección.

importante y privado organizativo Indicadores de desempeño de la administración del LMS:

• procesamiento de solicitudes para educación a distancia dentro de N días hábiles en un 100%;
• organización de eventos de capacitación del LMS de acuerdo con los términos declarados por el cliente (jefe de la división regional estructural) en un 100%.

Estos indicadores permiten evaluar la calidad de la organización del proceso, e inciden en el nivel de satisfacción de los especialistas y directivos con el sistema de educación a distancia. Curiosamente, para evaluar la administración, basta simplemente con observar: cuál de los especialistas de RR.HH. prefiere llamar a los participantes de la capacitación y a los empleados de las sucursales responsables de monitorearla en caso de problemas y para soporte.

Tanto los especialistas internos como los proveedores externos de servicios educativos y de consultoría pueden crear cursos de aprendizaje a distancia; la elección la realiza la propia empresa. indicadores eficiencia del diseño del programa puede ser lo siguiente:

• implementación del plan de creación y modificación de cursos en un 100%;
• elaboración y ajuste de programas en tiempo y forma;
• 100% provisión de programas de capacitación con herramientas de prueba de conocimiento (pruebas, tareas, casos);
• desarrollo y aprobación de estándares para la creación de programas de educación a distancia;
• inclusión presentaciones educativas, enfocada metódicamente a la educación a distancia, en el 100% de los programas.

El último indicador puede estar subestimado, pero contiene varios aspectos importantes. El material de formación LMS debe ser visual, estructurado, organizado lógicamente, sin contradicciones y, lo más importante, autosuficiente, ya que no hay un profesor al lado del participante de la formación que pueda dar las explicaciones y comentarios necesarios. El curso también debe incluir algoritmos de trabajo de los empleados, ejemplos de cálculo o construcción de comunicación con un cliente, memorandos, "hojas de trucos" con turnos de palabra, frases que son útiles para el trabajo, etc. Tales elementos aseguran la efectividad del curso de capacitación.

El enfoque en estos indicadores contribuye a la regularidad, sostenibilidad y consistencia de los procesos de desarrollo de programas, para garantizar que los materiales didácticos utilizados tengan en cuenta las especificidades del aprendizaje a distancia. El análisis de la proporción del tiempo previsto y real dedicado por el alumno al curso y la certificación permite identificar deficiencias en el trabajo metodológico u organizativo. En la práctica, el uso de los cinco indicadores enumerados anteriormente no es posible, ya que llevaría demasiado tiempo rastrearlos. En CJSC Insurance Group UralSib, el primero y el tercero de los anteriores se utilizan sin falta.

Al analizar la efectividad del aprendizaje a distancia, también es importante tener en cuenta indicadores eficacia pedagógica. Este es un concepto sistémico tradicionalmente utilizado en los estudios sobre la eficacia de la educación a distancia en Instituciones educacionales(por ejemplo, en los trabajos de A. A. Andreev, T. Russell, O. K. Filatov, D. V. Chernilevsky, etc.). El criterio principal es la proporción (en porcentaje) de participantes certificados en capacitación de su número total. En la empresa Grupo de Seguros UralSib, se incluyó en la lista de indicadores de desempeño para el conjunto de la empresa, formulada como el “porcentaje de empleados certificados”. La importancia de este indicador se deriva tanto de los objetivos generales de formación (asegurar el nivel adecuado de cualificación del personal) como de los privados. Por ejemplo, la capacitación sobre productos se organiza para que los especialistas del departamento de ventas conozcan y comprendan los términos del seguro. El curso introductorio, que cuenta la historia, las tradiciones y los logros de la empresa, se lleva a cabo para que los empleados recuerden para qué empresa trabajan, se den cuenta de dónde y cuándo pueden usar este conocimiento y cómo pueden usarlo en sus actividades diarias. El desarrollo de políticas (por ejemplo, sobre seguridad de la información) es necesario para asegurar las condiciones para su observancia. Estudiar las dificultades típicas de trabajar en bases de datos y sistemas contables le permite mantener una alta precisión e integridad de la información almacenada. Y es obvio que es imposible controlar el logro de los objetivos enumerados (y otros) sin verificar el conocimiento adquirido. Por lo tanto, la proporción de empleados que aprobaron con éxito la certificación se convierte en un indicador significativo tanto de la efectividad del sistema de aprendizaje a distancia como del desarrollo del personal en general.

Durante la formación de LMS en CJSC Insurance Group Ural-Sib, se consideró lo siguiente como un indicador de motivación para el aprendizaje a distancia: el desarrollo del 75% de los empleados de la sucursal al menos dos programas de capacitación por año. La investigación en esta área se complica por el hecho de que muy a menudo, en forma de aprendizaje a distancia, se organizan cursos de capacitación que son obligatorios para ciertas categorías de personal. Características individuales (autoorganización/desorganización, perseverancia/prisa, capacidad de pensamiento analítico, sociabilidad/aislamiento, etc.) sobre la actitud hacia esta especie El entrenamiento y la calidad de sus resultados, por supuesto, afectan, pero su consideración requiere una atención especial.

Es recomendable analizar los indicadores de efectividad de la educación a distancia de manera sistemática. Combinarlos en un concepto común debe tener en cuenta la singularidad de los procesos de una empresa en particular. Un ejemplo de un indicador que integra diferentes grupos factores, puede servir como análisis del trabajo metodológico y administrativo. El tiempo dedicado a la administración (registro de participantes, envío de cartas informativas y notificaciones, formación de protocolos finales en base a los resultados de las capacitaciones, soporte técnico a los usuarios del portal educativo, etc.), según la experiencia de CJSC Insurance Group Ural- Sib, no debe exceder la tercera parte del período de creación y modificación de los cursos de formación. De lo contrario, la calidad del LMS en su conjunto puede disminuir gradualmente.

Un papel esencial lo juega la evaluación de la aplicación de los conocimientos y su impacto en el resultado de la actividad. Considere los métodos mediante los cuales se puede llevar a cabo esta evaluación.

Métodos para evaluar la efectividad de LMS

Cuestionario

El método tradicional para evaluar la eficacia de la formación es la retroalimentación de sus participantes y clientes. Se puede obtener interrogando a los empleados inmediatamente después del final de las clases, así como a los gerentes, de forma regular (por ejemplo, una vez al trimestre). Así, según el modelo de P. Kirkpatrick para evaluar la eficacia del aprendizaje de adultos, primero se registra la reacción directa de los estudiantes (una encuesta a los empleados), y luego cuánto ha cambiado su comportamiento y actitud hacia el trabajo después de la capacitación (un análisis de las opiniones de los gerentes).

Se pide a los participantes en los cuestionarios que evalúen (en una escala de 3, 5, 7 o 10 puntos) la claridad y claridad de los materiales de capacitación, la relevancia, el valor práctico del conocimiento adquirido, la calidad de la organización LMS y también describa si el curso fue interesante, qué tan difícil o fácil fue realizarlo, para dar una evaluación emocional general: "me gustó / no me gustó". Un indicador establecido puede hablar sobre la efectividad de la capacitación, por ejemplo, el puntaje promedio no es inferior a 7 puntos (en una escala de 10 puntos).

Encuestar a los gerentes de línea es una tarea más difícil. Los siguientes factores impiden obtener una buena retroalimentación de ellos:

• falta de iniciativa del jefe para determinar la necesidad de capacitación: la selección de empleados se realiza de acuerdo con sus funciones y no en función de la visión de la situación en la unidad por parte de su jefe;
• el período de formación se determina de forma centralizada y, en este sentido, el gerente no tiene la libertad de planificar el paso de los cursos por parte de sus subordinados, teniendo en cuenta la carga de trabajo actual (tanto la suya como la suya).

Estas dos circunstancias reducen significativamente el deseo de proporcionar comentarios, comparte tu opinión sobre aprendizaje organizado. Nadie necesita respuestas formales.

En el caso de que el aprendizaje a distancia se lleve a cabo de forma centralizada para todos los empleados de una determinada categoría (por ejemplo, especialistas en soporte operativo en sucursales), puede limitarse a interrogar a los participantes directos. Si el gerente mismo elige del catálogo de programas aquellos que considera necesarios para sus subordinados, entonces puede proporcionar información completa sobre la efectividad del aprendizaje a distancia.

La evaluación por el método de interrogatorio en el caso de LMS tiene sus propias características. Por lo tanto, los participantes y los líderes pueden dar retroalimentación a voluntad, es decir, este es un procedimiento opcional. Técnicamente, tiene sentido organizarlo en forma de encuesta vinculada a un curso específico. Es importante que el cuestionario se presente completo y no en una pregunta, ya que al responder, el empleado analiza simultáneamente su propia impresión del plan de estudios y es importante que lo refleje en su totalidad.

Algunas organizaciones crean foros separados donde los empleados pueden discutir varios temas sobre un plan de estudios específico, así como recibir información adicional del administrador del foro y del facilitador del curso. La empresa "Grupo de seguros "UralSib" no tiene un foro, ya que su apoyo requiere un tiempo y recursos humanos considerables.
Otra característica importante de evaluar el aprendizaje a distancia utilizando el método del cuestionario es la necesidad de responder a los comentarios recibidos.

La situación anterior también sirve como ejemplo de cómo se puede trabajar para expandir la parte "en vivo" de los cursos de capacitación en una dirección que sea interesante para los empleados. Sin embargo, el punto clave es la respuesta directa a la retroalimentación, es decir. todo el trabajo realizado sobre su base. Esto activa la comunicación de los participantes del aprendizaje a distancia, aumentando así su interactividad y, por lo tanto, su eficacia.

Método del incidente

La experiencia de implementación de LMS en Ural-Sib Insurance Group mostró que es conveniente utilizar el método de incidentes para evaluar la efectividad del aprendizaje a distancia. Su esencia se hereda de la práctica de la psicología de la ingeniería: en los casos en que surge una pregunta atípica en el trabajo, se realiza un análisis especial del problema.

Incluye: aclaración de las circunstancias de aparición de dificultades, consideración de las acciones de los participantes, búsqueda de la salida óptima de la situación. Las causas del fenómeno y la solución encontrada, así como las formas de comportamiento correcto en situaciones similares, se fijan por escrito y luego se transmiten a todos los empleados que están involucrados en el mantenimiento del trabajo del LMS. Tal análisis contribuye a mejorar la calidad de los cursos de formación y enriquece los materiales metodológicos.

De vez en cuando es necesario aclarar la redacción y ampliar el contenido de los cursos de formación. Por ejemplo, el trabajo en seguros exige mucho a un empleado de un departamento de ventas: conocimiento de las normas legales, los fundamentos económicos de los seguros, la economía empresarial, las características fiscales, los conceptos básicos de las industrias relacionadas, etc.

Este enfoque le permite solucionar posibles dificultades técnicas que surgen al usar el portal educativo y formas de eliminarlas, así como compartir experiencias relevantes con colegas. La guía compilada es conveniente tanto para administradores nuevos como experimentados.

Ejemplo 1

Los participantes en la formación dejaron claro que no había suficientes ejemplos prácticos en el curso de formación. Esto se expresó en puntuaciones bajas en la escala correspondiente en el cuestionario de retroalimentación. El metodólogo analizó la situación, concretó con la ayuda de una encuesta puntual en qué consistía la "observación", y luego agregó y corrigió los ejemplos en el curso. Habiendo acordado con el empleado responsable de la unidad de negocios los cambios realizados, colocó información sobre los mismos en la sección "Noticias" en portal de aprendizaje gracias a quienes proporcionaron comentarios críticos que mejoraron la calidad del curso.

Ejemplo 2

El empleado tuvo dificultades con una de las preguntas de prueba del curso de producto, y con ella aplicó a la Dirección de Capacitación y Desarrollo de Personal. El metodólogo aclaró cuál era la esencia de la dificultad, luego recurrió a los materiales y verificó la corrección de la redacción. Si es necesario, en tales casos, solicita la asistencia de representantes de la unidad de negocios que es el desarrollador de las condiciones del seguro. La pregunta de prueba modificada se acordó no solo con los especialistas involucrados en la creación del curso de capacitación, sino también con el propio empleado, quien indicó la inexactitud. Luego, el metodólogo registró la esencia del incidente que había surgido y la forma en que se resolvió. La información se transmitió a los colegas en forma de correo electrónico regular.

Ejemplo

El participante del entrenamiento, al pasar la prueba, enfrentó una dificultad técnica. Llamó al administrador, pero no pudo encontrar la causa del problema y solucionarlo. Luego se conectó un metodólogo de aprendizaje a distancia. Su tarea era determinar la naturaleza del problema técnico, arreglar las circunstancias de su ocurrencia. El metodólogo contactó a un especialista en TI quien, con base en los resultados del análisis de la situación, determinó los criterios para identificar el problema, desarrolló un algoritmo para resolverlo y lo transmitió a todos los administradores de educación a distancia.

Análisis de la dinámica de los indicadores financieros de la empresa

Los indicadores generales de desempeño comercial ocupan un lugar separado en la evaluación de LMS.

Hoy en día, un indicador de la calidad de la educación como "volumen de ventas" es popular. En seguros, se considera como el volumen de prima de seguro en el contexto de seguros corporativos y minoristas, por tipo de seguro, canales de venta, naturaleza del contrato (nuevo/ampliado), etc.

Al hacerlo, recuerde lo siguiente. Al evaluar los programas de capacitación, el volumen y la dinámica de las ventas no son importantes en general, sino solo para aquellos tipos de servicios de seguros para los cuales se realizó la capacitación. Por supuesto, tanto en el caso de los valores buenos como de los malos, no se puede argumentar que fueron el resultado del aprendizaje (o la falta de él). La "sincronicidad" importa: se ha completado un curso, hay un resultado, y viceversa. Debe tener cuidado si la capacitación no condujo a cambios en el trabajo.

La experiencia de CJSC Insurance Group UralSib muestra que es posible enfocar la capacitación en las áreas necesarias de ventas solo durante el período en que se elabora el plan del programa de capacitación después de la aprobación de la estrategia de producto y la estrategia para el desarrollo de canales de venta, repitiendo las prioridades comerciales identificadas.

El indicador "volumen de ventas" caracteriza la efectividad, en primer lugar, de los empleados de los departamentos de ventas y, por lo tanto, no es el único. Por ejemplo, cuando se entrena para trabajar con bases de datos, que también es conveniente ejecutar en un formato remoto masivo, las estadísticas y la información analítica sobre el número y la naturaleza de los errores cometidos al trabajar con programas informarán sobre la efectividad del curso. La comparación de los datos recopilados antes de la capacitación y 1 o 2 meses después demostrará el impacto de los cursos tomados.

El portal de aprendizaje le permite involucrar al personal en el aprendizaje a distancia. Para aumentar la actividad de los participantes, puede utilizar: calificaciones de "avance" de sucursales, divisiones o personales; premios virtuales públicos: "por organización" en el curso de capacitación, "por la calificación más alta de una rama / subdivisión", "por participación activa", etc. Así, los indicadores de involucramiento pueden ser: el número de participantes en la encuesta, votación, competencia; indicadores dinámicos de participación en la formación (cumplimiento de los plazos, porcentaje de participantes en el número total de empleados, crecimiento del número de solicitudes únicas para aprobar cursos presentadas por los gerentes de línea).

método de comparación

En su trabajo, el departamento de formación y desarrollo del personal de la empresa también utiliza el método de comparación. Para evaluar si el LMS está efectivamente organizado, es recomendable ver cómo lo están haciendo otros, por ejemplo, visitando la famosa exposición y conferencia de e-learning o en seminarios abiertos y mesas redondas organizadas por empresas que desarrollan y venden a distancia. programa de aprendizaje Las mismas empresas mantienen recursos de Internet especiales para sus clientes, donde puede hacer preguntas al proveedor, obtener respuestas y ver qué les interesa a los especialistas de otras organizaciones.

La complejidad de la tarea de determinar la efectividad del aprendizaje a distancia es innegable. Debido al desarrollo activo tecnologías de la información se puede ser optimista sobre la perspectiva de implementar diferentes métodos de evaluación, siempre que se minimicen el tiempo y los recursos humanos. Una vez más, prestemos atención a la importancia de los indicadores (generales) del sistema de la calidad del LMS. El éxito del aprendizaje a distancia en general depende en gran medida de los metodólogos involucrados en la organización de la formación. Es su tarea establecer un diálogo con los participantes, aumentar el impacto de los programas a distancia.

Actualmente, las tecnologías de aprendizaje a distancia han penetrado en casi todos los sectores de la educación (escuelas, universidades, corporaciones, etc.). Miles de empresas y universidades dedican gran parte de sus recursos a este tipo de proyectos. ¿Por qué hacen eso? ¿Cuál es el retorno (directo e indirecto)? ¿Cuál es el resultado de estas inversiones? Estas y muchas otras preguntas similares se hacen hoy en día muchos líderes y participantes en proyectos educativos. Para responderlas, es necesario evaluar un parámetro tan esencial como la efectividad de estos proyectos.
Hay varios enfoques para evaluar la efectividad de varios sistemas de entrenamiento. Detengámonos primero en aquellas que nos permiten evaluar la efectividad relativa a partir del análisis de las tecnologías de aprendizaje. Así, podemos señalar los siguientes procesos principales que determinan la eficacia del sistema de estudio de la educación en su conjunto: la metodología para la formación de un sistema de conocimientos, la metodología para la formación de un sistema de habilidades profesionales, la rentabilidad proceso educativo y una estrategia de precio de matrícula razonable.
Formulemos algunas reglas que nos permitan pasar de declaraciones metodológicas a criterios más específicos para evaluar la eficacia comparativa de los sistemas de formación. type="1"> Un sistema de aprendizaje es más eficiente que otro si la carga de trabajo del estudiante durante el período considerado (semestre, año) en este sistema es más igual a
numerados que comparados. Esta afirmación se basa en el hecho de que en la mayoría de los casos es imposible formar un sistema de conocimiento con una carga docente desigual (por ejemplo, solo durante la sesión de clases). Un sistema de formación es más eficaz que otro si la relación entre el número de horas de clases que forman competencias y habilidades profesionales y el número total de clases es mayor que la relación similar en el sistema que se compara. En otras palabras, para formar competencias y habilidades profesionales es necesario realizar un número suficiente de clases prácticas, capacitaciones, juegos de negocios y otras actividades que desarrollan competencias y habilidades profesionales complejas. Teniendo en cuenta la introducción de tareas de redes interactivas en las tecnologías de aprendizaje a distancia, la proporción de clases prácticas sobre el número total de horas se vuelve bastante alta y se acerca a los indicadores de la educación a tiempo completo. Las peculiaridades de organizar y llevar a cabo el aprendizaje a distancia no permiten aumentar el valor de este indicador a un nivel aceptable. En promedio, la relación entre el número de horas de formación práctica y el número total de horas dedicadas al estudio de la disciplina para diversas formas de educación se distribuye de la siguiente manera: tiempo completo - hasta 40%, tiempo parcial - hasta al 10%, remoto - hasta el 30%. El sistema de formación debe ser rentable con una política de precios razonable.
Así, de acuerdo con los criterios de formación de conocimientos, habilidades, y también debido a una distribución más equitativa de la carga de trabajo del estudiante durante el año (Fig. 2.1), la tecnología

el aprendizaje a distancia es comparable a la educación a tiempo completo y es significativamente superior en términos de calidad formulario de correspondencia aprendiendo.
La eficiencia suficientemente alta del aprendizaje a distancia se logra en gran medida debido a alto grado su interactividad, especificidades de las tecnologías de la información y las telecomunicaciones, planificación individual y organización del proceso educativo.
Esto lo confirma un experimento realizado por un profesor de sociología en la California Universidad Estatal J. Schutte. En uno de los semestres, el profesor dividió aleatoriamente un grupo de estudiantes en dos subgrupos. Los estudiantes de uno de ellos asistieron a clases como de costumbre: escucharon conferencias, completaron tareas y aprobaron exámenes, mientras que los estudiantes del otro tomaron un curso similar de forma remota. Estos últimos recibían tareas y evaluaciones vía Internet, tomaban la información necesaria del sitio web de la universidad, hacían preguntas y enviaban pruebas completas al profesor por correo electrónico, y también participaban en discusiones grupales vía Internet. En el salón de clases, solo aparecían para el examen del semestre. ¡Y qué interesante! Los alumnos de la “Red” mostraron resultados en promedio un 20% superiores a los resultados de sus compañeros del grupo presencial regular. Por supuesto, en este caso, los estudiantes de la "red" tenían una mayor motivación y no vale la pena sacar conclusiones generalizadoras basadas en un experimento. Pero el resultado concreto dice mucho. Por cierto, el relativo anonimato de participar en discusiones en Internet ha permitido que muchos estudiantes hagan preguntas que nunca harían en una audiencia real en presencia de sus amigos.
A partir de la década de 1960, los profesionales de la formación comenzaron a darse cuenta de la importancia de cuantificar el impacto económico de los proyectos educativos, especialmente en la formación empresarial. Hay cuatro razones principales para evaluar la eficacia de la formación en las empresas: la formación es una herramienta empresarial, uno de los proyectos que lleva a cabo una organización para aumentar su productividad y rentabilidad; la justificación de la conveniencia del gasto en formación obliga a realizar su análisis cuantitativo; La evaluación del desempeño ayuda a los desarrolladores a mejorar los materiales de aprendizaje, porque sin una evaluación formal, la base para el cambio es muy subjetiva. la evaluación del desempeño ayuda a elegir el mejor método de enseñanza.
La efectividad del aprendizaje corporativo a distancia está determinada por una combinación de cinco factores clave que permiten
los alumnos retengan más información en la memoria, aumenten su conocimiento, logren un mejor desempeño y, por lo tanto, aumenten el rendimiento del capital invertido. Estos factores incluyen: interactividad, memorabilidad, flexibilidad en el uso, provisión de asistencia y accesibilidad.
Interactividad. La introducción de la interactividad en el proceso de aprendizaje hace que la participación del alumno sea más activa, le hace intentar conseguir el máximo resultado. La interactividad también ayuda a los instructores a incorporar materiales más complejos en el curso.
La interactividad se puede combinar con la imitación en el proceso de aprendizaje del entorno con el que los alumnos deben familiarizarse. Por ejemplo, si el curso es sobre el uso de un programa de computadora, la imagen en la pantalla debe corresponder a la que se muestra cuando el programa se está ejecutando, y se le puede pedir al estudiante que realice una operación correspondiente a una de las preguntas que se están estudiando. Para temas más complejos al respecto, se puede modelar un proceso de negocio e invitar al alumno a estudiarlo.
Memorabilidad. Para recordar mejor, los estudiantes deben sentir la importancia del material que se está estudiando. A esto también se ayuda estructurando los encabezados de los temas que se están estudiando, asegurando que la información necesaria se retenga en la memoria. Y esto, a su vez, hace más probable que apliquen los conocimientos adquiridos en futuros proyectos reales. Además, la organización de los títulos ayuda a evitar la repetición, lo que a menudo reduce la eficacia del e-learning.
Flexibilidad en el uso. El sistema debe prever la posibilidad de formar empleados con diferentes niveles de formación y diferentes capacidades. Es necesario que los estudiantes puedan moverse fácilmente a lo largo del curso de formación, controlar su movimiento y también poder volver a la posición en la que estaban durante la sesión anterior de acceso al curso de formación.
A medida que una empresa evoluciona, el contenido del curso rara vez permanece igual, por lo que las herramientas de aprendizaje deben poder cambiar el contenido de aprendizaje. La posibilidad de tales cambios debe incorporarse a las herramientas de aprendizaje desde el principio. El cambio en sí necesita ser planificado y monitoreado.
Proporcionar asistencia. Dado que el e-learning generalmente ocurre individualmente, es necesario que el sistema de aprendizaje brinde asistencia a los alumnos. Necesitan instrucciones del curso, ayudas para la navegación, sugerencias para tareas, enlaces para obtener definiciones.
divisiones, soporte en caso de problemas técnicos, etc. El botón de llamada de ayuda debe estar disponible desde cualquier diapositiva del curso. Todo esto ayudará a los empleados a concentrarse en aprender y no distraerse con molestas interferencias. Para la flexibilidad de los alumnos, es útil proporcionar una sección para las preguntas más frecuentes, así como un glosario de términos que pueden ser desconocidos para los alumnos. Estas herramientas pueden convertirse en valiosos recursos de referencia para los empleados incluso después de que se haya completado la capacitación.
Disponibilidad. Debido a la carga de trabajo de los estudiantes, muchas veces es difícil elegir el momento del proceso educativo. Para resolver este problema, es necesario utilizar varios métodos para entregar contenido educativo. Si el material educativo está disponible a través de Internet, entonces es necesario asegurarse de que estos materiales puedan utilizarse fuera del trabajo. Para las empresas que tienen dificultades para acceder a Internet, para los estudiantes que desean estudiar material en casa y para el personal técnico que necesita material de referencia fuera de la empresa, se puede proporcionar una versión en CD del material de capacitación.
Para mejorar la eficiencia económica cursos a distancia tanto en general como en la capacitación corporativa, un enfoque de marketing para atender a los aprendices es de gran importancia para garantizar que los resultados de los proyectos educativos estén lo más orientados al consumidor posible. Las herramientas de la mezcla de marketing deben tener en cuenta no solo los requisitos del mercado, sino también las formas de influir activamente en él. El resultado de la actividad del servicio de marketing se manifiesta en la organización del reclutamiento óptimo de estudiantes y en el empleo de especialistas capacitados. Al mismo tiempo, es de suma importancia que la comercialización sea un proceso permanente con la participación obligatoria de todas las universidades incluidas en el sistema. educación abierta.
La primera metodología, la más conocida y actualmente practicada para evaluar la efectividad de los programas de capacitación, fue desarrollada por Donald Kirkpatrick hace más de 40 años. Según esta metodología, la evaluación se realiza en cuatro niveles.
Nivel 1. La reacción de los estudiantes al programa de formación. En este nivel se evalúa la satisfacción del participante con el programa y el curso de formación. Este es el nivel más fácil de implementar. La tecnología de evaluación puede incluir entrevistas personales, el llenado de cuestionarios anónimos por parte de los estudiantes, etc. Tradicionalmente, los organizadores del curso están interesados ​​en saber si a los estudiantes les gustó el programa, el maestro y la organización del proceso de aprendizaje. Esto es típico principalmente para entrenamiento corporativo y centros de formación, donde todos los programas se evalúan a este nivel, pero cada vez más estas tecnologías se utilizan en las universidades al cuestionar
estudiantes. Además, para la evaluación del curso, es interesante obtener datos similares de aquellos que no han sido capacitados.
Sin embargo, a pesar de la prevalencia de los resultados de la evaluación en este nivel, estos son subjetivos, solo indican si a los estudiantes les gustó el programa, pero no brindan información sobre el éxito del mismo tanto para el estudiante como para la empresa donde trabaja, así como sobre la calidad del conocimiento y la experiencia adquirida.
Nivel 2. Evaluación de los conocimientos y experiencia adquiridos por el alumno en el programa formativo. La tecnología de evaluación en este nivel implica la realización de una entrevista (examen), encuesta, prueba después del proceso de aprendizaje. Este nivel se implementa universalmente en Instituciones educacionales y se presenta en forma de sistema de créditos (exámenes). Los mismos métodos se utilizan en el 60% de los casos en la formación empresarial. Así, en el nivel 2 se evalúan los resultados de aprendizaje: se determina si los pasantes han recibido los conocimientos y habilidades que se incorporaron al programa.
Nivel 3. Evaluación del comportamiento en el lugar de trabajo. Si, sobre la base de los resultados del nivel 2, sobre la base de las pruebas finales, se obtuvo una evaluación del nivel de conocimiento, entonces queda pregunta abierta sobre la medida en que los nuevos conocimientos y habilidades se retienen en la memoria y se utilizan en el lugar de trabajo. El nivel 3 sirve para responder a esta pregunta, es decir, resulta cómo los alumnos aplican los conocimientos y habilidades adquiridos en el entorno laboral. Esto no se practica en las instituciones educativas, y solo el 30% de los programas de formación empresarial se evalúan en este nivel. La complejidad de la evaluación radica en que para obtener resultados es necesario esperar de un mes a seis meses. Sin embargo, a pesar de la complejidad y el alto costo de evaluar un proyecto de capacitación en el nivel 3, es aquí donde aparece por primera vez el beneficio real del programa de capacitación para el empleado.
Nivel 4. Evaluación del impacto del programa de formación en el negocio de la empresa. Este nivel evalúa el impacto del programa de capacitación en los resultados comerciales de la empresa. En otras palabras, qué resultados medibles ha logrado la empresa a través de sus programas de capacitación corporativa. Este es el nivel más difícil de implementar y solo el 10% de los programas de capacitación del personal son evaluados para este parámetro. Se estudian los estados financieros y otros de la empresa, se entrevista a la gerencia, los clientes y otros participantes del mercado. Pero la principal dificultad radica en aislar el efecto de la formación de un gran número de otros factores que también afectan al negocio de la empresa.
El modelo de Kirkpatrick solo proporciona un marco para evaluar el desempeño, pero no sugiere ningún método o solución. Por lo tanto, para un análisis posterior, es necesario utilizar los siguientes datos adicionales:
fondos; la eficacia del proceso de aprendizaje; cumplimiento de los requisitos para la formación.
A mediados de la década de 1990, un modelo que tiene en cuenta el retorno de la inversión ROI (Return on Investment),%, se hizo especialmente popular en los negocios:
ROI = Ingresos - Costos 1TQ Costos
El uso del ROI está cambiando el papel del aprendizaje y el desarrollo en una organización. Este proceso se enfoca en cumplir con los requisitos comerciales, mejora el diseño, el desarrollo y la entrega de contenido de aprendizaje y agrega valor al aprendizaje y desarrollo dentro de la organización. La principal dificultad se expresa en la previsión de ingresos futuros en efectivo. Por tanto, solo el 5% de los programas de formación se evalúan según este modelo.
Además de calcular el índice de ROI, otro método universal para evaluar proyectos es el análisis de costo-beneficio CBA (Análisis de costo-beneficio). El método CBA es un enfoque bastante común que intenta valorar en términos monetarios cada elemento del proyecto que genera una ganancia o un costo, incluso si este elemento no tiene un valor monetario directo. Una característica de las IAS es la evaluación de opciones de proyectos alternativos sobre la base de los ingresos esperados.
A la fecha, el modelo Balanced Scorecard es uno de los modelos más prometedores y utilizados, propuesto en 1992 por Robert Kaplan y David Norton. Hoy en día, este modelo se implementa en la mayoría de las empresas de la lista Fortune 500. Una característica de este modelo es que tiene en cuenta toda la gama de objetivos estratégicos y tácticos de la empresa, que de ninguna manera siempre tienen una naturaleza financiera. Para ello, se asignan de 20 a 25 indicadores que corresponden a la estrategia de la empresa y se clasifican en cuatro grupos: indicadores financieros; métricas de servicio al cliente; indicadores que caracterizan los procesos comerciales internos; indicadores de aprendizaje y desarrollo.
La implementación de este modelo incluye las siguientes etapas: se forma un conjunto de factores clave de éxito; se definen indicadores clave de rendimiento; con base en la estrategia y el estado actual de las cosas, se formulan las metas actuales.
Uno de los modelos detallados para la evaluación de programas de capacitación fue propuesto por Jack Philips en 1997. Este modelo incluía muchas características de métodos generalmente aceptados desarrollados anteriormente.
modelos El autor recopiló y describió más de 40 proyectos de capacitación en varias organizaciones, identificó las ventajas de los métodos de evaluación utilizados en cada caso y desarrolló un "modelo ROI" de seis pasos.
Paso 1. Recopilación de datos. Inmediatamente antes de la recopilación de datos, es necesario identificar los objetivos para los cuales se realiza la evaluación, luego se recopilan los datos utilizando varias herramientas (encuestas, entrevistas, pruebas, observaciones, medición del desempeño). La evaluación se lleva a cabo en varias etapas: antes, después, durante el entrenamiento y también después de algún tiempo.
Paso 2. Aislar el efecto de aprendizaje. La implementación de esta etapa le permite excluir la influencia de factores externos que no están directamente relacionados con el proyecto de capacitación. Hasta la fecha, desarrollado Número grande soluciones que permiten hacer esto, no todas son perfectas, pero aplicadas de forma compleja dan un resultado adecuado.
Paso 3. Conversión de datos en forma monetaria. Es necesario pasar de conceptos tales como crecimiento de calidad, asignación eficiente de recursos, reducción de tiempo de inactividad y costos laborales, a una suma de dinero repartida en intervalos de tiempo.
Paso 4. Estime el costo de la capacitación. Es necesario evaluar no solo los costos explícitos, como el pago a los desarrolladores de un curso de capacitación, la compra del software y hardware necesarios, los materiales de capacitación, el pago de un maestro (tutor), sino también los implícitos, como la ausencia de el lugar de trabajo durante el período de formación, etc.
Paso 5. Calcular el ROI. Para su implementación se utilizan los resultados del tercer y cuarto paso.
Paso 6. Determinación del beneficio implícito. Se puede considerar un beneficio implícito el aumento del “espíritu de equipo”, la satisfacción laboral, la reducción de conflictos, etc.
Cabe señalar que la sencillez del cálculo del indicador ROI pasa a ser obvia en el caso de evaluar un proyecto real en el sistema educativo. El hecho es que los ingresos (o los resultados del aprendizaje) son muy difíciles de evaluar, a menudo están ocultos, son de naturaleza implícita y solo pueden aparecer después de un período de tiempo significativo después de la graduación. Y aunque los ingresos son bastante obvios, el problema surge al convertirlos en términos monetarios. A menudo, los costos también son difíciles de estimar. Si bien hay bastantes elementos marcados en términos de dinero, muchos costos están ocultos y existen de forma implícita (por ejemplo, contabilizar el tiempo adicional del docente al responder las preguntas de los estudiantes por correo electrónico). Además, los datos necesarios para calcular el ROI a menudo solo se pueden obtener después de que se haya realizado la capacitación.

Si no se dispone de la información completa y fiable necesaria para calcular el ROI, se puede utilizar el enfoque simplificado propuesto por Jeff Moonen para evaluar el retorno de la inversión SROI (Simplified Return on Investment), que tiene en cuenta varios criterios para los proyectos de formación (económicos, calidad y eficiencia).
Para reducir la complejidad de la recopilación de datos y los propios cálculos, al calcular el SROI solo se tienen en cuenta aquellos factores (tanto positivos como negativos) que, en la situación actual, son significativamente diferentes de los valores medios. El resultado es una especie de "ganancia" o "pérdida" en el valor del ROI cuando la situación cambia. Sin embargo, la tarea principal y más importante es seleccionar estos factores "significativamente diferentes" desde el punto de vista de los diferentes participantes en la situación.
Los principios para calcular el SROI se presentan en seis pasos. Utilice datos relativos si es necesario. El ROI se puede calcular como un valor relativo cuando no se dispone de datos absolutos. En este caso, la cantidad en la que cambiará el ROI al pasar de una situación a otra (por ejemplo, al poner en marcha nueva tecnología). La ventaja del cálculo relativo del ROI es que no es necesario recopilar datos difíciles de encontrar utilizados en el cálculo absoluto. Expresión de datos cualitativos en una escala numérica. Hay muchas formas de categorizar los factores para su uso en el cálculo del ROI. Para simplificar y ampliar este procedimiento, se propone considerar solo tres categorías: criterios económicos (directamente relacionados con la economía, expresados ​​en parámetros cuantitativos, generalmente en unidades monetarias); criterios de calidad (capacidad, criterios de comportamiento, calidad del servicio, generalmente expresados ​​en términos de "mejor" y "peor"); criterios de desempeño (expresados ​​en términos del tiempo requerido para completar una tarea en particular, generalmente en términos de "más" y "menos"). Presentar el cálculo del SROI como un cálculo no financiero. A menudo, en los cálculos de ROI tradicionales, los datos medidos originalmente en unidades no financieras se convierten de alguna manera para reflejar valores monetarios. Desafortunadamente, dicha transformación de datos rara vez es objetiva y profunda, ya que muchos criterios (como la calidad y la eficiencia) que tienen gran influencia sobre el valor del coeficiente ROI. Por lo tanto, al calcular el SROI, los datos no se convierten en forma financiera. Por el contrario, los datos financieros se convierten en estimaciones relativas (por ejemplo, en una escala de -10 a +10). Este enfoque enfatiza la naturaleza subjetiva del ROI, que está mucho más cerca de la realidad.
Contabilización del número mínimo de variables que modifican la situación actual. Para el cálculo, solo se deben considerar aquellos aspectos de una situación particular para los cuales la diferencia esperada antes y después de los cambios necesarios será no solo notable, sino significativa. Cálculo de varios valores de ROI según los participantes en la situación y la etapa de implementación de la innovación. Al calcular el ROI utilizando una composición diferente de participantes en una situación, a menudo se obtienen resultados diferentes (por ejemplo, desde el punto de vista de un gerente y un maestro). Por lo tanto, es necesario calcular el ROI para cada una de las categorías de participantes en el proceso: personal, docentes, estudiantes, etc. Utilizar los resultados de SROI para mejorar el proceso y la metodología de toma de decisiones, pero no para las decisiones en sí. Al compilar una breve lista de resultados de ROI, puede obtener información mucho más completa sobre una innovación en particular. Sin embargo, la contribución más importante de SROI es el análisis sistemático, el surgimiento de elementos de reflexión, la creación de una base para la discusión por parte de las partes interesadas. Por lo tanto, la aplicación de SROI no brinda una descripción precisa del efecto (aunque todos los datos se basan en datos confiables y precisos), pero proporciona una guía para tomar decisiones informadas.
Semejante nuevo enfoque(“ROI simplificado”), teniendo en cuenta los parámetros económicos y financieros tradicionales, también revela resultados implícitos relacionados con la calidad del proyecto y su eficacia (competencia de los docentes, horas de trabajo y calidad del servicio). El cálculo del "ROI simplificado" conduce a una comprensión más precisa del retorno de la inversión al planificar los principales indicadores de cada proyecto educativo específico. Este es precisamente su objetivo principal.