ARTICULOS ORIGINALES

 

Modelo para la validación de unidades de aprendizaje (MUA)

Model validation learning units (MUA)

 

 

Jalil Ángulo Raquel¹, Morales Martínez Estela², Copa Fernández Teófilo²
departamento de Proyectos, departamento de Tecnologías de Información y
Comunicación, Facultad de Ciencias y Tecnología.
Universidad Autónoma Juan Misael Saracho
Correo Electrónico: raqjal@uajms.edu.bo

 

 

---

Resumen

El presente artículo presenta la propuesta de un modelo de validación de Unidades de Aprendizaje para un entorno e-learning, basado en componentes de software libre, dirigida a valorar aspectos técnicos y pedagógicos de cualquier UA, con la participación de todos los involucrados en el proceso de evaluación (Expertos en contenido, Expertos en diseño gráfico, Expertos en tecnología, Expertos en pedagogía), y usuarios finales (Profesores y Estudiantes).

Concretamente se refiere a la experiencia de desarrollo del modelo de validación propuesto, componentes y tecnología aplicada. Por otro lado, se destaca la importancia de la implementación de esta propuesta.

Palabras Clave: Validación, Unidades de Aprendizaje UA, E-learning, Calidad, Estándares y Especificaciones E-learning.

---

Abstract

This paper presents a proposed Learning Units validation model for an e-learning environment based on open software components, aimed to assess technical and pedagogical aspects of any UA, with the participation of all members in the evaluation process (content experts, experts in graphic design, technology experts, experts in pedagogy), and end-users (teachers and students).

It specifically refers to the experience of developing the proposed validation model, components and applied technology. On the other hand, it emphasizes the importance of the implementation of this proposal.

Keywords: Learning Units Validation UA, E-learning, Quality, Standards and Specifications E-learning.

---

 

 

INTRODUCCIÓN

La posibilidad de que los recursos educativos puedan ser reutilizados es la principal característica de las Unidades de Aprendizaje (UA) [3]. Este hecho constituye una gran ventaja para disminuir el costo de volver a crear nuevos recursos y contar con repositorios universitarios de unidades de aprendizaje que cumplan con las condiciones de calidad para llevar adelante un proceso de enseñanza/aprendizaje en web, de manera más efectiva. Sin embargo, esa ventaja no tiene sentido si se tiende a la recopilación de información innecesaria y se escatiman esfuerzos para que su contenido sea de calidad. Los contenidos educativos son un elemento primordial en cualquier sistema educativo, en consecuencia, para un sistema e-learning constituye uno de los principales apoyos para la adquisición de nuevos conocimientos, por tanto, es importante que este tipo de entornos disponga de sistemas para evaluar y/o validar las Unidades de Aprendizaje que garanticen contenidos de calidad para los usuarios.

El objetivo de esta propuesta es realizar una validación de cualquier UA bajo aspectos técnicos y pedagógicos para un entorno e-learning, en donde las Unidades de Aprendizaje representen unidades educativas eficientes que puedan ser constantemente realimentadas para garantizar su calidad, si bien existe la propuesta IMS-LD, ésta no contempla su validación.

Actualmente diversas organizaciones se encuentran desarrollando estándares y especificaciones e-learning [6]. Sin embargo, la posibilidad de que los UA puedan ser intercambiados no significa que el contenido de éstos sea de calidad, debido a que no se contempla su validación.

 

MATERIALES Y MÉTODOS

EL presente trabajo de investigación, es una propuesta de un sistema de validación de Unidades de Aprendizaje para un entorno e-learning, tomando en cuenta aspectos técnicos y pedagógicos, con la participación de todos los involucrados en el proceso de evaluación de unidades de aprendizaje (Expertos en contenido, Expertos en diseño gráfico, Expertos en tecnología, Expertos en pedagogía), y usuarios finales (Profesores y Estudiantes), a través de un modelo de validación propio basado en componentes de software libre (LimeSurvey), que sirve para administrar encuestas en línea, recogiendo información tanto cuantitativa como cualitativa sobre la calidad de las unidades de aprendizaje, mediante un conjunto de encuestas elaboradas en base a la lógica de LORI que establece la evaluación de las unidades de aprendizaje en base a 9 variables, con el firme propósito de perfeccionar las unidades de aprendizaje para que los estudiantes obtengan unidades de aprendizaje de calidad que se ajusten a sus necesidades y los profesores puedan seleccionar las unidades de aprendizaje para poder reutilizarlos en otras situaciones educativas. Si bien existen algunas otras propuestas relacionadas éstas contemplan la evaluación de unidades de aprendizaje de manera parcializada, solo realizan la evaluación dentro del ámbito pedagógico o solo en el ámbito tecnológico, ninguno evalúa las unidades de aprendizaje considerando ambos aspectos y además tomando en cuenta la valoración de todos los participantes involucrados en el proceso de evaluación de UA que son los diferentes expertos, por lo que se puede decir que esta propuesta complementa esta situación que nos permite conseguir los resultados esperados.

Metodología de Trabajo Utilizada

A continuación se expone el desarrollo de cada uno de los paso de la metodología utilizada, con el propósito de explicar cómo se ha aplicado la metodología de investigación- acción en este trabajo.

a) Diagnóstico de la situación

El motivo que dio origen a este trabajo obedece a una de las razones asociadas al concepto de UA que es necesario resolver urgentemente: cómo garantizar la calidad de las unidades de aprendizaje con el propósito de perfeccionar las unidades de aprendizaje para que los estudiantes obtengan unidades de aprendizaje de calidad que se ajusten a sus necesidades y los profesores puedan seleccionar las unidades de aprendizaje para poder reutilizarlos en otras situaciones educativas.

Existe una tendencia a medir la calidad de manera objetiva a través de instrumentos de evaluación con ponderaciones preestablecidas, sin embargo, al realizar evaluaciones netamente cuantitativas se pueden obtener resultados que no ayuden a aclarar cómo mejorar el objeto evaluado porque no se da espacio a la justificación de los evaluadores. Por otra parte, las evaluaciones netamente cualitativas pueden dar cabida a la ambigüedad en la interpretación de resultados al no contar con criterios homogéneos previamente establecidos.

Ante esta situación, este estudio se ha definido como de carácter cuantitativo y cualitativo para conseguir una evaluación integral de los recursos, ya que intenta explorar sobre los factores que sea necesario considerar tanto humanos como materiales para promover la calidad de las unidades de aprendizaje para un entorno e-learning

Hasta el momento se han realizado algunas otras propuestas relacionadas, pero éstas contemplan la evaluación de unidades de aprendizaje de manera parcializada, solo realizan la evaluación dentro del ámbito pedagógico o solo en el ámbito tecnológico, ninguno evalúa las unidades de aprendizaje considerando ambos aspectos y además tomando en cuenta la valoración de todos los participantes involucrados en el proceso de evaluación de UA que son los diferentes expertos, por lo que se puede decir que esta propuesta complementa esta situación.

b) Desarrollo de un plan de acción

Para comenzar esta investigación, se realizó una revisión bibliográfica de las principales definiciones de UAs. Ante la falta de consenso sobre una definición concreta de UAs, en esta propuesta se sugiere una definición propia. De esta manera, es posible aclarar qué se entiende por UA y caracterizar los tipos de UAs a gestionar según sus niveles de tamaño.

Con el fin de promover UA de calidad para aplicar criterios de evaluación concretos, se sugiere un modelo de validación, que considere aspectos técnicos y pedagógicos, para promover los aprendizajes bajo una perspectiva constructivista.

Para evaluar la calidad del contenido de estas UAs se analiza el concepto de calidad y los requisitos necesarios que se deben cumplir para lograrla. Posteriormente en base a un análisis de diferentes fuentes bibliográficas y con la ayuda del instrumento de validación LORI, se seleccionaron las preguntas indispensables para la elaboración de un conjunto de encuestas para cada uno de los expertos y usuarios finales, luego se definieron criterios de calidad [8] a considerar en cada uno de ellos para ingresar la información adecuada y con ello mejorar la calidad de las unidades de aprendizaje. Los mismos expertos mencionados anteriormente valoraron su acuerdo con dichos criterios.

Para definir el proceso de evaluación de las UAs, se han investigado a fondo las actuales propuestas de evaluación de UAs y temas relacionados a estándares y especificaciones e-learning. Una vez que los estudiantes terminen de interactuar con la UA, deben proceder a su evaluación, de esta manera se pretende contrastar la valoración inicial de los expertos con la de los usuarios finales que son los estudiantes y hacer los ajustes pertinentes para mejorar su calidad.

c) Acción y Observación

Para comprobar el plan de acción propuesto se implemento la propuesta, con estudiantes de educación superior, para lo cual se seleccionaron contenidos impartidos en la asignatura Informática I, perteneciente a la carrera de Ingeniería Civil de la Facultad de Ciencias y Tecnología de la Universidad Autónoma "Juan Misael Saracho". Los contenidos seleccionados corresponden a la unidad de aprendizaje seleccionada.

Para diseñar las UAs se ha seguido el modelo de conocimiento propuesto, a través del cual se han considerado los elementos instruccionales mínimos necesarios para que la UA sea reutilizada como una unidad mínima de aprendizaje.

Para entregar los contenidos a los estudiantes se utilizó el sistema de gestión de cursos Learning Management System (LMS) Moodle (http://cursovirtual-uajms.edu.bo). Para complementar la lección que conforma la unidad de aprendizaje se han agregado a la plataforma archivos pdf, archivos Word, actividades de práctica y evaluación.

d) Reflexión o Evaluación

Para que los estudiantes pudiesen valorar las UAs se les facilitó el acceso a la herramienta de evaluación de UAs a través de la plataforma. Sobre la base de los comentarios de los estudiantes en relación a la calidad de la UA, ha sido posible reflexionar sobre la calidad de las UAs y de esta manera realizar algunas modificaciones.

Los comentarios de los estudiantes también han sido útiles para reflexionar sobre el diseño de la herramienta de evaluación, la cual también ha sido mejorada, se aclaran los aspectos a evaluar ordenados por categorías, es decir, se especifica claramente las categorías a evaluar y los criterios asociados a cada una de ellas para obtener una mejor apreciación de la calidad de las UAs

Las evaluaciones obtenidas por parte de los estudiantes, han sido utilizadas para contrastar los criterios de valoración propuestos por los expertos, de acuerdo a estos resultados, ha sido posible volver a realizar un análisis de la situación para ajustar el sistema de validación propuesto y mejorar la calidad técnica y pedagógica de las UAs.

Herramientas Utilizadas para el Desarrollo del Sistema de Validación de Unidades de Aprendizaje

Instrumento de Evaluación LORI

La necesidad de evaluar las unidades de aprendizaje, requiere de un desarrollo de criterio para su valoración [9]. Es en este sentido que después de analizar otras herramientas como ser: (Merlot, Cloe, Dlnet), se concluye que LORI (Learning Object Review Instrument), es la herramienta de evaluación más completa, debido a que nos provee de un formato estructurado para la evaluación de unidades de aprendizaje. A diferencia de las otras herramientas, LORI evalúa las unidades de aprendizaje en función a nueve variables:

Como instrumento de evaluación busca facilitar la comparación de los recursos proveyendo un formato estructurado para su evaluación. Esta herramienta presenta nueve dimensiones que permiten evaluar:

1. Calidad del contenido: Veracidad, certeza,presentación balanceada de las ideas y apropiado nivel de detalle.
2. Alineación de las metas de aprendizaje:Alineación entre los objetivos de enseñanza, actividades, evaluaciones y características del aprendiz.
3.  Realimentación y adaptación: Adaptación del contenido o realimentación a diferentes usuarios o modelos de usuario.
4.  Motivación: Capacidad para motivar, interesar e identificar a los usuarios.
5.  Diseño de la presentación: Diseño de la información visual y auditiva, etc.
6.  Interacción en la usabilidad: Fácil navegación, interfaz de usuario intuitiva y calidad de la interfaz de ayuda.
7. Accesibilidad: Diseño de controles y formato de presentación acomodado a usuarios discapacitados y ambulantes.
8.  Reusabilidad: Capacidad de portabilidad entre diferentes cursos o contextos de aprendizaje sin modificación.
9.   Adecuación a un estándar: Adherencia a estándares y especificaciones internacionales.

Criterios de Evaluación

Cada uno de estos ítems posee diferentes criterios que son evaluados utilizando una escala de cinco puntos, siendo el número cinco la puntuación más alta.

Para la evaluación de unidades de aprendizaje se elaboraron los cuestionarios dirigidos a los diferentes expertos, en base a las 9 variables que establece la herramienta LORI, en su diseño.

La interacción entre los evaluadores, especialmente si son diversos fluye positivamente en la evaluación ya que potencia una mayor confiabilidad.

Elaboración de encuestas

Para garantizar que la unidad de aprendizaje tenga los elementos necesarios tanto técnicamente como pedagógicamente, se propone realizar una evaluación uniforme con criterios de calidad desde un punto de vista Pedagógico y Técnico. Es en este sentido que se definieron 5 tipos de encuestas orientadas a los diferentes expertos seleccionados y usuarios finales.

Cada una de las preguntas está relacionada con los factores del modelo de confianza y tienen 5 opciones de elección como respuesta, debido a que la herramienta LORI lo establece así en su diseño: Muy alto, alto, medio, bajo muy bajo.

Las encuestas se encuentran conformadas de preguntas dicotómicas-cerradas con respuestas de opción única a escala que nos permitirán contabilizar los resultados utilizando la aproximación para el cálculo de pesos basados en los participantes.

A continuación se indican las encuestas creadas para los diferentes expertos:

•   Cuestionario para el Experto en Contenido.
•   Cuestionario para el experto en Tecnología.
•   Cuestionario para el experto en Diseño Gráfico
•   Cuestionario para el experto en Pedagogía.
•   Cuestionario para Estudiantes.
•   Cuestionario para Profesores.

Las encuestas elaboradas son un nuevo aporte de la investigación para valorar las UA, ya que no se encuentra disponible en otros trabajos y sirven de base para valorar la calidad de las UA por cada uno de los expertos y usuarios finales.

Plataforma LimeSurvey

Limesurvey es una plataforma de servicios web para la administración de encuestas en línea, construido con herramientas de desarrollo Open Source y multilingüe [10], permite definir las encuestas relacionadas con los factores tomados en cuenta para la evaluación de las UA, que serán aplicados a los diferentes Expertos y usuarios finales. Esta herramienta nos permite el acceso diferenciado de los/as usuarios/as según su nivel de responsabilidad para la realización de una tarea compartida: los/as usuarios/as con privilegios de administración tendrán acceso a las diferentes opciones de gestión de la herramienta (según los permisos que se les haya conferido), sin embargo la mayoría de las personas que accederán a la página web únicamente podrán utilizar la herramienta (en este caso, completar una encuesta), pero sin posibilidad de alterar aspecto alguno de la misma.

Para distinguir entre los diferentes roles se realiza una autentificación por medio de un nombre y una contraseña, del mismo modo que cualquier otro servicio de internet, y será responsabilidad de la administración técnica de la plataforma el delegar los diferentes privilegios a los usuarios que sean creados.

Aplicación de LimeSurvey

Esta herramienta fue adecuada a las necesidades del trabajo de investigación, se adaptó la herramienta para cargar los cuestionarios elaborados en base a las características propuestas por la herramienta LORI.

Se cargaron las preguntas LORI en la plataforma LimeSurvey agrupados por secciones. Cada sección representa a una variable LORI.

A continuación se explica el procedimiento:

En el programa original se observa que las encuestas generadas no se pueden reutilizar para diferentes propósitos por ejemplo: Si ya se aplicó la encuesta a un grupo de personas, no se puede volver a aplicar la misma encuesta a otro grupo de personas distintas sin antes vaciar los datos de la Encuesta o volver a crear una nueva encuesta, para nuestro propósito era necesario reutilizar las encuestas para evaluar distintas unidades de aprendizaje, entonces lo que se hizo analizar las tablas donde se guardan las encuestas en la base de datos, donde se observó que por cada encuesta introducida se crea una nueva tabla con el siguiente patrón el nombre de la tablajd de la encuesta. También se verifico que las encuestas se almacenan en una tabla llamada surveys, las preguntas en la tabla Cuestioms y las respuestas en la tabla surveysjdde la encuesta, entonces como nuestro propósito es reutilizar las encuestas se creó una nueva tabla llamada Oas para almacenar los objetos de aprendizaje.

 

Rango de valoración del instrumento

Para valorar cada uno de los criterios se ha definido un rango, tal como muestra a continuación que comprende una valoración numérica del 1 al 5, siendo el cinco la más alta. Por otra parte, en caso de que el experto no sepa o no conozca el criterio existe la opción N/S (No Sabe). Para esta situación, se ha definido una valoración textual ya que si es numérica, como por ejemplo O, el instrumento lo promediaría a los demás valores, lo que daría como resultado una valoración muy mala del criterio que no es el caso, disminuyendo así el valor de la calidad final.

Rango del instrumento de evaluación de las unidades de aprendizaje:

5 Muy alto, 4 Alto, 3 Medio, 2. Bajo, 1 Muy bajo y No aplicable (NA).

Una vez realizada esta valoración, a través de la herramienta se calcula el promedio que finalmente reflejará el valor correspondiente a la calidad de la unidad de aprendizaje.

Implementación del modelo de evaluación

1.  Instalación de LimeSurvey.
2. Configuración.
3.  Elaboración de las encuestas dirigidas a los diferentes expertos (Experto en Contenido, Experto en Diseño Gráfico, Experto en Pedagogía, Experto en Tecnología y Docentes/Estudiantes), en base a las 9 variables de la herramienta LORI, las preguntas están relacionadas con factores del modelo de confianza y tienen 5 opciones de elección como respuesta, debido a que la herramienta LORI lo establece así e sus diseño: Muy alto, alto, medio, bajo muy bajo y no aplicable (NA).
Las encuestas elaboradas son un aporte de la investigación para validar unidades de aprendizaje y son el resultado del análisis realizado por diferentes expertos.
4.   Introducción de las encuestas al sistema de evaluación propuesto.
5. Configuración del tipo de respuestas.

 

RESULTADOS

Para la interpretación de los resultados se consideró la lógica de validación de la herramienta LORI. Para lo cual se precedió de la siguiente manera: Para valorar cada uno de los criterios se ha definido un rango que comprende una valoración numérica del 1 al 5 para cada una de las preguntas, siendo el cinco la más alta. Por otra parte para obtener el resultado de cada grupo (Las preguntas se encuentran agrupadas) se obtuvo la moda en cada grupo de preguntas; además de obtener valoración numérica se calcula el porcentaje de la moda en cada grupo. Seguidamente se calcula el promedio de todos los grupos de preguntas para obtener el puntaje final de evaluación de un experto. El procedimiento se repite para cada uno de los expertos; paralelamente se va acumulando el resultado final de cada experto, para luego obtener un resultado global de todos los expertos, para obtener el resultado global se calcula el promedio del resultado final de cada experto.

Ejemplo: A continuación analizaremos el procedimiento explicado anteriormente con un ejemplo práctico de la interpretación de losresultados en la encuesta para el experto   en contenido:

Cada experto en contenido tiene un cierto número de grupos de preguntas en este caso 9 como se muestra en la siguiente figura:

Cada grupo de preguntas tiene un resultado por ejemplo el grupo 4 (Motivación) tiene un puntaje de 3 en el rango del 1 al 5.

Además del puntaje se obtiene el porcentaje de la moda 3 en este caso 66.67% vale decir que en los 2/3 de los encuestados la moda en las respuestas es 3. Seguidamente se muestra la interpretación del resultado para éste grupo expresando el valor de la moda (3) en porcentaje; para obtener el porcentaje 60% se aplica la regla de 3 simple.

Para obtener la conclusión final de cada experto se calcula el promedio del equivalente en porcentaje de la moda de cada grupo de preguntas Y el resultado de evaluación de cada experto se muestra expresado en porcentajes como se muestra en la siguiente figura:

Y el resultado de evaluación de cada experto se muestra expresado en porcentajes como se muestra en la siguiente figura:

Éste resultado se va sumando en cada experto para resultado final de la evaluación de la Unidad de luego obtener un promedio que llegaría a ser el aprendizaje.

Reportes gráficos obtenidos.

Alternativamente a la interpretación anterior se implemento un gráfico global, como también el detalle de cada grupo y experto

En el siguiente gráfico en forma de radar se muestra los resultados obtenidos por cada uno de los expertos que participaron en la evaluación. Los resultados se muestran el equivalente en porcentaje detallado anteriormente

Ejemplo de los resultados de la encuesta en un gráfico de barras que muestra el resultado de cada grupo de preguntas realizado a un experto

Para implementar todos los reportes y gráficos se Proyecto de limesurvey para obtener los charts se programó un módulo adicional desde cero en el hizo uso de la librería open source llamado RGraph.

 

DISCUSIÓN

A través del presente trabajo se sugiere una propuesta concreta para validar unidades de aprendizaje para modalidades e-learning. El modelo propuesto es de gran valor para las comunidades educativas en general ya que aporta un sistema de validación de unidades de aprendizaje adaptable a todo tipo de entorno educativo y lo que es más significativo aún es que la validación se la realiza tanto en el ámbito pedagógico como tecnológico, cuantitativa y cualitativamente. Si bien existen algunas propuestas de evaluación de UA, estas o se encargan de lo técnico o por el contrario se refieren únicamente a aspectos pedagógicos. Aquí hemos logrado integrar ambas y proporcionar una herramienta completa que permita a los educadores e involucrados en el proceso de enseñanza aprendizaje contar con una valiosa herramienta de análisis y valoración con el objetivo de ir perfeccionando el proceso mismo del aprendizaje. Se puede concluir también que la validación de Unidades de Aprendizaje UA constituye uno de los principales desafíos en la gestión de contenidos a través de e-learning. Es así como la validación de Unidades de Aprendizaje debe ser realizada a través de un sistema de gestión que involucre métricas con criterios de evaluación, junto a una estrategia que garantice la confiabilidad y realimentación de forma continua de los contenidos.

La herramienta LORI es un valioso instrumento para los evaluadores porque ellos aprenden más acerca del proceso de diseño al ser expuestos a las valoraciones de otros evaluadores. Esto podría incrementar el conocimiento de los evaluadores sobre los puntos fuertes y débiles de las unidades de aprendizaje y además incrementar la confiabilidad del instrumento. Entre las conclusiones más importantes de esta experiencia, se encuentra que las decisiones a tomar en el diseño de UA sobre el campo de aplicación y secuencia merece una amplia consideración ya que esto trae significativas implicaciones para la calidad de los contenidos.

 

BIBLIOGRAFÍA

Berners-Lee, T. (2010): Weaving the WEB: The original design and ultimate destiny of the World Wide Web by Its Inventor. New York: Harper Collins Publisher.         [ Links ]

García Peñalvo, F. J. Y García Carrasco, J. (2010). Los espacios virtuales educativos en el ámbito de Internet: Un refuerzo a la formación tradicional, Teoría de la Educación. Educación y Cultura en la Sociedad de la Información.         [ Links ]

Lozano Galera, J. (2011). El triángulo del e-learning. http://www.noticias.com.         [ Links ]

Nicholson, Paul. (2011). A History of e-learning. Psicología Educativa: Un punto de vista cognoscitivo. 2° Edición. México TRILLAS.         [ Links ]

Fernandez Manjon (2011). Computers and education: e-learning, from Theory to Practice.         [ Links ]

Hernández, E. (2012). Curso Estándares y Especificaciones e-learning. Universidad UNIACC, Santiago, Chile.         [ Links ]

OCDE (2010). Los Desafíos de las Tecnologías de la Información y las Comunicaciones en la Educación.         [ Links ]

Marquès, P., (2009). Criterios de calidad para los espacios Web de interés educativo. Disponible en http://dewey.uab.es/pmarques/cali-Web.htm (última revisión: 9/03/07).         [ Links ]

Nesbit, J.,Belfer, K., Leacock, T: Learning Object Review Instrument (LORI).         [ Links ]

Drill Down Guides (2011). Specific LimeSurvey topics in more detail are available. The LimeSurvey User manual is available here. Start with the Creating surveys introduction section. The content before this section is for system administrators wishing to install LimeSurvey on a serve        [ Links ]