ARTICULO ORIGINAL

 

Medición y Evaluación Cuantitativa de la Calidad de
Entornos Virtuales de Enseñanza -Aprendizaje (EVEA) en el Posgrado Basado en la Norma Open
ECBCheck

 

 

Zara Yujra Cama
Postgrado en Informática Universidad Mayor de San Andrés - UMSA La Paz, Bolivia
zarayujra@gmail.com

 

 

---

Resumen— El impacto de las Tecnologías de la Información y la Comunicación a nivel social, y sus múltiples posibilidades de integración en la educación, han permitido desarrollar gran cantidad de espacios virtuales, con la intensión de favorecer los procesos de enseñanza y aprendizaje mediados por tecnología. Los Entornos Virtuales de Enseñanza y Aprendizaje ( en adelante EVEA) surgieron dentro de este ámbito con el objetivo de integrar los principales servicios de Internet, y proveer recursos para facilitar la interacción entre docentes, alumnos y materiales de aprendizaje. Para poder analizar las ventajas y desventajas que cada EVEA posee, de acuerdo al contexto donde se los desee aplicar, es necesario evaluarlos de alguna manera. La mayoría de los modelos de evaluación analizados, plantean criterios genéricos para realizar la evaluación de los EVEA.

En la presente investigación se propone la Medición y Evaluación Cuantitativa de Entornos Virtuales de Enseñanza -Aprendizaje de libre distribución mediante un conjunto de métricas basadas en la norma Open ECBCheck (en adelante Open Certification Standard for E-Learning in Capacity Building - Estándar Abierto de Certificación de E - Learning en Desarrollo de Capacidades) y estándares de E-Learning, se toman como Casos de Estudio a los programas de posgrado tres Universidades del medio: Universidad Mayor de San Andrés (UMSA), Universidad Salesiana de Bolivia (USB) y la Universidad Pública de El Alto.

Palabras clave— Entorno Virtual de Enseñanza - Aprendizaje, Open ECBCheck, Métrica, Medición, Evaluación, Posgrado.

---

 

 

I. INTRODUCCIÓN

Según Silvio [23], la virtualización de la educación es un proceso y un resultado al mismo tiempo del tratamiento y la comunicación mediante computadora de datos, informaciones y conocimientos. Más específicamente, la virtualización en el ámbito educativo consiste en representar electrónicamente y en forma numérica digital, objetos y procesos que se encuentran en el mundo real. En el contexto de la educación

superior, la virtualización comprende la representación de procesos y objetos asociados a actividades de enseñanza y aprendizaje, investigación, extensión y gestión, así como objetos cuya manipulación permite al usuario, realizar diversas operaciones a través de Internet, tales como: aprender mediante la interacción con cursos electrónicos, inscribirse en un curso, consultar documentos en una biblioteca electrónica, comunicarse con estudiantes, profesores y otros. Estas consideraciones son generales, obviamente existen diferenciaciones entre las universidades virtuales según el nivel académico y el tipo de estudios ofrecidos, es decir, si se trata de estudiantes de pregrado, postgrado o educación continuada.

Diferentes organismos, instituciones y personas implicadas ven la necesidad apremiante de crear estándares de calidad, certificar la calidad ó evaluar la calidad de la formación "on-line" y de la educación virtual en sus diferentes contextos y niveles según Anderson [24]. A esto cabe añadir la necesidad de satisfacer las demandas de formación de la nueva sociedad y generar una cultura de la calidad y de la mejora continua.

La presente tesis, realiza una propuesta para la medición y evaluación de la calidad en Entornos Virtuales de Enseñanza

Aprendizaje (EVEA en adelante) aplicado a cursos virtuales en programas de postgrado mediante métricas.

 

II. PLANTEAMIENTO DEL PROBLEMA

Problema Principal

El proceso de evaluación de la calidad en Entornos Virtuales de Enseñanza - Aprendizaje (EVEA) aplicado a Programas Postgrado, según investigaciones no se ha dado la relevancia necesaria en sus inicios [31], actualmente es realizada de forma subjetiva o superficial no se basa en normas y

estándares específicos orientados a la evaluación de E-Learning,

Problemas Secundarios

-     Las entidades de Educación Superior al no tener un conocimiento preciso de la calidad de los Entornos Virtuales de Enseñanza - Aprendizaje ofertados y en vigencia, no tienen certeza de los aspectos que requieren mejorar en forma continua.

-     La forma de evaluación de calidad de los Entornos Virtuales de Enseñanza - Aprendizaje no es realizada a través del uso de métricas e indicadores precisos.

-     La falta de conocimiento y aplicación de normas y estándares específicos de E-Learning no permiten la evaluación de la calidad de los Entornos Virtuales de Enseñanza - Aprendizaje por las Entidades de Educación Superior.

-     La poca importancia al proceso continuo de medición y evaluación de la calidad de los Entornos Virtuales de Enseñanza - Aprendizaje luego de su implantación por parte de las entidades propietarias.

Formulacion del problema de investigacion

¿La medición cuantitativa basada en normas y estándares de calidad orientados a E-Learning, permitirá evaluar la calidad de los Entornos Virtuales de Enseñanza - Aprendizaje en el posgrado?

 

III. OBJETIVOS

Objetivo General

Realizar la medición y evaluación cuantitativa de la calidad de Entornos Virtuales de Enseñanza - Aprendizaje en el posgrado, basado en la norma Open ECBCheck y estándares orientados a E-Learning para brindar un servicio eficiente a los usuarios y favorecer a las entidades propietarias de los Programas E-Learning, coadyuvando a que las entidades propietarias de los programas ofertados logren sus objetivos propuestos.

Objetivos Específicos

-     Facilitar los resultados de la medición y evaluación de la calidad de los Entornos Virtuales de Enseñanza -Aprendizaje (EVEA) a las entidades propietarias con la finalidad de que tengan un conocimiento preciso de los aspectos que requieren mejorar y el proceso aplicado con cierta frecuencia garantice una mejora continua.

-     Estudiar y aplicar las norma Open ECBCheck (Open Certificaction Standard for E-Learning in Capacity Building). y estándares orientados a E-Learning tales como: ISO/IEC 19796-1, ISO/IEC 19796-3 y otros de relevancia sobre los cuales debe basarse la evaluación de Entornos Virtuales de Enseñanza - Aprendizaje.

-     Facilitar la evaluación de la calidad de los Entornos Virtuales de Enseñanza - Aprendizaje a las entidades, por

parte del Web Master o del encargado de los programas así como de parte de los participantes del curso, para una mejor administración y mantenimiento.

-     Validar la propuesta, tomando casos de estudio en Entornos Virtuales de Enseñanza - Aprendizaje en actual funcionamiento.

 

IV. PLANTEAMIENTO DE LA HIPÓTESIS

"La medición y evaluación cuantitativa a través de métricas, basada en la norma Open ECBCheck y estándares de calidad de E-Learning, permite evaluar la calidad de los Entornos Virtuales de Enseñanza - Aprendizaje (EVEA) a las entidades propietarias de programas de posgrado".

Variable Dependiente

La calidad de los Entornos Virtuales de Enseñanza -Aprendizaje (EVEA).

Criterios de evaluación:

-     Herramientas pedagógicas

-     Interfaz del alumno

-     Ambiente del docente

-     Herramientas de administración

-     Requerimientos técnicos

-     Características generales

Variable Independiente

La medición y evaluación cuantitativa

Criterios de evaluación:

El IEEE "Standard Glosary of Software Engering Terms" define como métrica como "una medida cuantitativa del grado en que un sistema, componente o proceso posee un atributo dado (extensión, cantidad, dimensiones, capacidad o tamaño)". (IEEE, 1993). Se dice que la mediciones esencial.

Variables Intervinientes

-     Normas y Estándares de Calidad a nivel internacional.

-     Políticas y Legislaciones informáticas de cada país.

-     Políticas de Administración de información en las Empresas/Instituciones propietarias que implementan los Entornos Virtuales de Enseñanza - Aprendizaje (EVEA).

 

V. ESTADO DEL ARTE

A nivel internacional se han realizado algunas Tesis, con temas afines a la presente Tesis propuesta, a nivel Maestría y/o Doctorado, como:

En la Tesis titulada "Diseño de un modelo de evaluación de entornos virtuales de enseñanza y aprendizaje basado en la usabilidad", según Ferreira [2] el objetivo central de esta tesis se vincula con la evaluación de calidad de EVEA. Se ha partido de un trabajo de investigación previo, donde se abordan diferentes modelos de evaluación existentes, y esto permite orientar el objetivo a la búsqueda de modelos que hacen foco en la usabilidad. Como consecuencia, se aborda el diseño de un modelo de evaluación centrado en la usabilidad, que pueda ser aplicado a EVEA que estén en pleno funcionamiento. Con la definición de este modelo se pretende brindar una herramienta para analizar las ventajas y desventajas que cada EVEA posee en el marco de un contexto de uso determinado, teniendo especial consideración por los alumnos y docentes, los objetivos que se proponen, las tareas específicas que éstos realizan dentro del entorno virtual durante las actividades de enseñanza y aprendizaje, el modelo mental que utilizan, el equipamiento e infraestructura del que disponen, el lugar físico donde habitualmente se desenvuelven, y el entorno social en el cual están insertos.

La Tesis titulada: "Analizador de Estructuras de Navegación Aplicando Minería de Uso Web y Minería de Estructura Web", según Ortiz [11] el objetivo de esta tesis es mejorar la navegación de los usuarios en un sitio Web. Para lograr esto se propone desarrollar una herramienta que aplique minería de uso para identificar los patrones de navegación de los usuarios, minería de estructura Web para obtener la estructura simplificada del sitio analizado y visualizar los resultados de manera gráfica, lo cual proporciona la posibilidad de rediseñar la estructura para optimizar la navegación en el sitio en base a la interpretación de éstos patrones.

En la Tesis Doctoral titulada "Metodología cuantitativa para la evaluación y comparación de la calidad de sitios web" según Olsina [5], se plantea como objetivo definir y discutir una metodología cuantitativa, integral, robusta y flexible para la evaluación de la calidad en aplicaciones centradas en la Web. La metodología propuesta, Metodología de Evaluación de Calidad de Sitios Web (Web-site QEM) pretende realizar un aporte ingenieril al proponer un enfoque sistemático, disciplinado y cuantitativo que se adecue a la evaluación, comparación y análisis de calidad de artefactos Web más o menos complejos.

Otro de los trabajos es la Tesis de Maestría titulada "Estudio Comparativo de los Modelos y Estándares de Calidad del Software " Scalone [6], este trabajo de investigación pretende dar a conocer algunos de los Modelos y/o Estándares de Calidad del Software existentes, los cuales son comparados a nivel Proceso y Producto. Para ello, esta investigación comienza con una Introducción a la Calidad del Software donde se definen aquellos conceptos que conforman la Calidad del Sofware y la Gestión de la Calidad del Software. Luego se efectúa una Introducción a los Modelos y Estándares de Calidad del Software, en la cual se determinan los Modelos y Estándares que serán considerados a Nivel Proceso y Producto respectivamente. También, se realizan cuadros comparativos de los Modelos y Estándares, a nivel Proceso y Producto, que tienen como finalidad analizar las correspondencias o equivalencias entre los puntos de los mismos. Además, se realiza una descripción del problema relacionado a la inexistencia de una metodología que permita elegir el Modelo o Estándar de acuerdo a los objetivos que se pretendan alcanzar. Asimismo, se desarrolla dicha Metodología de elección y se aplica a través de 3 Casos de Estudio. Luego, se plantea la transición llevada a cabo para la implantación del modelo o estándar seleccionado, su proceso de implantación, las auditorias respectivas y la certificación del modelo o estándar elegido.

Asimismo, en la Tesis de Maestría titulada "Medición y Evaluación de Calidad en Uso de Aplicaciones Web " según Covella [4], se especifican referencias importantes en la discusión y la propuesta de esta tesis son varios de los estándares de la organización ISO/IEC. Específicamente en relación a calidad en uso, se consideraron el estándar 9126-1 y el borrador del estándar 9126-4. En esta tesis, se propone un enfoque ingenieril para medir y evaluar la calidad en uso, o sea la calidad percibida por los usuarios en contextos reales de uso, de productos software para la Web. Partiendo de estándares ISO/IEC, en particular el estándar 9126-1 y el borrador del estándar 9126-4, la propuesta, de carácter sistemático y disciplinado, está encuadrada por un marco de medición y evaluación, basado a su vez en una ontología de métricas e indicadores.

En esta Tesis propuesta por Covella [4], la ejecución de una instancia del marco de medición se plasmó en un caso de estudio. Para llevar adelante el caso de estudio se empleó la metodología WebQEM, diseñada para la evaluación de calidad de productos Web, cuyas etapas tienen relación directa con el marco de medición y evaluación. Un reto importante fue adaptar la metodología para evaluar calidad en uso. El caso de estudio se realizó con la participación de usuarios reales de una aplicación para e-Learning. El diseño de las métricas e indicadores empleados en el caso de estudio constituye uno de los aportes significativos de esta tesis ya que, si bien los resultados de este tipo de evaluaciones no son generalizables, se generaron metadatos provenientes de definiciones exhaustivas que pueden constituir líneas base para proyectos similares.

Otro de los Trabajos de Tesis considerados relevantes es el titulado "Metodología de Medición y Evaluación de la Usabilidad en Sitios Educativos" según Alva [3], el propósito de esta tesis es proponer una metodología para medir y evaluar la usabilidad de Sitios Web Educativos. El enfoque presentado pretende complementar la evaluación desde la perspectiva del usuario, utilizando el método de indagación, y desde la perspectiva del experto, utilizando métodos de inspección. Para analizar la convergencia de los resultados de la evaluación de usuario y la de experto se utiliza un núcleo común de aceptabilidad, independientemente de cualquier aspecto individual de evaluación. Para validar la convergencia de la indagación y de la inspección utiliza, una escala de 100 puntos con núcleo en 50 y con una desviación estándar del

10% en ambos lados, definiendo esta región como "región aceptable" del nivel de usabilidad. Así, la metodología propuesta proporciona un proceso sistemático y ordenado de evaluación de usabilidad así como la validación de resultados obtenidos para los métodos utilizados. Finalmente [3], para dar soporte al proceso de evaluación y al tratamiento de los datos de la metodología propuesta implementa dos prototipos basados en las dos perspectivas de evaluación incluidas en la misma.

 

VI. MARCO TEORICO

E-Learning

El término E-Learning se traduce como "aprendizaje electrónico", y puede comprender cualquier actividad educativa que utilice medios electrónicos para realizar todo o parte del proceso educativo.

Francisco José García Peñalvo define el E-Learning como "la capacitación no presencial que, a través de plataformas tecnológicas, posibilita y flexibiliza el acceso y el tiempo en el proceso de enseñanza-aprendizaje, adecuándolos a las habilidades, necesidades y disponibilidades de cada discente, además de garantizar ambientes de aprendizaje colaborativos mediante el uso de herramientas de comunicación síncrona y asíncrona, potenciando en suma el proceso de gestión basado en competencias". El E-Learning es considerado como un gran avance para el uso de las nuevas tecnologías de la información y las comunicaciones, ya que es provechoso para el aprendizaje por ser ésta una herramienta tecnológica que posibilita que millones de personas puedan acceder a la capacitación a través de Internet. De esta manera todo usuario podría recibir instrucción por medio de este recurso. El proceso de aprendizaje no es ajeno a los cambios tecnológicos, con el uso de las TIC se da el último paso de la evolución de la educación a distancia, creando un nuevo término E-Learning, educación en línea o educación distribuida. El E-Learning proporciona la oportunidad de crear ambientes de aprendizaje centrados en el estudiante. Estos escenarios se caracterizan por ser interactivos, eficientes, fácilmente accesibles y distribuidos. Según Khan, citado por Boneu, un escenario de E-Learning debe considerar ocho aspectos: diseño instruccional, modelo pedagógico, tecnología, desarrollo de interfaz, evaluación, gerencia, soporte y ética de uso.

Elementos de un Sistema E-Learning

Boneu [8], describe los siguientes elementos de un sistema e-learning:

- Los sistemas de comunicación pueden ser síncronos o asíncronos. Los sistemas síncronos son aquellos que generan comunicación entre usuarios en tiempo real, como el chat o videoconferencia. Los sistemas asíncronos no generan comunicación en tiempo real, pero ofrecen la posibilidad de grabar las aportaciones, intercambio de opiniones o comentarios de los usuarios y docentes. El correo electrónico, foros, blog, wikis, entre otros, son algunas de las herramientas que se usan para este tipo de comunicación.

-     Las plataformas de E-Learning son el software de servidor que se ocupa de la gestión de usuarios, cursos y gestión de servicios de comunicación.

-     Los contenidos son el material de aprendizaje que se pone a disposición del estudiante. Los contenidos pueden estar en varios formatos, en función de su adecuación a la materia tratada. El más habitual es el WBT (Web based training - entrenamiento basado en Web), cursos en línea con elementos multimedia e interactivos para que el usuario revise los contenidos y evaluar lo que aprende.

Para la reutilización e interoperabilidad de contenidos de diferentes plataformas, debe cumplirse una doble premisa: por un lado los cursos deben seguir un estándar y por otro lado las plataformas deben de soportar dicho estándar, con lo que se facilita el uso de cursos realizados por la propia organización y por terceros. Hoy en día no existe un único estándar en el mercado, el estándar LOM (Learning Object Metadata) de IEEE LTSC (Institute for Electrical and Electronic Engineers Learning Technology - Standards Committe), permite describir el contenido de un objeto de aprendizaje a través de metadatos. La AICC (Aviation Industry CBT Committee) fue el primer organismo creado para desarrollar un conjunto de normas que permitieran el intercambio de cursos CBT.

La descripción de itinerarios formativos es posible mediante las estructuras de descripción de recursos RDF (Resource Description Framework) o bien a través de IMS LD (IMS Learning Design, basado en EML (educational modelling languaje) y el estándar SCORM (Shareable Content Object Reference Model) de ADL (Advanced Distribute Learning) que permite la organización de contenidos, soportando la descripción de itinerarios formativo secuenciales de contenidos, empaquetamiento de los contenidos para su cómoda distribución y seguimiento del proceso de aprendizaje.

Definición de Plataforma de Entorno de Aprendizaje

La plataforma de entorno de aprendizaje o plataforma de teleformación, cuyo término alternativo son: ambientes virtuales de aprendizaje (AVA), plataformas educativas y entorno virtual de enseñanza/aprendizaje (EVE/A), es una aplicación informática diseñada para facilitar la comunicación pedagógica entre los participantes en un proceso educativo, sea éste completamente a distancia, presencial, o de una naturaleza mixta que combine ambas modalidades en diversas proporciones.

Según Aretio: en un entorno virtual de aprendizaje se combinan una variedad de herramientas virtuales con la finalidad de dar soporte a profesores y estudiantes, poder optimizar las distintas fases del proceso de enseñanza y aprendizaje. Esas herramientas son:

•      Herramientas de comunicación síncrona y asíncrona.

•      Herramientas para la gestión de las materiales de aprendizaje.

•      Herramientas para la gestión de personas participantes, incluidos sistemas de seguimiento y evaluación del progreso de los estudiantes.

Para [Robles 2004] una plataforma E-Learning es un software de aplicación Web que permite administrar, gestionar e impartir cursos en línea. Se le conoce también como Sistema de Gestión de Aprendizaje (LMS - Learning Management System) ó Sistemas Integrados para Educación Distribuida (SIED).

De acuerdo con el Institute for Academic Technology (IAT) los Sistemas Integrados para Educación Distribuida (SIED) son sistemas de apoyo al aprendizaje centrado en el alumno, que integran diferentes tecnologías para permitir oportunidades de actividades e interacción de manera asincrónica y en tiempo real. Los modelos están basados en la combinación de una apropiada selección de tecnologías de interacción y trabajo colaborativo con aspectos de sistemas de aprendizaje abierto y a distancia.

Evolución de las Plataformas de Entorno de Aprendizaje

El origen de las plataformas se debe a una especialización de los CMS (Content Management System - Sistema de Gestión de Contenidos) en sistemas orientados a la gestión de contenidos para el aprendizaje a distancia.

D. 1. Los CMS y el E-Learning

Para Boneu [8], un Sistema de Gestión de Contenidos es un software que se utiliza para facilitar la gestión de Web, ya sea en Internet o en una Intranet, se conocen también como gestores de contenido Web (WCM - Web Content Management - Gestión de Contenidos Web). La aplicación de los CMS no se limita solo en la Web, sino en los contenidos educativos (RLOs Reusable Learning Objects - Objetos de Aprendizaje Re-utilizables).

D.2. La evolución de los CMS hacia el E-Learning Los CMS (en adelante Content Management System - Sistema de gestión de contenidos, en inglés, abreviado CMS) permiten la creación y administración de contenidos principalmente en páginas web.) han progresado en tres etapas evolutivas sobre la velocidad de creación de contenidos, coste, flexibilidad, personalización del aprendizaje, calidad en la atención del estudiante y ventajas competitivas de las organizaciones que han aplicado las soluciones de e-learning [8].

•      Primera etapa: Los CMS (en adelante Content Management System - Sistema de Gestión de Contenidos) son plataformas de E-Learning que permiten

la generación de sitios web dinámicos. El objetivo de estos programas son la creación y gestión de información en línea (textos, imágenes, gráficos, video, sonido, etc.). Se caracterizan por no poseer herramientas de colaboración (foros, chat, diarios, etc.) ni apoyo en tiempo real [8].

•      Segunda etapa: los LMS (en adelante Learning Management System - sistema de gestión de aprendizaje) aparecen a partir de los CMS y portales educativos de las empresas para el entrenamiento y formación en línea de sus empleados, proporcionando un entorno que posibilite la actualización, mantenimiento y ampliación de la Web como colaboración de múltiples usuarios. Están orientados al aprendizaje y a la educación, proporcionando herramientas para la gestión de contenidos académicos, permitiendo mejorar la competencia de los usuarios y la intercomunicación, en un entorno donde es posible adaptar los requisitos de la empresa, al propio desarrollo y formación profesional [8].

Para Ortiz [11] los Entornos Virtuales de Enseñanza -Aprendizaje (CMS) aportan importantes herramientas al proceso educativo, generalmente en:

-     Herramientas de gestión y distribución de contenidos.

-     Herramientas de administración de usuarios.

-     Herramientas de comunicación.

-     Herramientas de evaluación y seguimiento.

Se caracterizan por su capacidad para integrar una serie de herramientas y recursos necesarios, además de las ya mencionadas, permiten además diseñar e impartir programas de formación a través de Internet, con el propósito de lograr el aprendizaje significativo en los alumnos.

El LMS da soporte a los procesos de aprendizaje y la mínima unidad de instrucción que maneja es el curso en sí mismo y el CMS gestiona los contenidos y la mínima unidad que maneja son los objetos de aprendizaje.

•      Tercera etapa: los LCMS (en adelante Learning Content Management System - Sistema de Gestión de Contenido y Aprendizaje) son plataformas que integran las funcionalidades de los CMS y LMS, que incorporan la gestión de contenidos para personalizar los recursos de cada estudiante y donde las empresas se convierten en su propia entidad editora, con autosuficiencia en la publicación del contenido de una forma sencilla, rápida y eficiente, resolviendo los inconvenientes de las plataformas anteriores. Ofrecen facilidad en la generación de los materiales, flexibilidad, adaptabilidad a los cambios, control del aprendizaje y mantenimiento actualizado del conocimiento.

Los LCMS añaden técnicas de gestión de conocimiento al modelo de los LMS en ambientes estructurados y diseñados para que las organizaciones puedan implementar sus procesos y prácticas, con el apoyo de cursos, materiales y contenidos en línea. Permite la creación eficiente por parte de los desarrolladores, expertos colaboradores o instructores que participan en la creación de contenidos [8].

 

D.3 Características

Según Boneu [8] en su trabajo de investigación define cuatro características básicas, e imprescindibles que cualquier plataforma de entorno de aprendizaje debería tener:

•      Interactividad: consigue que la persona que está usando la plataforma tenga conciencia de que es el protagonista de su formación.

•      Flexibilidad: conjunto de funcionalidades que permiten que el sistema de E-Learning tenga una adaptación fácil en la organización donde se quiere implantar. Esta adaptación se puede dividir en los siguientes puntos:

•      Capacidad de adaptación a los planes de estudio de la institución donde se quiere implantar el sistema.

•      Capacidad de adaptación a los contenidos y estilos pedagógicos de la organización.

•      Escalabilidad: la capacidad de la plataforma de E-Learning para que funcione con un número pequeño o grande de usuarios.

•      Estandarización: es la capacidad de utilizar cursos realizados por terceros; de esta forma, los cursos están disponibles para la organización que los ha creado y para otras que cumplen con el estándar.

Otra característica de las plataformas es la de crear espacios en los que no sólo es posible la formación sino que también es posible informarse, relacionarse, comunicarse y gestionar datos y procesos administrativos. Se trata de un entorno institucional donde convivan diferentes perfiles de usuarios.

Plataforma E-Learning

Uno de los criterios aplicados para la selección de la plataforma de e-learning es su costo. Como todo software que existe en la actualidad, se pueden utilizar software pagos, como ser las plataformas comerciales las que para su uso hay que pagar a alguna empresa, ya sea la que desarrolló el sistema o la que lo distribuye. Son sistemas generalmente robustos, y bastante documentados con diversas funcionalidades que pueden expandirse de acuerdo a las necesidades y presupuesto del proyecto.

Pero también existen las Plataformas de uso libre. Surgidas como una alternativa para economizar un proyecto de formación en línea, las herramientas Open Source son generalmente desarrolladas por instituciones educativas o por personas que están vinculadas al sector educativo. Algunas de estas aplicaciones ofrecen el servicio básico en forma gratuita, pero los diferentes módulos que amplían o equiparan aún mas esta herramienta tienen un costo.

Entre las plataformas educativas, también se tienen las plataformas de aprendizaje eLearning que mediante un portal virtual ofrecen cursos de formación a distancia y soporte de comunicación para las Universidades e instituciones educativas. Entre estas se destacan: A2zClass; ABC Academy; Addeo; Allaire Forums and Macromedia; Almagesto; ARIADNE; Authorware; Asymetrix; ToolBook; BlackBoard; Claroline; Click2.learn; CoMentor; CourseInfo; Convene.com; Docent; EAdministrator; Editions ENI; Eduprise.com/ Collegis; FirstClass Classrooms; Global Learning Systems; IBM Global Campus; Integrity Elearning; IntraLearn; JenzaEducator; Knowledgesoft; Learning Space; Moodle; Dokeos; Claroline; NetCampus; Phoenix Pathlore; Profe; Saba; Symposium; Toolbook; Ucompass; VCampus; Virtual Training; Virtual-U; Web Course in a Box; WebBoard; WebCT; Chamilo y, Whiteboard entre otras.

Normas Y Estándares de Calidad

F.1 Modelos de Calidad de Producto prescritos en los estándares ISO 9126 e IEEE 1061

La ISO (en adelante International Organization for Standardization - Organización Internacional para la Estandarización) e IEC (en adelante - International Electrotechnical Commission - Comisión Electrotécnica Internacional). La IEC conjuntamente con la ISO (normas ISO/IEC) desarrollan numerosas normas. La IEEE (en adelante Instituto de Ingeniería Eléctrica y Electrónica) es una asociación mundial de técnicos e ingenieros dedicada a la estandarización y el desarrollo en áreas técnicas.

Las ventajas de contar con un modelo de calidad universal serían varias, pero esencialmente nos permitiría evaluar y comparar productos, potencialmente, sobre la misma base.

En 1992 fue publicado un estándar internacional para la evaluación de la calidad de producto de software, llamado "Information technology - Software product evaluation -Quality characteristics and guidelines for their use"; o

también conocido como ISO 9126 (o ISO/IEC 9126). El mismo tiene sus raíces, principalmente, en el modelo de calidad de producto propuesto por McCall, mostrado en la sección anterior.

Este estándar describe a la calidad del software, con mínimo solapamiento, a partir de seis características generales. "Esas características proveen una línea base para ulteriores refinamientos y descripciones de la calidad del software". Las características fueron mencionadas previamente, y ahora son definidas transcribiéndolas de su fuente original:

-     Funcionalidad, y que textualmente la define: "A set of attributes that bear on the existence of a set of functions and their specified properties. The functions are those that satisfy stated or implied set of users".

-     Confiabilidad, y que textualmente la define: "A set of attributes that bear on the capability of software to maintain its level of performance under stated conditions for a stated period of time".

-     Usabilidad, y que textualmente la define: "A set of attributes that bear on the effort needed for use, and on the individual assessment of such use, by a stated or implied set of users.

-     Eficiencia, y que textualmente la define: "A set of attributes that bear on the relationship between the level of performance of the software and the amount of resources used, under stated conditions".

-     Mantenibilidad, y que textualmente la define: "A set of attributes that bear on the effort needed to make specified modifications".

-     Portabilidad, y que textualmente la define: "A set of attributes that bear on the ability of software to be transferred from one environment to another".

Como idea central se puede observar que esta versión del estándar ISO de características de calidad de producto software, provee una base conceptual muy importante al prescribir dichas características a un alto nivel de abstracción, pero si bien sugiere subcaracterísticas de un modo informativo (en su anexo A), "... no provee subcaracterísticas y métricas ni métodos para la medición del puntaje y evaluación" ([ISO/IEC 9126], pp 1).

En la tabla1, el lector cuenta con una descripción sintética que se realiza de las características y subcarcterísticas de calidad del estándar ISO.

Del mismo modo, en la tabla 1, el lector cuenta con una descripción sintética de los factores y subfactores conforme al anexo A (informativo) del estándar IEEE 1061. Claramente el estándar IEEE declara que no prescribe características (factores), ni subcaracterísticas, ni métricas.

Sin embargo, es importante comprobar que en lo que respecta a la definición de características en ambos trabajos, coinciden significativamente en su contenido, manifestándose algunas diferencias en las subcaracterísticas informadas (o subfactores), para alguna de las características.

El estándar de calidad ISO/IEC 19796-1 es el estándar de referencia en el campo de la enseñanza virtual en lo que a enfoques de calidad se refiere.

Se trata de un primer paso para armonizar la variedad de enfoques de calidad utilizados en el ámbito del aprendizaje, la educación y la formación. Ayuda a la toma de decisiones sobre un producto u otro, a los representantes de calidad, a los desarrolladores de sistemas y usuarios que buscan desarrollar su propio enfoque de calidad.

Su principal resultado es la creación de un marco de referencia para la creación de enfoques de calidad (RFDQ), desarrollado teniendo en cuenta la creación de esquemas para descripción del sistema de gestión de la calidad y la definición de un modelo que detalla los procesos necesarios que se deben desarrollar cuando trabajemos en un marco de administración de la calidad en entornos de aprendizaje virtual.

La parte 3 del estándar ISO/IEC 19796 (El estándar de calidad ISO/IEC 19796-3), pretende ampliar el marco de referencia para la creación de enfoques de calidad RFDQ presentado en la primera parte de la norma.

Para ello, facilita una serie de métodos y métricas de referencia que permitirán operar sobre dicho marco, creando un sistema de calidad completo en el que los interesados puedan crear sus propios sistemas de administración y garantía de calidad.

En la norma se describen cuatro componentes principales que tratan de facilitar la creación de los enfoques de calidad: un formato estructurado para describir los métodos, otro formato para describir las métricas, una colección de métodos de referencia con los que poder gestionar y garantizad la calidad aplicada a diferentes contextos, y un conjunto de métricas e indicadores de referencia que permitirán medir la calidad en procesos, productos, componentes y servicios.

F. 3 Organización de Estandarización de E-Learning

En el proceso de realización de esta propuesta se realiza una extensa labor de recopilación de información con la intención de obtener todos los estándares sobre E-Learning que se utilizan en la actualidad.

Después del periodo de recopilación se obtienen 101 estándares, normativas o recomendaciones relacionadas con el E-Learning, y elaboradas por 23 organizaciones dierentes. En la siguiente tabla se ofrece una relación de las organizaciones, y el número de estándares aportado a la clasificación.

F.3 Norma de Evaluación de Calidad Open ECBCheck

Open ECBCheck, la primera norma de calidad para programas e instituciones de Enseñanza Virtual de Desarrollo de Capacidades a nivel internacional, ha sido hecha pública oficialmente el 15 de Febrero de 2010.

Por iniciativa de InWent - Capacity Building International de Alemania (InWEnt), hoy GIZ y la Fundación Europea para la Calidad en la Enseñanza Virtual (EFQUEL - European Foundation for Quality in eLearning), Open ECBCheck ha sido desarrollada con la colaboración de aproximadamente 25 agencias internacionales de desarrollo de capacidades y sus socios, entre ellos 8 agencias de Naciones Unidas.

Guenther Podlacha, Jefe de la División de Enseñanza Virtual de Int. Knowledge Communities and Documentation de InWEnt, comenta: "Esta es la primera vez que las agencias de desarrollo de capacidades se ponen de acuerdo sobre los puntos de referencia de calidad comunes. Esto incrementará los esfuerzos que estamos haciendo todos para la utilización de las TIC's en el mejoramiento de desarrollo de capacidades, y servirá de ayuda a nuestros socios para que logren avances en sus instituciones".

El factor de éxito crucial para el concepto de calidad es su aceptación extendida, porque fue desarrollado a través de un método de consulta abierto a la comunidad de organizaciones de desarrollo de capacidades, que incluyó la invitación a sus socios para la validación periódica y la retroalimentación. Después de intensas fases de prueba, el marco de criterios está listo para su uso en: http://ecbcheck.efquel.org/. Las organizaciones pueden ingresar a los Estatutos de Calidad, usar libremente la herramienta de calidad y unirse a la comunidad abierta para pedir una revisión de pares en un proceso de certificación ligero y a bajo costo.

FAO, OIT, UNEP, UNITAR, y la Universidad de las Naciones Unidas, son sólo algunas de las organizaciones que han hecho un esfuerzo conjunto y aportado sus experiencias sobre la Enseñanza Virtual a una mesa redonda internacional para crear el acuerdo de cómo usar la Educación Virtual con eficacia. Las organizaciones de desarrollo de capacidades se apoyan en el concepto de calidad para medir que tan exitosos son sus programas de enseñanza virtual y aplican el mejoramiento continuo en un esfuerzo por lograr colaboración y benchlearning. Las organizaciones se interesan en formar parte de una comunidad abierta de revisión de pares, en laque comparten herramientas y directrices, y en la que pueden obtener una revisión de pares de parte de sus socios de la comunidad.

Las etapas que se sugieren a considerar son:

1.     Los miembros "Open ECBCheck" reafirman su compromiso con la calidad adhiriéndose a los estatutos de esta comunidad profesional.

2.     La comunidad profesional "Open ECBCheck" proporciona a sus miembros, por medio de directrices, el acceso a las herramientas, así como a las experiencias para el desarrollo de calidad en la Q-WIKI.

3.     Una autoevaluación detallada, sobre la base del instrumento presentado "Open ECBCheck", que permite a los miembros establecer sociedades de revisión de pares mutuas para mejorar la calidad de sus servicios de Educación Virtual.

"Open ECBCheck" es desarrollado por la comunidad de organizaciones a través de un proceso innovador y participativo. Mientras tanto, alrededor de 25 organizaciones internacionales y sus socios se han unido al movimiento. (Se puede ver la lista de socios en: http://efquel.org/).

Ulf-Daniel Ehlers, Vicepresidente de la EFQUEL enfatiza:

"En la conformación de esta comunidad abierta, basada en una alianza para la calidad en el desarrollo de capacidades, hay que darle la debida credibilidad y reconocimiento por los logros a todas las agencias y organizaciones que están participando en el mundo entero. Open ECBCheck contribuye a que las TICs asuman su importante papel en el desarrollo de capacidades a nivel internacional, gracias a acuerdos transparentes para la calidad".

Los Criterios ECBCheck analizar una amplia variedad de indicadores sobre un programa que se requiere:

A. Información sobre el programa

A.1. Descripción general, los objetivos y la organización del programa.

A.2 Requerimientos Técnicos y de Organización.

B.  Orientacion a los Grupos Objetivo

C.  Calidad del Contenido

D.  Diseño del Curso/Programa

D.1 Diseño de Aprendizaje y Metodología

D.2 Motivación/Participación

D.3 Materiales de Aprendizaje

D.4 e-Tutoria

D.5 Aprendizaje Colaborativo

D.6 Tareas y Progreso del Aprendizaje

D.7 Evaluación y Pruebas

E.  Diseño de Medios

F.  Tecnología

G.  Evaluación y Revisión

 

VII. ESQUEMA DE LA SOLUCIÓN PROPUESTA

Diseño de la Investigación - Investigación Cuantitativa

La Metodología Cuantitativa es aquella que permite examinar los datos de manera numérica, especialmente en el campo de la Estadística.

Para que exista Metodología Cuantitativa se requiere que entre los elementos del problema de investigación exista una relación cuya Naturaleza sea lineal. Es decir, que haya claridad entre los elementos del problema de investigación que conforman el problema, que sea posible definirlo, limitarlos y saber exactamente donde se inicia el problema, en cual dirección va y que tipo de incidencia existe entre sus elementos.

Tipo de Investigación

En la investigación de enfoque experimental el investigador manipula una o más variables de estudio, para controlar el aumento o disminución de esas variables y su efecto en las conductas observadas. Dicho de otra forma, un experimento consiste en hacer un cambio en el valor de una variable (variable independiente) y observar su efecto en otra variable (variable dependiente). Esto se lleva a cabo en condiciones rigurosamente controladas, con el fin de describir de qué modo o por qué causa se produce una situación o acontecimiento particular.

Los métodos experimentales son los adecuados para poner a prueba hipótesis de relaciones causales.

Instrumentos de Evaluación y Medición

Los pasos seguidos para la construcción del instrumento de medida son los siguientes:

-     Establecer los objetivos de evaluación del cuestionario.

-     Determinar las variables: Decidir qué información necesitamos y consultar las fuentes de información más acordes.

-     Diseñar del cuestionario: Decidir el tipo de cuestionario que es más adecuado para los objetivos de mi investigación. Se considera que el instrumento más idóneo para el objetivo de investigación es un cuestionario estructurado y abierto.

-     Elaborar la primera versión: Elaboración de los primeros ítems.

-     Realizar la primera evaluación del Análisis de fiabilidad y validez.

-     Reelaborar del cuestionario en función de los resultados.

-     Poner a prueba la primera versión del cuestionario con un grupo piloto.

-     Reelaborar del cuestionario en función de los resultados.

-     Aplicar el Método alfa cronbach para la evaluación de la fiabilidad de los instrumentos de medición.

-     Reelaboración del cuestionario en función de los resultados.

-     Análisis de la fiabilidad y validez definitivas.

Para el desarrollo del cuestionario, en primer lugar, especificamos los objetivos que se perseguían con su aplicación. Su objetivo es la evaluación de la calidad de los cursos virtuales en las siguientes dimensiones:

1. Herramientas pedagógicas

-Recursos

-Seguimiento del Progreso

-Evaluaciones

2. Interfaz del alumno

-Comunicación Síncrona

-Comunicación Asíncrona

-Acceso al Material

-Entorno Privado

3.  Ambiente del docente

-Herramientas de Autor

-Gestión de Curso

4. Herramientas de administracion

-Matriculación

-Reporting (Reportes)

-Repositorio

-Administrador

5. Requerimientos tecnicos

-Hardware

-Software

6. Caracteristicas generales

-Compatibilidad

-Seguridad

-Soporte

Edelmira G. La Rosa (1995) Dice que para que exista Metodología Cuantitativa debe haber claridad entre los elementos de investigación desde donde se inicia hasta donde termina, el abordaje de los datos es estático, se le asigna significado numérico.

El abordaje de los datos Cuantitativos son estadísticos, hace demostraciones con los aspectos separados de su todo, a los que se asigna significado numérico y hace inferencias. En la presente Tesis se aplicará el enfoque de investigación cuantitativa, por lo cual la hipótesis contempla variables que son analizadas y estudiadas con la finalidad de realizar la demostración correspondiente.

Metodo Científico

En esta investigación se aplica el método científico, que es un proceso de investigación que consta de las etapas siguientes:

1.     La observación del fenómeno.

2.     Formulación de hipótesis.

3.     Diseño experimental.

4.     Análisis de los resultados y conclusiones.

Población de Estudio

Para de esta Tesis se tomarán como casos de estudio 3 programas de posgrado vigentes correspondientes a las Universidades: UMSA (Universidad Mayor de San Andrés), USB (Universidad Salesiana de Bolivia) y la UPEA (Universidad Pública de El Alto), que actualmente ofertan a los profesionales en las diferentes áreas del conocimiento programas de posgrado virtuales.

Determinación de Variables

Para la identificación y especificación de las características concretas se realiza una revisión bibliográfica de las investigaciones y publicaciones de distintos autores y organismos que han estudiado este tema. Algunas de las perspectivas teóricas estudiadas se han presentado en el marco teórico del presente artículo. La presente investigación se basa en la norma Open ECBCheck.

 

REFERENCIAS BIBLIOGRAFICAS

[1] Barragan Rosanna & Salman Ton & Aillon Virginia (2011), "Guía para la Formulación y Ejecución de Proyectos de Investigación", Publicado por el PIEB 4Ta. Edición, La Paz - Bolivia.        [ Links ]

[2] Ferreira Szpiniak Ariel, 2013: "Diseño de un Modelo de Evaluación de Entornos Virtuales de Enseñanza y Aprendizaje Basado en la Usabilidad", Tesis- Maestría en Tecnología Informática Aplicada a la Educación, Facultad de Informática de la Universidad Nacional de La Plata, Argentina.        [ Links ]

[3] Alva Obeso María Elena, 2005: "Metodología de Medición y Evaluación de la Usabilidad en Sitios Educativos", Tesis Doctoral - Doctorado en Informática, Universidad de Oviedo, 250 pags., Oviedo.        [ Links ]

[4] Covella Guillermo Juan, 2005: "Medición y Evaluación de Calidad en Uso de Aplicaciones Web", Tesis- Maestría en Ingeniería de Software, Facultad de Informática de la Universidad Nacional de La Plata, Argentina.        [ Links ]

[5] Olsina Luis Antonio, 1999: "Metodología cuantitativa para la evaluación y comparación de la calidad de sitios web". Tesis - Doctoral, Facultad de Ciencias Exactas de la Universidad Nacional de la Plata, Argentina.        [ Links ]

[6] Scalone Fernanda, 2006: "Estudio Comparativo de los Modelos y Estándares de Calidad del Software". Tesis - Maestría en Ingeniería en Calidad, Universidad Tecnológica Nacional - Facultad Regional Buenos Aires, Argentina.        [ Links ]

[7] Loayza Melgarejo Marcelo, 2006: "La Evaluación de la Calidad en la Educación Virtual Análisis y Propuesta", 251 pags., Bolivia.        [ Links ]

[8] Boneu, Joseph M. (2007) "Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos". Publicado en la Revista de Universidad y Sociedad del Conocimiento (RUSC) de la Universidad Oberta de Catalunya. Vol. 4 Nro. I. pg. 36-47. España.        [ Links ]

[9] García Aretio, Lorenzo (2007). "De la educación a distancia a la educación virtual", Barcelona: Ariel Educación, España.        [ Links ]

[10] Robles Peñaloza, Alberto (2004) "Las plataformas en la educación en línea". Publicado en la Revista Electrónica e-formadores. Nro. 04. España.        [ Links ]

[11] Ortiz F., Luis Farley, (2007) "Campus Virtual: la educación mas allá del LMS". Publicado en la Revista de Universidad de y Sociedad del Conocimiento (RUSC) de la Universidad Oberta de Catalunya. Vol. 4 Nro. I. pg 1-7. España        [ Links ]

WEB

[12] Abran Alain & Al-qutaish Eafa E. & Cuadrado Juan J., 2006: "Analysis of the ISO 9126 on software product quality evaluation from the metrology and ISO 15939 perspectives".

Disponible:http://74.125.95.104/search?q=cache:otEVhOvGYNAJ:paginaspersonales.deusto.es/cortazar/doctorado/articulos/2006/1005WSeAS20 06_Metrology9126.pdf+ISO+9126%2B+ARTICULOS&hl=es&ct=clnk &cd=46&gl=bo Visitado [28/06/2014]

[13] Calés José María (UNED) & Rocío Hurtado D. (UASB), 2005: "Tomografía del e-learning en las universidades Europeas"; En, Revista digital           de e-learning de América Latina;www.elearningamericalatina.com;Año3-Número58 15deJuliode2005.Disponible:http://www.elearningamericalatina.com/radiografias/rad9.php Visitado [28/06/2014]        [ Links ]

[14] R. Cooley & B. Mobasher, J & Srivastava, 1997: "Web mining:Information and pattern discovery on the world wide web". Disponible: http://maya.cs.depaul.edu/~mobasher/papers/webminer-tai97.ps Visitado [25/06/2014]        [ Links ]

[15] Dondi Claudio, Albert Sangra, Lourdes Guardia, 2005: "Proyecto BENVIC, una metodología y criterios de calidad para evaluar entornos y plataformas virtuales de aprendizaje ". Disponible: http://cvc.cervantes.es/obref/formacionvirtual/campusvirtual/sangra.htm

Visitado [28/06/2014] [16] Dürsteler Juan C., 2005: "Minería Web". Disponible: http://www.infovis.net/printMag.php?num=172&lang=1. Visitado [28/06/2014]        [ Links ]

[17] Galtés Angels, 2002: "El proyecto BENVIC establece una metodología y estándares de calidad para evaluar los entornos virtuales de aprendizaje". Disponible: http://idcrue.dit.upm.es/noticias/mostrarnoticia.php?id=47 Visitado [28/07/2014]        [ Links ]

[18]Gregori Alvaro, 2003: "Estándares en e-Learning estado actual y previsiones de evolución". Disponible:http://www.camaravalencia.com/colecciondirectivos/leerArticulo.asp?intArticulo=1735 Visitado [28/07/2014]        [ Links ]

[19] Joseph Money M., 2007: "Plataformas abiertas e e-learning para el soporte de Contenidos educativos abiertos", Revista de Universidad y Sociedad del Conocimiento, vol. 4 Nro. 1, pags. 36-45. Disponible: http://www.uoc.edu/rusc/4/1/dt/esp/boneu.pdf Visitado [28/07/2014]        [ Links ]

[20] Lago Cabrera Juan,2008: "Situación actual de estándares e.Learning y aplicación en entornos de Software Libre".

Disponible:http://scielo.isciii.es/scielo.php?script=sciarttext&pid=S1575-18132006000700006&lng=es&nrm=iso Visitado [28/07/2014]

[21] Rama Claudio, 2005: "La Educación Virtual en América Latina", Boletín IESALC, Noviembre 2005. Disponible: http://www.iesalc.unesco.org.veVisitado [28/07/2014]        [ Links ]

[22] Sangrà Albert, 2001: "La Calidad en las experiencias virtuales de educación superior"; UOC; junio 2001. Disponible: http://www.uoc.es/web/esp/art/uoc/0106024/sangra.html Visitado [28/07/2014]        [ Links ]

[23] Silvio José, 2000: "La virtualización de Universidades y Programas tradicionales a distancia en Iberoamérica". Disponible: http://74.125.95.104/search?q=cache:dRcoECZhQLoJ:www.virtualeduca.org/virtualeduca/virtual/actas2002/actas02/1106.pdf+virtualizaci%C3% B3n%2BSilvio+2000&hl=es&ct=clnk&cd=1&gl=bo Visitado [28/07/2014]        [ Links ]

[24] Anderson, T. 2008: "The Theory and Practice of Online Learning". Disponible: http://www.aupress.ca/books/TerryAnderson.php Visitado [28/07/2014]        [ Links ]

[25] Torres Juan Carlos, 2002: "Evaluación de la calidad de los programas académicos". Disponible:

http://64.233.169.104/search?q=cache:tkJ7tjvmcfsJ:www.utpl.edu.ec/ingles/images/stories/publicientificas/informeuvecuador.pdf+Torres+Jua n+Carlos+%22Evaluaci%C3%B3n+de+la+calidad+de+los+programas+a cad%C3%A9micos%22&hl=es&ct=clnk&cd=1&gl=es Visitado [28/07/2014]

[26] Zuleta Rene, 2005: "Estándares ISO y Usabilidad en el desarrollo de software". Disponible: http://www.metodus.com/articulos/iso/index.jspVisitado [28/07/2014]        [ Links ]

[27] Hilera Gonzales José Ramón & Hoya Marín Ruben, 2010: "Estándares de E-Learning: Guía de Consulta".

Disponible: http://www.cc.uah.es/hilera/GuiaEstandares.pdfVisitado [28/07/2014]

[28] Revista digital e-learning de América Latina (2005); "Criterios e indicadores ayudan a las empresas a evaluar el e-learning" Año 3 No 57, junio  2005.Disponible:http://www.elearningamericalatina.com/edicion/junio22005/it3.php Visitado [30/07/2014]        [ Links ]

[29] Revista digital e-learning de América Latina (2005); "Actualidad de la educación virtual en los Estados Unidos" Año 4 No 69. Disponible: http://www.elearningamericalatina.com/radiografias/rad15.php Visitado [30/07/2014]         [ Links ]

[30] Revista digital e-learning de América Latina, 2005: "Nuevo líder en el desarrollo global de estándarespara la industria del e-learning"; Año 3 No 57.

Disponible: http://www.elearningamericalatina.com/edicion/junio2 2005/index.php Visitado [30/07/2014]

[31] Quesada, R., 2006. Evaluación del Aprendizaje en la Educación a Distancia "en Línea". En: Revista de Educación a Distancia, No. M6 (Número especial dedicado a la evaluación en entornos virtuales de aprendizaje). [Online].Disponible: http://www.um.es/ead/red/m6/quesada.pdfVisitado [15/08/2014]        [ Links ]

[32] Revista Virtual Universidad Católica del Norte. No. 28, (septiembre -diciembre de 2009, Colombia), "La evaluación de aprendizajes en e-learning en la educación superior. A Propósito de un estudio sobre la cuestión". Disponible: [http://revistavirtual.ucn.edu.co/]. Visitado [15/08/2014] PGI        [ Links ]