Investigaciones recientes han mostrado que la utilización de videos de YouTube como material didáctico mejora las calificaciones en programas de maestría en línea. En este artículo se demuestra que el uso de videos de YouTube para estudiantes de licenciatura en modalidad presencial mejora en 3.54% la calificación promedio de los estudiantes tratados. En el estudio se siguió el procedimiento de experimentos controlados aleatorizados, en el cual se controla, por distintas características observables acerca de la educación a nivel preparatoria de los estudiantes, su calificación en exámenes de admisión a la universidad, su acceso a conexión de internet y sus hábitos de estudio. Estos resultados confirman la importancia de la aplicación de nuevas tecnologías en modalidad presencial para programas de licenciatura.
Recent research has shown that using YouTube videos as teaching material improves student’s grades in online master programs. This article shows that the use of videos for undergraduate students in face-to-face programs improves by 3.54% the average grade of students treated. A procedure based on Randomized Controlled Experiments (RCT) was followed, where the treatment is controlled by different observable characteristics about the high school education of the students, their scores university admission tests, their access to internet connection and their study habits. These results confirm the importance of the use of new technologies in face-to-face learning at undergraduate programs.
La educación es un tema en constante transformación, ya que las instituciones buscan servicios de calidad educativa óptimos, con mejores aprendizajes para los estudiantes (
Diversos autores (
Fandos, Jiménez y González (2002) señalan que las TIC permiten crear nuevos espacios en línea que ayudan a superar las barreras referidas a la coincidencia de espacio y tiempo que hasta ahora era indispensable entre profesores y estudiantes inmersos en el proceso de enseñanza-aprendizaje. Por su parte,
Recientemente,
El objetivo de este artículo es estudiar el uso de videos en YouTube como material de aprendizaje en estudiantes de nivel licenciatura, en modalidad presencial, de la materia de Microeconomía, en una universidad ubicada en el estado de Puebla, México. En particular, medimos el efecto causal de usar materiales didácticos basados en la plataforma YouTube sobre las calificaciones obtenidas en la materia mencionada. El estudio es diferente al de
En este estudio hacemos un control más estricto sobre la comparabilidad de los estudiantes, pues todos pertenecen a una misma generación escolar y enfrentan las mismas condiciones de infraestructura en su universidad, a diferencia de
Para encontrar el efecto causal, seguimos la metodología de experimentos controlados aleatorizados (ECA) (
El artículo se divide de la siguiente forma: en la primera sección, revisamos la literatura sobre la relación del proceso de enseñanza-aprendizaje y las TIC, así como investigaciones empíricas cuantitativas. En la segunda, abordamos la teoría de los ECA y las razones por las cuales ese efecto causal se identifica. En la tercera, describimos el ECA estimado y el modelo empírico en el que se formula una ecuación que relaciona el desempeño escolar con las características observables y su participación en el ECA. En la cuarta, especificamos las características de la población observada tanto para el grupo de control como para el de tratamiento, lo cual es importante para determinar si los supuestos necesarios para la aplicación de un ECA se cumplen en la población estudiada. En la quinta sección, presentamos los resultados del ECA y, en la sexta, las conclusiones.
Determinar el impacto de usar las TIC en el proceso de enseñanza-aprendizaje no es una tarea sencilla, debido a la existencia de al menos tres problemas estadísticos: en primer lugar, el problema de selección en características observables y no observables en estudiantes, que se da en virtud de que el éxito de las TIC depende de las capacidades individuales de cada estudiante (
El segundo problema es la selección en características observables y no observables de escuelas, ya que la adopción de tecnologías entre escuelas diferentes tampoco ocurre de manera aleatoria, por ejemplo, puede haber escuelas que cuenten con mayores recursos para invertir en las TIC e incorporarlas en sus procesos de enseñanza-aprendizaje. El tercer problema es que la heterogeneidad en tecnologías de información puede generar dificultades de medición: si se desconoce la naturaleza específica de la tecnología de información utilizada se podría medir con error el verdadero impacto de las TIC.
Por lo anterior, el ECA únicamente utiliza videos de YouTube y se aplica en estudiantes de una universidad, de una misma facultad, de una misma licenciatura y de una misma generación. Para controlar las características no observables de los estudiantes, seguimos dos estrategias: primero, la aplicación de una encuesta entre la comunidad que integra la facultad a la cual pertenece la licenciatura estudiada, con el fin de determinar la existencia de selección de estudiantes en función de la carrera preferida dentro de la facultad estudiada; con esa encuesta estimamos la probabilidad de elegir la licenciatura en cuestión.
La segunda estrategia consistió en una metodología de diferencias en diferencias para analizar el impacto del tratamiento únicamente sobre el cambio observado en calificaciones antes y después del tratamiento. Participaron 89 alumnos, de los cuales 41 pertenecen al grupo al que se hace referencia. El tratamiento se dividió en tres etapas: en la primera, todos los estudiantes recibieron materiales tradicionales; en la segunda, el grupo tratado recibió materiales basados en videos de YouTube; en la tercera y última, todos regresaron a utilizar materiales tradicionales. Al final de cada etapa aplicamos exámenes para medir el desempeño de los alumnos. En el estudio, estos no podían elegir al profesor ni la sección de la materia en la que se empleó la intervención.
Ante la evidencia de que la selección en no observables es mínima, en el estudio decidimos utilizar técnicas de emparejamiento aleatorizado de datos (RMS, por sus siglas en inglés), las cuales permiten encontrar el impacto de la intervención no solo en el promedio, sino a lo largo de toda la distribución.
A pesar de las metodologías seguidas para la obtención del efecto causal, hay elementos no observables que podrían generar sesgos en la estimación; por ejemplo, si los alumnos modifican su entusiasmo para estudiar la materia, quizás a consecuencia de usar YouTube, podríamos asignar el impacto al uso de la TIC, cuando de hecho solo varió el entusiasmo de los alumnos para dedicar horas de estudio. Esta investigación se guió por las horas que los alumnos reportaron en la encuesta que dedicaban a estudiar, pero si hubiera variaciones no observadas dentro del momento del experimento en el nivel de entusiasmo, podríamos notar sesgos. Esto hace que las posibilidades de extrapolar los resultados del experimento a otros ambientes sean limitadas. Lo recomendable sería aplicar ECA en otros niveles de educación y en otras materias con el propósito de validar los resultados alcanzados en nuestro estudio.
Existen diversos estudios que buscan evidencia empírica de los logros académicos obtenidos a partir del uso eficiente de las TIC durante el proceso enseñanza-aprendizaje. En primer lugar, destacamos los estudios que evalúan los efectos de las TIC entendidas como
Por otra parte, los estudiantes que son repetidores y cuyos padres están desempleados tienen significativamente menos probabilidades de participar en el programa. Los autores concluyen que las características no observables igualan el rendimiento arrojado por el programa; por lo tanto, señalan la necesidad de proveer un fin académico a la dotación de
En este sentido,
En segundo lugar, tenemos los estudios que evalúan las TIC como
Por su parte,
Por último,
Desde la mitad del siglo pasado, los métodos estadísticos han resultado de gran utilidad. En el sector salud, iniciaron su uso para verificar la eficacia de algún nuevo tratamiento o medicamento y sus efectos en pacientes con padecimientos crónicos (
La evaluación de impacto es un método estadístico que mide los efectos en las condiciones de las personas que pueden atribuirse a un proyecto, programa o política particular (
Las características principales son la verificación de hipótesis y la comparación de grupos: la primera explica la relación entre dos o más variables independientes (causa) y variables dependientes (efecto), mientras que la segunda utiliza un escenario contrafactual para determinar la causalidad entre la intervención y los cambios experimentados por los beneficiados; se entiende como escenario contrafactual la situación de los beneficiarios si no hubieran participado en la intervención.
Cabe destacar que este argumento no se puede observar directamente; en este sentido,
El escenario contrafactual se puede determinar usando diseños experimentales o cuasiexperimentales; los primeros son considerados como los más sólidos y robustos (
Existen dos tipos de ECA que permiten establecer relaciones causa-efecto de una intervención: por una parte, se encuentran los diseños de reemplazo y, por el otro, los diseños cruzados. Los primeros se basan en recolectar una muestra al cambiar un tratamiento A por otro tratamiento alternativo B. En este tipo de ECA, los sujetos de estudio son divididos en dos grupos: uno llamado control y otro, tratamiento; ambos reciben el tratamiento A durante un primer período; en un segundo momento, el grupo control sigue recibiendo el tratamiento A, mientras que el de control es intervenido con el tratamiento alternativo B; en un tercer momento, ambos grupos reciben el mismo tratamiento A. Al final, las observaciones de los tratamientos A y B se comparan en cada momento de la intervención.
En el caso de los diseños cruzados, el grupo 1 recibe el tratamiento A durante un primer período y el B, en un segundo período; por su parte, el grupo 2 recibe los tratamientos en orden inverso al grupo 1; en este tipo de diseño, cada sujeto sirve como su propio control. El ECA presentado en este artículo se configuró para ser un experimento con diseño de reemplazo.
Para medir el efecto causal de una intervención (P) sobre un resultado (Y), se parte de considerar que (P) es una variable binaria que adquiere valor de 1 si tomó el tratamiento y 0 si no lo tomó; la no observación del contrafactual surge del hecho de que un individuo no puede pertenecer a ambos grupos.
Fuente: elaboración propia.
P=0
Observable
No observable
P=1
No observable
Observable
En este artículo, utilizaremos la metodología de doble diferencia para estimar el efecto promedio de los tratados y el RMS. Diferencias en diferencias (DD): consiste en aplicar una doble diferencia, es decir, estima el contrafactual del cambio en el resultado para el grupo de tratamiento calculando el cambio del resultado para el grupo de comparación. Este método nos permite tener en cuenta cualquier diferencia constante en el tiempo entre los grupos de tratamiento y de control. La estrategia de DD se puede formalizar en un modelo de regresión lineal para poder contrastar la hipótesis sobre los estimadores, o incluir otras variables de control, mediante el uso de una variable binaria (D) que identifica la variable de interés en dos momentos diferentes: uno denominado “antes”, que observa la variable de interés antes de aplicar el tratamiento,
Donde el coeficiente de la interacción
Lo que significa que el método DD es una doble diferencia: la primera es el valor esperado de los grupos tratados y control después de la intervención; la segunda es el valor esperado de los grupos antes de la intervención.
El método RMS consiste en formar un grupo de control a partir de individuos similares a los del grupo de tratamiento entre un grupo de individuos no tratados. La validez del emparejamiento se basa en dos hipótesis: la primera, llamada hipótesis de independencia condicional, exige que no existan diferencias sistemáticas entre agentes tratados y no tratados una vez que se ha condicionado con valores observables; de esta manera, controlando a los individuos por sus características observables en cada subgrupo, tendremos que el tratamiento es independiente de los resultados y que fue administrado de modo aleatorio. La segunda se denomina hipótesis de soporte común y exige que haya cierta probabilidad entre los tratados y no tratados de recibir el tratamiento. En forma similar a
Vecino más cercano (ATTND): se elige un estudiante no tratado Estimador de Kernel (ATTK), según el cual los estudiantes tratados son emparejados con un promedio ponderado de todos los estudiantes de control con ponderaciones que son inversamente proporcionales a la distancia entre el Estratificación (ATTS) permite realizar un emparejamiento entre tratados y no tratados basado en una variable que contiene el número de bloque (estrato) al que pertenece el registro de la zona de soporte común. La región de soporte común implica considerar en la estimación del efecto promedio del tratamiento en los tratados (ATT) a los estudiantes que pertenecen al rango delimitado por los
Si bien estos son los métodos estadísticos más usados, cabe aclarar que la literatura sobre el tema es aún más extensa; sin embargo, contamos con los elementos necesarios para describir el modelo empírico que relaciona el desempeño escolar con las características observables en el experimento.
El experimento se llevó a cabo en una universidad del estado de Puebla, México, con estudiantes de la Licenciatura en Relaciones Internacionales (LRI) de cuarto semestre, durante el período escolar otoño 2017, en modalidad presencial. Para ingresar a la universidad, todos los estudiantes presentaron un examen de admisión, cuyo puntaje fue solicitado a los estudiantes y se incluyó como variable de control. La admisión también considera si cursaron sus estudios de preparatoria en escuelas que son parte de unidades académicas que conforman toda la universidad, pues esos estudiantes cuentan con pase directo (tomando en cuenta su promedio de preparatoria y el puntaje obtenido en el examen de admisión). Es importante mencionar que un estudiante promedio de cuarto semestre toma seis materias en el semestre, las cuales le han sido asignadas por las autoridades académicas de su programa; los estudiantes no pueden elegir ni materias ni horarios o secciones; a esto se debe que una materia sea dictada en el mismo horario por distintos profesores.
Proponemos un modelo empírico que relaciona el desempeño escolar de los estudiantes de la LRI en modalidad presencial con su participación en el ECA y las características observables de la siguiente forma:
donde la variable
El modelo anterior es válido bajo el supuesto de que el tratamiento es aleatorio y que las variables observables introducidas en el modelo permiten controlar todas las características observables de los estudiantes. Como mencionamos, para no realizar este supuesto, es posible estimar un modelo de doble diferencia, el cual eliminará los factores fijos en los estudiantes; ese modelo se explicó en las
donde
Finalmente, para analizar el impacto del tratamiento no solo en el promedio de la distribución, sino en toda esta, aplicamos técnicas de RMS, las cuales explicamos anteriormente.
La población de estudio se refiere a estudiantes de la LRI en modalidad presencial que cursaron la materia de Microeconomía durante el otoño 2017. Esta población se describe en la
* Significativo al 1% Fuente: elaboración propia.
POBLACIÓN
NO TRATADA
TRATADA
TOTAL
DIFERENCIA NO TRATADO-TRATADO
Parcial 1
6.65
8.3
7.48
1.69
Parcial 2
7.1
8.9
7.98
1.81
Calificación final
6.9
8.9
7.88
1.99
Edad
20.02
20.12
20.07
0.09
Educación privada
0.39
0.36
0.38
-0.02
Prepa con pase automático
0.16
0.19
0.17
0.03
Puntaje1
0.13
0.12
0.13
0.002
Puntaje2
0.62
0.6
0.61
0.01
Tiempo estudio1
1.25
1.51
1.38
0.25
Tiempo estudio2
1.69
2
1.84
0.3
n
43
41
84
A simple vista, existe una diferencia en la calificación final entre la población tratada y no tratada; el promedio del primer parcial para el grupo no tratado fue de 6.65, mientras que para el tratado fue de 8.3. El promedio del segundo parcial para el grupo no tratado fue de 7.1 y para los tratados, 8.9. Cabe mencionar que no estudiamos la significancia estadística de estas diferencias hasta la siguiente sección, debido a que debe ser controlada por las características observables de los estudiantes.
El 39% de los estudiantes del grupo no tratado proviene de una educación preparatoria privada y el 36% del grupo tratado, de una educación preparatoria privada. El 13% del grupo de los no tratados se encuentra en el rango de Puntaje1 y el 12% del grupo de los tratados, en el rango de Puntaje1, mientras que, para la variable Puntaje2, el 62% de los no tratados se encuentran en ese rango. Para el grupo no tratado, observamos que dedicaron 1.25 horas de estudio a la semana para el primer parcial, mientras que el grupo tratado, 1.51 horas de estudio a la semana para el primer parcial. Asimismo, el grupo no tratado dedicó 1.69 horas de estudio a la semana para el segundo parcial y el tratado, dos horas en promedio a la semana al estudio.
Para la aplicación de la metodología ECA, partimos del supuesto de que la población de estudio es aleatorizada sobre una población que, desde el punto de vista estadístico, es similar en sus características observables. En este estudio incluimos en el tratamiento alumnos de una misma facultad, de una misma licenciatura y de una misma generación, lo que arroja un población homogénea en características observables, pero que puede tener variaciones en edad, antecedentes en educación preparatoria, sus horas de estudio y, tal vez, los recursos a los que tiene acceso por sus condiciones socioeconómicas de origen.
Estas diferencias en características observables se pretenden obtener a partir de la encuesta realizada con ellos. También podría haber otros sesgos de selección implícitos en el hecho de que cada uno de ellos puede tener una propensión distinta a participar en el tratamiento derivado de su interés por la LRI o por una posible elección para tomar las clases que fueron elegidas para ser tratadas. En esta sección mostramos que hay evidencia de que los estudiantes de LRI son diferentes del promedio de estudiantes de la facultad estudiada, y encontramos que no hay sesgo por selección para participar en el tratamiento.
Para determinar si existe un sesgo de selección por ser alumnos de la LRI, levantamos una encuesta a estudiantes de la generación 2016 de las licenciaturas en Ciencias Políticas, Derecho, Criminología y Relaciones Internacionales, en la cual se preguntaron aspectos generales como sexo, edad, tipo de escuela preparatoria (pública o privada), así como si se trata de una preparatoria con pase directo a la universidad, puntaje de admisión y conexión a internet, la cual se divide en conexión en casa, en el móvil y su uso de internet. Estimamos un modelo Probit, cuya variable dependiente toma el valor de 1 si es un estudiante de LRI y el valor de cero en cualquier otro caso. El modelo se expresa de la siguiente manera:
donde Pr(
En la
* Significativo al 5% Fuente: elaboración propia.
MODELO DE PREFERENCIA POR ESTUDIAR LRI
VARIABLES
ESTIMACIONES PROBIT
ERRORES ESTÁNDAR
Edad
-.004418
.0737727
Privada
. 1684801
.229565
Prepaconpase
-.6795953
.2454751
Puntaje1
-.8968417
.323078
Puntaje2
-.2222637
.2091178
Materialesa
.2326445
.2152165
Materialesb
.2964923
.2718475
_cons
.2786243
1.47864
6.4%
N
187
Test LR (máxima verisimilitud) chi2 (6)
16.46
Valor p
0.0115
En la
donde Pr(
Fuente: elaboración propia.
VARIABLES
ESTIMACIONES PROBIT
ERROR ESTÁNDAR
Edad
.0206427
.0788509
Privada
.131084
.2409454
Prepaconpase
-.3171593
.276501
Puntaje1
1.095481
.9372713
Puntaje2
.1371527
.234669
Materialesa
.1557351
.2371463
Materialesb
.1492576
.3002784
_cons
-1.330112
1.603311
2.3%
N
189
Test LR (máxima verisimilitud) chi2 (7)
4.61
Valor p
0.7079
En la
*Significativo al 1% ** Significativo al 10% Fuente: elaboración propia.
Tratamiento
1.532827
Edad
-.140493
Privada
.3076795
Prepaconpase
-.1098169
Puntaje1
-.086287
Puntaje2
-.215147
TiempoEstudio1
.602009
TiempoEstudio2
1.000012
Cons
7.293339
N
82
F
32.83
Prob > F
0.0000
R2
75%
MSE
.91494
La
Las estimaciones para el modelo DD se presentan en la
*Significativo al 10% ** Significativo al 5% *** Significativo al 1% Fuente: elaboración propia.
MODELO DD ROBUST, CON CONTROL POR ESTAR EN LA LRI
VARIABLES
DTEST
DTEST1
DTEST2
Edad
-.0920688
.0516805 [.0814963]
-.0403882 [.0617792]
Privada
.2627439
.1101264
.3728703
Prepaconpase
.5702511
-.2639009
.3063502
Puntajeb
.0630596
-.2043366
-.141277
Puntajec
-.13 38628
-.0627404
-.1966032
Tratamiento
-.0132961
.3149593
.3016632
Xtiempohrsem
-1.359175
.6591457
-.7000297
Xtiempohrsem
1.220483
-.7758477
.4446357
_cons
1.907058
-.7235157
1.183542
67.7%
43.3%
45.2%
N
82
82
82
F
15.53
8.30
4.85
Prob > F
0.0000
0.0000
0.0001
Root MSE
.84078
.84405
.67205
Ahora procedemos a realizar un modelo de robustez mediante el método RMS, con la finalidad de identificar el efecto de usar videos de YouTube sobre el rendimiento académico de los estudiantes de LRI. La
* Significativo al 5% Notas: ATT: tratamiento en los tratados; PSM: Fuente: elaboración propia.
PRUEBA
PSM
TRATADOS
CONTROLES
ATT
T DE STUDENT
dtest2
ATTND
41
26
0.387
1.585
dtest2
ATTR
27
36
0.600
1.947
dtest2
ATTK
41
42
0.280
1.349
dtest2
ATTS
5
78
0.852
1.734
Es importante señalar que las estimaciones del ATT se hicieron considerando un soporte común para el tratamiento y los controles; asimismo, utilizamos muestreo con reemplazo; además, los errores estándar se obtuvieron con
En el estudio realizado, mediante la aplicación de un ECA, examinamos la relación causal entre el uso de videos de YouTube sobre las calificaciones de estudiantes de la materia de Microeconomía de la carrera de LRI, modalidad presencial, durante el período de estudios correspondiente a otoño 2017.
Encontramos evidencia estadística de que las variables estudios privados y hábitos de estudio adquiridos previos a la educación superior son estadísticamente significativas en las calificaciones obtenidas por los estudiantes; por lo tanto, esas variables afectan de manera directa el rendimiento académico de los estudiantes durante su formación universitaria. Encontramos que la utilización de videos YouTube tiene un impacto aún por encima de los antecedentes de educación preparatoria de los estudiantes, lo cual implica que el uso de las TIC puede ser una forma de mejorar la equidad y reducir las brechas entre estudiantes ocasionadas por el origen socioeconómico, el cual, se ha demostrado, puede afectar la adquisición de educación y la movilidad social (
Finalmente, hallamos evidencia estadística de que la utilización de videos de YouTube implica una mejora promedio del 3.54% en las calificaciones obtenidas por los alumnos tratados, de ahí que se demuestra que los videos de YouTube, acompañados de una estrategia docente adecuada, son una herramienta que ayuda a mejorar el aprendizaje de conocimientos y habilidades de los estudiantes de Microeconomía.
Estos resultados confirman la conveniencia de utilizar videos de YouTube como herramienta de aprendizaje, lo cual había sido mostrado por
Debido a la extensa discusión del tema de educación, encontramos la necesidad de emprender una investigación que profundizara en las discusiones psicopedagógicas en las que se encuentra inmersa la institución de educación superior donde aplicamos los ECA. Esto con la finalidad de determinar cómo puede entenderse la mejora estudiada en este ECA en un contexto de cambio institucional.
De manera más general, los estudios sobre aplicación de TIC en el proceso de enseñanza-aprendizaje deben también continuarse, ya que los cambios tecnológicos representan una oportunidad para mejorar ese proceso y contribuir a que la educación sea un medio para reducir las brechas sociales que existen en nuestro país.
Es importante destacar que para probar que una mejora en calificaciones lograda utilizando videos de YouTube induce una mejora en la movilidad social de las personas, se requieren estudios a mediano plazo que permitan dar seguimiento a los individuos tratados en su desempeño laboral y económico a lo largo del tiempo. Este tipo de estudios son necesarios para determinar los beneficios de implementar las TIC en el proceso de enseñanza-aprendizaje.
Comentarios sobre este artículo
por totoonline lae (2022-05-21)
por totogaduntgl gadun4d (2022-06-19)
por Renaldo Reynoso (2023-01-18)
por Meri Medley (2023-01-21)