Apertura
El estudio describe las ventajas de utilizar una herramienta virtual diseñada para validar el contenido de instrumentos de investigación, a través de la técnica del juicio de expertos, y se presenta los resultados de una encuesta aplicada a expertos que participaron como jueces en la validación de contenido y expusieron su opinión y experiencias en los procesos de validación de instrumentos. El diseño metodológico incluyó tres fases: la primera, relacionada con el diseño de la herramienta virtual; posteriormente, se llevó a cabo la aplicación de esta herramienta mediante un ejercicio real y con el propósito de validar un cuestionario; en la última fase se analizaron los resultados de los siete jueces participantes. Los hallazgos muestran que el uso de la herramienta virtual facilita la organización de la información en ítems por dimensión, así como el registro de la opinión de los jueces por las categorías de claridad, coherencia, relevancia y suficiencia.
The study describes the advantages of using a virtual tool designed to validate the content of research instruments, through the technique of expert judgment. This study presents the results of a survey applied to experts who participated as judges in the content validation, exposing their opinion and experiences in the validation of instruments. The methodological design included three phases: the first, related to the design of the virtual tool; subsequently, the application of this tool through a real exercise and with the purpose of validating a questionnaire; for the last phase the results of the seven judges participants were analyzed. The findings show that the use of the virtual tool facilitates the organization of the information in items by dimension, and the registration of the opinion of the judges by the categories of clarity, coherence, relevance and sufficiency.
Para la realización de investigaciones en educación es importante contar con instrumentos confiables, pero también validados; existen varios tipos de validez y entre los de mayor uso están: validez de constructo, de criterio y contenido. Esta última es la que se eligió para presentar en este artículo la propuesta de herramienta virtual. Cabe señalar que dicha herramienta ya fue utilizada para validar un cuestionario web como parte de una investigación del doctorado en Sistemas y Ambientes Educativos de la Facultad de Pedagogía de la Universidad Veracruzana; por ello, tomaremos como referencia ese procedimiento para ejemplificar el uso real de la herramienta.
Parte del interés de exponer este trabajo es exhibir las ventajas que representa el uso de una herramienta virtual diseñada específicamente para validar el contenido de instrumentos por parte de un comité de expertos. Esta tarea tiene varias implicaciones para quienes fungen como jueces, porque, además de requerir determinados conocimientos y experiencia, demandan tiempo y organización en sus actividades para poder desarrollarla con oportunidad.
Llevar a cabo el análisis de los ítems que componen un instrumento dependerá de los objetivos que pretenda el investigador que solicita el apoyo de los jueces, así como del método estadístico que se proponga utilizar; incluso, pueden surgir algunas recomendaciones o sugerencias para mejorar la redacción o el contenido de los ítems que conforman el instrumento, las cuales deben ser consideradas para lograr una mejor definición del aspecto a medir.
El referente metodológico para el proceso de validez se retomó principalmente de la
propuesta de
El juicio de expertos es una estrategia con amplias ventajas;
… la teórica calidad de la respuesta que obtenemos de la persona, el nivel de profundización de la valoración que se nos ofrece, su facilidad de puesta en acción, la no exigencia de muchos requisitos técnicos y humanos para su ejecución, el poder utilizar en ella diferentes estrategias para recoger la información es de gran utilidad para determinar el conocimiento sobre contenidos y temáticas difíciles, complejas y novedosas o poco estudiadas, y la posibilidad de obtener información pormenorizada sobre el tema sometido a estudio (p. 14).
En virtud de las ventajas que representa este tipo de procedimiento, su uso es
ampliamente difundido; en algunas investigaciones identificadas en la literatura
sobre el tema se distingue una variedad de procedimientos para el análisis de los
datos; por ejemplo,
El método basado en el análisis factorial de Tucker, que considera las
puntuaciones que los jueces asignan a la relevancia de los ítems. El índice de validez de contenido de Lawshe, en el que hay una evaluación
individual de los ítems y a través de la razón de validez de contenido
(RVC) se identifica si son adecuados, o no. El índice de congruencia ítem-objetivo de Rovinelli y Hambleton, en el
cual el juez evalúa con +10 -1, dependiendo de si el ítem mide lo
planteado en el objetivo, o no. El índice de congruencia de Hambleton es una variante del método
anterior; solo que en este existe un índice de congruencia entre el ítem
y el constructo. La V de Aiken es parecido al método de Hambleton y se centra también en
la relevancia ítem-constructo, pero en él se toma en cuenta el número de
expertos participantes. El método de esclarecimiento y análisis de El método de capacidades mínimas de Levine, Maye, Ulm y Gordon, que se
centra en el nivel de capacidad o habilidad mínima requerida para lograr
exitosamente algún criterio. El método de rango interpercentil ajustado a la simetría de Fitch,
también conocido como IPRAS, por su acrónimo en inglés; en él se utiliza
una escala Likert de nueve puntos que valora la adecuación y
relevancia. El coeficiente de validez de contenido de Hernández-Nieto, que valora el
grado de acuerdo por ítem entre los jueces. El índice de validez factorial de Rubio, el cual combina tres índices y
vincula la validez de constructo con la de contenido. El índice promedio de la desviación media de Claeys, Neve, Tulkens y
Spinewine; este calcula el índice de validez de contenido y el índice
promediado de la desviación media para valorar los acuerdos,
independientemente de si son ítems valorados de manera positiva o
negativa.
Debido a que algunos métodos están diseñados solo para medir el acuerdo entre dos jueces y otros requieren un número mayor de participantes, es recomendable prever cuántos jueces van a participar conforme a las características de la prueba y el análisis estadístico correspondiente.
Acerca de la participación como juez experto,
El procedimiento puede variar según los objetivos del instrumento o el contexto de aplicación; por este motivo, también resulta necesario informar a los jueces sobre los antecedentes de construcción del instrumento, así como las características de la población y el lugar donde se llevará a cabo su aplicación. Muchas veces, los instrumentos son adaptaciones de otros, traducciones o se modifican aumentando o eliminando ítems; todo ello debe ser explicado a los jueces antes de la valoración del instrumento.
Con la finalidad de obtener elementos respecto a la experiencia de validar el contenido de instrumentos, recogimos las opiniones de académicos que han participado en esta tarea. Los datos se obtuvieron a través de un cuestionario aplicado en línea a distintos académicos; los participantes fueron ocho doctores pertenecientes a cuatro instituciones de educación superior: Universidad Veracruzana, Instituto Tecnológico de Sonora, Benemérita Universidad Autónoma de Puebla y Universidad Autónoma de México; su antigüedad laboral oscila entre dieciséis y treinta y un años. La experiencia laboral de los doctores se enfoca a investigación y docencia universitaria, y su formación se centra en áreas como investigación en psicología, educación superior y política pública, comunicación y tecnología educativa.
Los doctores participantes contestaron un cuestionario en línea conformado por doce preguntas, enfocadas a explorar: cuántas veces han participado como jueces expertos; las formas más usuales en las que reciben la solicitud para fungir como tales; el criterio por el que creen que son elegidos; la satisfacción que les deja realizar esta tarea, y si la consideran fácil o difícil, entretenida o tediosa.
También se les preguntó si han tenido que rechazar esta actividad, el tiempo que
invierten en llevarla a cabo, la comunicación que establecen con el investigador que
les solicita su apoyo y su opinión respecto a efectuar la validación de forma
presencial o en línea. El cuestionario se les hizo llegar a través de la liga
En lo concerniente a la experiencia de los académicos participantes en la validación de instrumentos, 62.5% plantearon haber realizado esta tarea más de 16 veces; 12.5%, entre 6 y 15 veces; y 25%, en menos de 5 oportunidades. Lo anterior indica que son personas con amplia experiencia y conocedoras de varios procedimientos para esta tarea. En cuanto a las formas más recurrentes de recibir la invitación a participar, todos coincidieron en haber sido invitados a través de algún medio virtual, principalmente por correo electrónico.
Al preguntarles cuál creían que era el criterio de elección para participar como jueces, 87.5% señalaron que era por sus conocimientos en investigación más que por grado académico, y ninguno consideró que se debiera a su experiencia laboral.
La mayoría de los académicos participantes definieron como satisfactoria la tarea de
fungir como juez experto, pero también la catalogaron como difícil y con frecuencia
entretenida (ver
Aun considerando que la actividad no es fácil, los doctores comentaron que nunca rechazan participar como jueces, a menos que la temática no corresponda a su campo de conocimiento. No obstante, identificaron una serie de problemas al llevar a cabo el proceso de validación, entre los cuales se destacan los siguientes:
La cantidad de dimensiones o variables que se pretende medir. En
ocasiones, son instrumentos muy diversos que incluyen múltiples
dimensiones sin que haya una separación clara entre una u otra. La falta de claridad en los criterios para realizar la evaluación; el
instrumento se recibe sin que se especifique qué se espera del proceso,
y se deja en el juez la responsabilidad de interpretar cuál es el
objetivo. Planteamiento confuso o problemas en la definición del objetivo del
instrumento, las dimensiones que lo componen o las categorías a evaluar.
Puede ocurrir por problemas en la redacción, pero también por
confusiones en el contenido. La falta de consideración del investigador respecto a los tiempos con los
que cuenta el juez experto para la revisión del instrumento debido a su
carga laboral. Las demandas laborales de los docentes investigadores son
muchas; por ello, llegar con la solicitud de revisarlo en una semana o
menos resulta poco probable que suceda. La extensión de los instrumentos, en ocasiones, son varias cuartillas, y
eso requiere que se tenga que ir deteniendo para revisarlo por
partes.
Estos problemas también se reflejan en una mayor pérdida de tiempo, ya que se tiene que dialogar para aclarar las situaciones que se presenten, redefinir tiempos, volver a redactar algunos ítems, explicar verbalmente los objetivos o categorías, entre otros que también consumen tiempo de parte de los jueces.
Cuando se les preguntó qué ventajas encontraban al poder efectuar el proceso de revisión en línea, identificaron que esta modalidad resulta cómoda y dinámica; pueden distribuir mejor sus tiempos; la consideran más rápida, ya que se captura la información con facilidad; es más concreta y se reducen las ambigüedades. Además, no se pierde la posibilidad de entrar en contacto con el investigador y aprovechar la tecnología para comentar dudas acerca del trabajo o retroalimentarlo.
Al tener como referente las opiniones positivas acerca de la realización de los procesos de validación en línea por parte de jueces expertos, se obtuvo mayor certidumbre en cuanto a las posibilidades de uso de la herramienta virtual que se propone, ya que con su uso se pretenden resolver algunas de estas dificultades, no solo para el rol del juez, sino para el investigador, quien puede llenar la plantilla de la herramienta con la información de su instrumento, las instrucciones que considere necesarias y recuperar la información en una hoja de cálculo; con ello se ahorra tiempo y se evitan omisiones en el envío que se hace a los jueces.
La investigación en el ámbito educativo representa varios retos cuando se pretende desarrollar de manera apropiada; por ello, apoyarse en una herramienta para facilitar alguno de los procesos que la acompañan resulta deseable, sobre todo en aspectos tan relevantes como la validación del instrumento con el cual se van a recabar los datos; de ello depende la obtención de resultados fidedignos o coherentes con los objetivos planteados.
La herramienta virtual diseñada se basó en las cuatro categorías que
Fuente: adaptado de Nota: para la elaboración de la herramienta virtual se consideraron
cuatro categorías; el indicador uno de las categorías se asigna
cuando el ítem no cumple con la categoría, y así en lo sucesivo
hasta el indicador cuatro, lo que representa que el ítem cumple
totalmente con lo que se espera de acuerdo con la definición de la
categoría. Solo en el caso de suficiencia se califica por dimensión y no por
ítem.
La herramienta virtual se llama "Plantilla para evaluar la validez de contenido
a través de juicio de expertos" y consta de dos pantallas principales, una
plantilla para el registro de los datos del juez evaluador y otra para registrar la
calificación y las observaciones a cada ítem y, con ello, participar en el proceso
de validación de contenido. El formulario se realizó en la plataforma de
programación para Web PHP, enlazado a una base de datos elaborada en MySQL. El
sistema se aloja en un sitio gratuito con un dominio que requiere el uso de
subredes. El nombre de la subred fue validez y el seleccionado como dominio fue
total.net; quedó como protocolo de ingreso:
La propuesta para la validación a través de la herramienta virtual descrita se puede aplicar con dos o más jueces, el número que determine el investigador. Para conseguir los datos esperados, recomendamos seguir cinco pasos:
Enviar la invitación a participar para cada juez, resaltar por qué lo
eligió y sugerir un tiempo aproximado para la devolución de
resultados. Asegurarse de adjuntar el archivo electrónico con el instrumento a
validar e insertar el Revisar la base de datos en MySQL para identificar cuántos jueces faltan
por responder; en caso de ser necesario, se puede enviar un recordatorio
o invitar a algún otro experto. Llevar a cabo el análisis estadístico de los datos y revisar los ítems
con bajo puntaje. Reelaborar, corregir, aumentar u omitir aquellos ítems que recibieron
observaciones específicas por parte de alguno de los jueces, según sea
el caso.
La citada plantilla considera dos pantallas para hacer más clara la explicación del
proceso y se acompaña con el ejemplo de la validación de contenido de cuestionario
web en la que participaron siete jueces expertos. En la primera pantalla se
presenta: el nombre del instrumento a validar; la razón por la cual se le eligió
como juez experto; el objetivo del instrumento; las instrucciones de llenado; y un
formulario para recabar datos del juez experto. Sin embargo, esta pantalla puede
contener otros datos: la población a la que se dirige; el tiempo para su validación;
si el instrumento forma parte de alguna investigación en posgrado; si es la
adaptación de algún otro instrumento; en fin, toda información que sirva como
antecedente para el juez y que le clarifique lo que se espera de él o de su
participación (ver
Una vez que el juez llena el formulario con sus datos, puede dar clic en el botón de
continuar y se abre una nueva pantalla (ver
La columna A sirve para identificar el número de ítem en orden ascendente y consecutivo, como se presenta en el instrumento. La B tiene escrito el ítem a valorar y la C contiene una escala del 1 al 4 para que el juez dé clic en el indicador que considere adecuado conforme a las categorías: coherencia, relevancia y claridad.
En la misma pantalla, pero del lado derecho, se despliegan las indicaciones a seguir por los jueces, así como la descripción de las dimensiones a evaluar; en este caso es un ejemplo, pero puede sustituirse de acuerdo con cada instrumento.
Para facilitar la evaluación de cada ítem, estos se despliegan en un
Finalmente, en virtud de que la categoría de suficiencia se evalúa por dimensión y no
por ítem, este rubro se colocó al final de la segunda pantalla (
Las dimensiones que se ponen de ejemplo son tres y se modifican a partir de las que conforman cada instrumento. La suficiencia se evalúa por dimensión porque se realiza para identificar si la cantidad de ítems basta para medir la dimensión a la que pertenecen. El apartado de observaciones queda abierto para incluir las sugerencias que los jueces crean pertinentes.
Una vez terminada la evaluación por parte de los jueces expertos, la información se guarda en una base de datos en el manejador MySQL, a partir del cual se puede exportar la información a una hoja de cálculo o algún otro programa para los análisis estadísticos correspondientes. Del mismo modo, será necesario leer aquellas recomendaciones que los jueces formulen en el apartado de observaciones.
En el caso del instrumento que se valoró utilizando la herramienta virtual, se recibieron las siguientes observaciones por parte de uno de los jueces:
Pregunta 16.5. La expresión "en mis estudios" constriñe el
contexto de usabilidad de las TIC, por lo cual puede ampliarse a
"mis actividades educativas o laborales". Pregunta 16.7. El término "metodología" tiene un uso diverso
según el contexto de empleo, pero casi siempre se entiende en el ámbito
de la investigación. Por ello, sugiero se diga "participando de
estrategias educativas que... " para que, además, puedan quedar
involucrados como sujetos el profesor o el estudiante. Pregunta 16.19. En lugar de "introducir",
"incorporar" las TIC en los procesos educativos o actividades
escolares (Juez 01).
Las participaciones de los jueces pueden ser dirigidas a la mejora de algún ítem, pero también hacia aspectos generales; por ejemplo:
Los reactivos redactados en negativo no son recomendables porque pueden implicar una doble negación. Sugiero traducirlos a una afirmación. Por ejemplo, el reactivo "no me parece conveniente introducir las TIC... " se puede redactar como "me parece inconveniente... " (Juez 04).
De esta manera, se cuenta con las opiniones de los jueces expertos y se advierten objetivamente las aportaciones en cada dimensión, ítem o categoría; así se revisan los elementos y se replantean para validar el contenido del instrumento, que concluye cuando los ítems sean coherentes, claros, relevantes y suficientes.
La propuesta para utilizar esta herramienta virtual trata de facilitar el proceso para el investigador y para los jueces; se centra en mejorar aspectos como respetar el tiempo del investigador y de los jueces; concretar la cantidad de dimensiones o variables que se pretende medir; clarificar los criterios para el proceso de validación; especificar qué se espera del proceso; plantear claramente el objetivo del instrumento; explicar a qué se refiere cada una de las dimensiones que lo componen; y facilitar el registro de la información.
El proceso para hacer posible la validación de contenido de los instrumentos de investigación a través de juicio de expertos resulta más eficiente cuando especifica lo que se espera de ellos, pero también cuando se respetan sus tiempos en consideración a las cargas laborales que desempeñan. Con el uso de la herramienta virtual, se tiene la ventaja de la asincronía, y se evitan problemas relacionados con la distancia y los tiempos. Esta situación incluye al investigador, ya que la información recabada se guarda en una base de datos MySQL, lo que facilita que se puedan exportar los datos a hojas de cálculo o a programas para el análisis estadístico y se ahorra el paso de transcribir la información de cada juez participante.
Según el método de análisis de la información que se elija, resulta conveniente identificar aquellos ítems o dimensiones que hayan presentado mayores discrepancias entre los jueces o recibido una baja calificación, o acuerdos negativos respecto a alguna de las categorías evaluadas. De ese modo, se puede trabajar en la mejora de los ítems que la requieran hasta constatar que el instrumento es válido en contenido y puede pasar a la siguiente etapa de piloteo del instrumento.
