|
|||
|---|---|---|---|
 |
Sobre el tratamiento estadístico a los datos provenientes de las opiniones de los expertos en las investigaciones de la Cultura Física About the statistical treatment of the data from the opinions of experts in the investigation of Physical Culture |
|
|
|
UCCFD “Manuel Fajardo” (Cuba) |
Dr. C. Magda Mesa Anoceto Dr. C. Isabel Fleitas Díaz Dr. C. Rodolfo Vidaurreta Bueno |
|
|
|
Resumen En la generalidad de las investigaciones que se desarrollan para obtener un título académico o el grado científico en el ámbito de la Cultura Física se emplea el método de evaluación por criterio de expertos con imprecisiones. Estas imprecisiones se ponen de manifiesto en los diferentes pasos que se siguen para su aplicación, como son: la formulación de los objetivos, la selección de los expertos, la elección de la metodología, su ejecución y el procesamiento de la información. Este último, dada su complejidad, demanda con urgencia orientaciones a los investigadores y estas son las que se pretenden ofrecer en este trabajo. El objetivo es abordar el tratamiento estadístico que exigen los datos registrados a partir de los criterios de los expertos atendiendo al cuestionario que se aplica y la cantidad de expertos que se utilizan. Palabras clave: Tratamiento estadístico. Expertos. Investigaciones.
Abstract Ina great part of investigations processes to get an academic title or Ph.D. grade in Physic Culture it is frequently used expert’s criteria evaluation method with low accuracy. This phenomenon can be watched in different steps followed for its use, such as objective formulation, expert choice, methodology choice, and the getting ready information processes which for complex causes need fast recommendations. The objective is to get the statistical treatment needed for the registered data from the expert’s criteria, paying attention to the applied surveys and the number of experts used. Keywords: Statistic. Expertise. Researches.
Recepción: 27/09/2015 - Aceptación: 09/11/2015
|
|||
 |
EFDeportes.com, Revista Digital. Buenos Aires, Año 20, Nº 210, Noviembre de 2015. http://www.efdeportes.com/ |
|
|
1 / 1
Introducción
La lectura y revisión de tesis doctorales y de maestrías, así como el estudio de literatura referida al método de evaluación por criterios de expertos, alertan la necesidad de abordar el tema, con el propósito de contribuir a una mayor rigurosidad en el trabajo investigativo.
La evaluación por criterios de expertos se realiza a través de un sistema de procedimientos organizados, lógicos y estadístico-matemáticos dirigidos a obtener la información procedente de los especialistas de máxima competencia, y su posterior análisis, con el objetivo de tomar decisiones confiables.
Se ha recomendado a los investigadores que utilizan el método de evaluación a través del criterio de expertos, reflexionar en torno a:
-
Cuál es el objetivo explícito de la consulta a expertos
-
Cómo seleccionará a los expertos
-
Son en realidad "expertos" las personas que consultará
-
Cuáles son las interrogantes a hacer a los expertos para que emitan sus juicios
-
Qué metodología utilizará
-
Cómo procesará la información.
Para la reflexión en torno a la última pregunta se requiere tener a mano variantes para el tratamiento estadístico de los criterios registrados de los expertos atendiendo al cuestionario que se aplica y la cantidad de expertos que se utiliza.
El objetivo de este trabajo es orientar al investigador en la elección del procesamiento estadístico adecuado y ofrecer criterios para medir consenso.
Desarrollo
I. Preliminares
Ante todo, se requiere claridad conceptual respecto a lo que se entiende por experto. De ahí que se plantee su definición: Se entiende por experto, tanto al individuo en sí como a un grupo de personas u organizaciones capaces de ofrecer con un máximo de competencia, valoraciones conclusivas de un determinado problema, hacer pronósticos reales y objetivos sobre efecto, aplicabilidad, viabilidad, y relevancia que pueda tener en la práctica la solución que se propone y brindar recomendaciones de qué hacer para perfeccionarla (Crespo, 2007).
La expresión en negrita adquiere relevancia en la definición dada. ¿Qué ocurre cuando el investigador no evalúa la propuesta científica con expertos y se le adjudica otro nombre a quienes lo hacen, digamos “especialistas”? De hecho, se está considerando entonces que la propuesta no la están evaluando individuos con un máximo de competencia. Si se está considerando que los especialistas que la evalúan son especialistas de reconocida experiencia profesional avalada por la alta calificación, conocimiento profundo del tema objeto de investigación y resultados satisfactorios en el trabajo profesional entonces, ¿por qué no considerarlos expertos? Estas interrogantes tienen respuesta en el trabajo Distinciones entre criterio de expertos, especialistas y usuarios en la evaluación de un resultado científico de Mesa y col. (2011).
De lo expresado anteriormente se comprende que la evaluación de un resultado científico se denomina de expertos cuando esa evaluación procede de las opiniones de especialistas con un máximo de competencia.
Corresponde entonces precisar la respuesta a cómo se ejecuta el método de evaluación a través de expertos. Se asumen, frecuentemente, las siguientes etapas de ejecución:
Etapas:
Elaboración del objetivo
Selección de los expertos
Elección de la metodología
Aplicación de la metodología seleccionada
Procesamiento de la información.
Estas etapas fueron traducidas a una secuencia de acciones de carácter metodológico (Mesa y col., 2011) como se muestra a continuación.
Precisar el objetivo explícito de la consulta a expertos
Delimitar qué características o requerimientos deben poseer los expertos en la investigación que se está realizando.
Seleccionar los posibles expertos que pueden ser utilizados en la investigación atendiendo a las características o requerimientos que deben poseer, delimitados en el paso anterior.
Determinar la cantidad de expertos que va a elegir de los ya seleccionados. Puede ser un número pequeño de ellos, pero también puede ser un número grande. En ambos casos, la cantidad se justifica según el propósito para el que se utilicen esos expertos. Se valora especialmente, si dispone de un número pequeño, las consecuencias que puede acarrear.
Seleccionar el método, la técnica e instrumento para la recolección de los criterios.
Aplicar el método y/o la técnica e instrumento para la recolección de los criterios con los requerimientos metodológicos exigidos para ello.
Procesar la información en dependencia del método y/o técnica e instrumento utilizado para la recolección de los criterios.
Decidir cuál es la forma óptima de “presentar” los resultados. Usualmente se emplean tablas resúmenes y gráficos que se comentan por escrito en el informe de investigación.
Destacar los aspectos relevantes derivados de su análisis.
De esa secuencia de acciones interesa, atendiendo los propósitos de este trabajo, aquella acción que plantea que el procesamiento de la información depende del método, la técnica o el instrumento utilizado para la recolección de los criterios. Este es el contenido del próximo epígrafe.
II. Elección del procesamiento estadístico atendiendo al cuestionario que se aplica a los expertos y el criterio a asumir, para medir consenso
Para la elección del procesamiento estadístico se recomienda atender a dos cuestiones esenciales: Tipos de preguntas y escalas de medición de las respuestas a las preguntas formuladas.
Existen distintos tipos de preguntas que pueden ser formuladas a los expertos con el propósito de extraer la información útil a los objetivos planteados por el estudio. En este caso, se atenderá a la clasificación según el grado de libertad de respuesta: cerradas (dicotómicas o politómicas) y abiertas. Las respuestas a las preguntas formuladas a los expertos son variables que por lo general, adquieren un carácter discreto con escalas de medición nominal u ordinal.
La variable es el símbolo que se utiliza para representar cualquiera de los estados particulares del aspecto de la realidad representado, esos estados son los valores de la variable y en cada manifestación particular, en cada caso concreto, la variable asume uno de esos valores (Campistrous y Rizo, 2006).
La determinación del valor de la variable que corresponde al caso en estudio es la medición. Se asume medición en un sentido muy general, en el cual no se presupone nada sobre la naturaleza de la variable utilizada; es decir, se habla de medición tanto si se trata de una variable numérica como si se trata de una variable que no sea numérica o cuantitativa.
Ellas pueden ser medidas de diferentes formas.
Las variables categóricas o nominales son variables cualitativas, no medibles cuantitativamente, que solo se pueden distinguir por el nombre, no conlleva más información que esa. Solo se puede saber de ellas si son iguales o diferentes. Los datos son unidades de información sobre un objeto. En este caso solo son nombres, no son números.
Las variables ordinales son aquellas donde el dominio de valores, pueden ser números o no, o sea pueden ser cuantitativas o cualitativas, pero dichos valores tienen la propiedad de estar ordenados respecto a un criterio dado. Son comparables según una relación de orden, pero no es posible medir la diferencia entre valores pues no tiene sentido.
Después de la elección y ejecución del procesamiento estadístico atendiendo a tipos de preguntas y escalas de medición de las respuestas a las preguntas formuladas se asume un criterio para medir consenso pues no existe una única forma de medirlo.
Se asume el término consenso como la obtención de un mismo resultado usando diferentes expertos. Medir en qué grado la valoración que hacen los encuestados es similar. La existencia de consenso está dada en función de las coincidencias en la clasificación.
A continuación se desarrollan los aspectos antes mencionados.
Tipo de pregunta: abierta o cerrada
Preguntas abiertas
Las preguntas son abiertas cuando no aparece limitado o preestablecido el modo de responder a las mismas y no se definen variantes de respuesta, por lo que el individuo tiene libertad para contestar de acuerdo a la forma en que interprete la pregunta.
Las preguntas abiertas llevan análisis cualitativo. Se leen detalladamente cada una de las respuestas y se resumen los elementos más comunes y esenciales.
El rasgo más característico del análisis de tipo cualitativo se encuentra en que las manipulaciones y operaciones realizadas sobre los datos se producen preservando su naturaleza textual, pero es frecuente recurrir a la transformación de los datos textuales en datos numéricos y a su tratamiento cuantitativo con el objetivo de contrastar o complementar las conclusiones obtenidas por vías cualitativas (Rodríguez Gómez y otros, 1999).
La transformación de los datos textuales en datos numéricos transforma la respuesta a la pregunta en una variable con escala de medición nominal donde sus posibles valores pueden ser dos, esto es, admiten dos categorías (variable dicotómica) o pueden ser más de dos, admiten más de dos categorías (variable politómica).
Procesamiento estadístico
Distribuciones empíricas de frecuencias (tablas de frecuencias)
Consiste en asignar a cada valor distinto que toma o puede tomar la variable un número no negativo ni llamado frecuencia, el cual es el número de veces que se repite dicho valor. Con esto puede resumirse la información en una tabla, llamada tabla de frecuencias o distribución empírica de frecuencias. Dicha tabla contiene otras columnas con el objetivo de mejorar la descripción de los datos. Estas columnas son las de frecuencias acumuladas, de frecuencias relativas y de frecuencias relativas acumuladas. Los valores de estas dos últimas columnas se multiplican por 100 y expresan porcentajes que facilitan el análisis cualitativo de los datos.
Los datos correspondientes a la ubicación de una respuesta en una categoría por parte de los expertos son las frecuencias absolutas. Así se obtiene una distribución de frecuencias absolutas. La frecuencia absoluta dividida por el número total de expertos es la frecuencia relativa. Esta frecuencia relativa se multiplica por 100 y se obtiene una distribución porcentual.
Ejemplo de respuesta dicotómica (Si /No)
Respuesta a la pregunta x
Frecuencia absoluta
(números de expertos que coinciden)
Porcentaje (%)
(frecuencia relativa*100)
SI
10
10/28*100 = 35,72
NO
18
18/28*100 = 64,28
Total
28
100
Ejemplo de respuesta politómicas
Respuesta a la pregunta x
Frecuencia absoluta
(números de expertos que coinciden)
Porcentaje (%)
(frecuencia relativa x 100)
SI
10
10/28*100 = 35,72
NO
17
17/28*100 = 60,71
NO SABE
1
1/28*100 = 3,57
Total
28
100
Criterios para medir consenso entre los expertos
Un criterio utilizado es el siguiente:
Más del 80% de los expertos coinciden (más de 80 de cada 100, más de 8 de cada 10) Mesa, M. (2006)
Otro criterio utilizado:
Coeficiente de concordancia expresado en porcentaje a través de la expresión:
Cc = (1-Vn/Vt)*100;
Donde, Vn: Cantidad de expertos en contra del criterio predominante.
Vt: Cantidad total de expertos.
Si Cc ≥ 60% concordancia aceptable. En caso contrario baja, hay poco consenso entre los expertos. (Cuesta, 2005)
Preguntas cerradas
Variantes de tipos de respuestas
La respuesta es una variable con escala de medición nominal donde sus posibles valores pueden ser dos, esto es, admiten dos categorías (variable dicotómica). Están asociadas a atributos donde solo es posible asignar dos valores posibles. Cuando se presenta la característica deseada se le asigna el valor 1 y si no se presenta se le asigna el valor 0. (Si /No, Verdadero/ Falso, De acuerdo/ En desacuerdo, entre otras)
La respuesta es una variable con escala de medición nominal donde sus posibles valores pueden ser más de dos. El experto puede seleccionar una característica de varias posibles.
La respuesta es una variable con escala de medición ordinal con un número impar de valores (por lo general, cinco valores).
Procesamiento estadístico
Para las variantes a y b se selecciona y ejecuta el mismo procesamiento estadístico descrito para el caso de preguntas abiertas para las que se realiza la transformación de los datos textuales en datos numéricos transformando la respuesta a la pregunta en una variable con escala de medición nominal donde sus posibles valores pueden ser dos, esto es, admiten dos categorías (variable dicotómica) o pueden ser más de dos, admiten más de dos categorías (variable politómica). También se pueden utilizar los mismos criterios para medir consenso entre los expertos.
Para la variante c de tipos de respuesta. La respuesta es una variable con escala de medición ordinal con un número impar de valores (por lo general, cinco valores) el procesamiento estadístico depende de la cantidad de expertos (n) que se utiliza (n<30 o n≥30)
La muestra de expertos no es grande (n < 30)
Coeficiente de Concordancia de rangos de Kendall W.
Mide el grado de asociación entre varios conjuntos (k) de N entidades. Es útil para determinar el grado de acuerdo entre varios jueces, o la asociación entre tres o más variables.
Mide el grado de concordancia de los expertos en las respuestas a un conjunto de preguntas en el que se le asigna un rango a cada evaluación dada por el experto i a las j preguntas. (Se hace necesario asignar un rango a cada evaluación dada por el experto i a las j preguntas. Este no es más que un número natural entre 1 y n, de forma tal el valor 1 le corresponda a la evaluación mayor y n, a la menor de las efectuadas por el experto. Nótese que la evaluación mayor considerada por el experto no tiene porqué coincidir con la puntuación mayor de la escala. Si el experto emplea la misma evaluación para más de una pregunta, el rango será igual a la media aritmética de las posiciones que deben ser adjudicadas).
Se parte de una tabla como la siguiente:
Preguntas del cuestionario
Expertos
1
2
3
...
J
...
n
1
C11
C12
C13
...
C1j
...
C1n
2
C21
C22
C23
...
C2j
...
C2n
3
C31
C32
C33
...
C3j
...
C3n
.
.
.
.
...
.
...
.
i
Ci1
Ci2
Ci3
...
Cij
...
Cin
.
.
.
.
...
.
...
.
m
Cm1
Cm2
Cm3
...
Cmj
...
Cmn
donde:
m: cantidad de expertos;
n: cantidad de preguntas;
mj: cantidad experto que evalúan la pregunta j (mj£ m);
Cij: evaluación de la pregunta j. realizada por el experto i.
Se construye otra tabla con la asignación de rangos a cada evaluación dada por el experto i a las j preguntas como fue indicado anteriormente y esos datos son los que se procesan. Si utiliza el SPSS se elige Analizar → Pruebas No Paramétricas → K Muestras Relacionadas, se selecciona y transfiere cada una de las variables que representan las preguntas a la selección “contrastar variables”, se marca en la sección “tipo de prueba” la prueba W de Kendall y se desmarca la prueba de Friedman y, pulsa el botón aceptar.
El Coeficiente de Concordancia de Kendall (W), ofrece el valor que posibilita decidir el nivel de concordancia entre los expertos. El valor de W oscila entre 0 y 1. El valor de 1 significa una concordancia de acuerdos total y el valor de 0 un desacuerdo total. Un valor bajo del coeficiente significa una débil concordancia que generalmente es producida porque no existe realmente una alta concordancia o porque existen grupos dentro de los expertos con una elevada concordancia, pero con criterios opuestos.
No basta con saber si W está más próximo a 0 o 1 sino que además se debe saber si W es significativamente distinta de 0 para rechazar la hipótesis de concordancia casual.
La tendencia a 1 es lo deseado pudiéndose realizar nuevas rondas si en la primera no es alcanzada significación en la concordancia.
Es conveniente apuntar que el Coeficiente de Concordancia de Kendall (W), ofrece el valor que posibilita decidir el nivel de concordancia entre los expertos en general, nada dice respecto a la concordancia por ítems (preguntas). El coeficiente de variación para cada pregunta puede ser un indicador, cuanto mayor sea el porcentaje de variación, menor ha sido la coincidencia de los expertos.
Pueden existir preguntas que muestren menor coincidencia de los expertos pero antes de decidir perfeccionar o cambiar los aspectos que corresponden a esas preguntas para someterlo nuevamente a los expertos se calculan otras medidas descriptivas que pueden ayudar a la toma de decisión definitiva. Esas medidas son la moda, los cuartiles y valores mínimos y máximos.
En una investigación particular, el coeficiente de concordancia de Kendall obtenido fue W= 0,794. Este valor indica que hay consenso entre los expertos en general. W es significativamente distinta de 0 (0,000 < 0,01). Se rechaza la hipótesis de concordancia casual.
Como se sabe, W ofrece el valor que posibilita decidir el nivel de concordancia entre los expertos en general, nada dice respecto a la concordancia por preguntas. Por eso se calcula el coeficiente de variación para cada pregunta.
Estadígrafo
Preguntas
P1
P2
P3
P4
P5
P6
P7
Media
1,00
1,29
1,00
2,71
1,63
2,13
1,00
Desviación típica
0,00
0,55
0,00
0,46
0,71
0,45
0,00
Coeficiente de variación (%)
0,00
42,60
0,00
16,9
43,55
21,11
0,00
Si a mayor porcentaje de variación menor coincidencia de los expertos, entonces las mayores concordancias de los 24 expertos que colaboraron en la investigación estuvieron en las preguntas 1, 3 y 7. Como se consideró no revalorar las preguntas con respuestas con las dos más altas evaluaciones (rangos 1 y 2), entonces estas, no requieren transformación.
Las preguntas 2 y 5 son las que muestran menor coincidencia de los expertos aunque hay que apuntar que las preguntas 4 y 6 no muestran una gran coincidencia.
Como fue expresado, antes de decidir perfeccionar o cambiar los aspectos que corresponden a esas preguntas para someterlo nuevamente a los expertos, se calculan otras medidas descriptivas que ayudan a la toma de decisión definitiva.
Estadígrafo
Preguntas
P1
P2
P3
P4
P5
P6
P7
Moda
1
1
1
3
1
2
1
Mínimo
1
1
1
2
1
1
1
Cuartil 1
1
1
1
2
1
2
1
Mediana
1
1
1
3
1,50
2
1
Cuartil 3
1
1,75
1
3
1,50
2
1
Máximo
1
3
1
3
3
3
1
Ya se sabe que las respuestas de mayores discrepancias corresponden a las preguntas 2 y 5. Se observa que en la pregunta 2 el rango más frecuente es 1 que corresponde a la mejor categoría de evaluación. La pregunta 5 tiene un comportamiento similar a la pregunta 2.
Atendiendo a estos resultados no hay perfeccionar o cambiar los aspectos que corresponden a esas preguntas para someterlo nuevamente a los expertos.
Nótese que en la pregunta 4 hay un predominio del rango 3, que corresponde a la menor evaluación de las efectuadas por los expertos y el valor mínimo indica que ningún experto otorgó la mayor evaluación. En la pregunta 6 aunque no hay un predominio del rango 1, su comportamiento es mejor que la pregunta 4.
Estos resultados pueden conducir a la toma de decisión de perfeccionar o cambiar lo concerniente a la pregunta 4 para someterlo de nuevo a los expertos.
La muestra de expertos es grande (n ≥ 30)
Se aplica el algoritmo basado en el modelo matemático Torgerson. Este algoritmo es el siguiente:
Datos correspondientes a las valoraciones de los expertos. (Distribución de frecuencias absolutas).
Cálculo de la frecuencia acumulada de los datos captados en el paso anterior.
Cálculo de las frecuencias relativas (probabilidades) acumuladas.
Determinación del inverso de la distribución normal estándar acumulativa (bajo el supuesto de normalidad) y se realizan otros cálculos para determinar los puntos de cortes.
Tabla con el consenso de los expertos y gráfico de los datos.
Este procedimiento es válido cuando la muestra de expertos es grande pues solo así se justifica la determinación del inverso de la distribución normal estándar acumulativa.
Es un algoritmo simple por lo que los cálculos necesarios pueden ser automatizados con facilidad en una hoja de cálculo Excel.
Campistrus y Rizo (2006) ilustran la aplicación manual de ese algoritmo y Crespo (2007) lo ilustra mediante una aplicación informática.
Conclusiones
-
La elección del procesamiento estadístico depende del método y/o técnica e instrumento utilizado para la recolección de los criterios de los expertos.
-
La elección del procesamiento estadístico no puede desatender el tamaño de la muestra de expertos.
-
El disponer de estas orientaciones contribuye a la elección del procesamiento estadístico adecuado por parte del investigador y de esta manera se imprime mayor rigor a los resultados obtenidos por el método de evaluación por criterio de expertos.
Bibliografía
-
Campistrous, L. y Rizo, C. (2006). Indicadores e investigación educativa. En: Metodología de la investigación educacional. Desafíos y polémicas actuales. Colectivo de autores (eds.). Ciudad de La Habana: Editorial Ciencias Médicas.
-
Crespo, T. (2007). Respuestas a 16 preguntas sobre el empleo del método Delphy en la investigación pedagógica. Lima: Editorial San Marcos.
-
Cuesta, A. (2005). Gestión de Competencias. Monografía. Sporte Digital
-
Fleitas, I., Mesa, M. y Guardo, M.E. (2013). Sobre algunos métodos cualimétricos en la cultura física: criterio de expertos, especialistas, peritos, jueces y árbitros, usuarios y evaluadores externos. EFDeportes.com, Revista Digital. Buenos Aires, Año 18, Nº 179, Abril. http://www.efdeportes.com/efd179/metodos-cualimetricos-en-la-cultura-fisica.htm
-
Mesa, M. (2006). Asesoría estadística en la investigación aplicada al deporte. Ciudad de la Habana: Editorial José Martí.
-
Mesa, M., Vidaurreta, R. y Guardo, M. E., (2011). Distinciones entre criterio de expertos, especialistas y usuarios. Monografias.com.
-
Rodríguez Gómez, G. y Gil, J. (1999). Metodología de la investigación cualitativa. Málaga: Ediciones Aljibe.
Otros artículos sobre Educación Física
|
|
Búsqueda personalizada
|
|---|---|
|
EFDeportes.com, Revista
Digital · Año 20 · N° 210 | Buenos Aires,
Noviembre de 2015 |
|