Metodologa observacional

L mtodo de observacin pretende recoger el significado de una conducta,

evitando su manipulacin, a travs del sistema de observacin ms adecuado
(Anguera, 1983a). No existe manipulacin (a diferencia de la metodologa
experimental y cuasi-experimental) de la conducta pero s control de las posibles
variables extraas que distorsionaran los datos. Con dicho control se pretende que la
variable o variables independientes sean las nicas responsables directas de los valores
de la o las variables dependientes.
El grado de control que el investigador puede lograr de la situacin a observar depende
en gran medida de la situacin de observacin: ambiente natural / ambiente de
laboratorio. En el primer caso la conducta a estudiar forma parte del repertorio de
respuestas del sujeto mientras que en el ambiente de laboratorio (tambin llamado
mtodo de anlogos) la conducta se produce en un entorno totalmente diferente,
existiendo una cierta manipulabilidad de la misma.
En las situaciones artificiales de laboratorio se crean situaciones anlogas que requieren
que el sujeto responda a estmulos que simulan a aquellos que se podran encontrar en el
ambiente natural. El sujeto tiene que desempear el papel que se le adjudica como si se
encontrara en la situacin propuesta por el investigador, incrementndose la validez
interna del estudio en comparacin con los estudios en ambiente natural. A pesar de
ello, se recomienda utilizar la situacin artificial solamente cuando es totalmente
imposible recoger las mediciones en ambiente natural (Anguera, 1983b).
Cuando llevamos a cabo un estudio con metodologa observacional es necesario que el
investigador complete las tres fases siguientes:
observar la conducta-foco u objeto del estudio, elaborando las correspondientes
categoras de las conductas
categorizar la conducta para poder ser medida mediante el sistema de cdigos o
categoras que se ha desarrollado en la fase anterior y
realizar el anlisis de los datos registrados
La cumplimentacin de estas fases permite obtener un conocimiento fiable y vlido de
las conductas observadas, recogiendo informacin sobre la frecuencia y periodicidad de
los fenmenos y asegurando as la representatividad de los datos en unas condiciones
concretas de muestra y ambiente. A diferencia de la metodologa experimental, no trata
de encontrar leyes causales (Riba, 1991).
Los indicadores bsicos que se utilizan en la metodologa observacional se basan en la
medicin de la frecuencia y la duracin de la conducta especialmente y su latencia e
intensidad (Carreras, 1991). El registro puede ser continuo o completo, cuando el
observador anota la ocurrencia de las diferentes categoras a lo largo de toda la sesin
de observacin, o discontinuo. En este ltimo caso, el observador registra las categoras

77

78

Metodologa observacional

en determinados momentos de la sesin de observacin establecidos a priori (Bakeman

y Gottman, 1986).
El tipo de soporte o instrumento utilizado para la recogida de los datos est conexionado
con la metodologa aplicada (Losada, 1993). Dentro del mbito de la metodologa
experimental, el laboratorio y las mquinas de medir constituyen las dos piezas claves
para la medicin. La metodologa cuasi experimental suele basar la recogida de datos en
los cuestionarios, entrevistas y encuestas y la metodologa observacional requiere del
observador apoyado por instrumentos mecnicos (sistemas de codificacin y plantillas
de registros) y tecnolgicos (soportes magnticos como magnetfono, vdeo, foto y
memorias porttiles).
Un claro ejemplo de sistema de codificacin (Blanco y Anguera, 1991) lo constituye el
sistema de Kent, OLeary y Broderick (citado en Losada, 1993). Este sistema tiene
como objetivo bsico identificar ciertas conductas disruptivas del nio en el aula y as
poder perfilar ciertos objetivos de intervencin. Los registros se refieren a la conducta
del nio en clase y durante la realizacin de una prueba. Este sistema de codificacin
requiere un proceso de categorizacin de las conductas logrado a travs de un sistema
de categoras que permita registrar las conductas-foco con un alto grado de
sistematizacin.

Estimacin de la fiabilidad de datos

observacionales
La utilizacin de instrumentos de observacin supone hablar de fiabilidad de los datos
observacionales obtenidos, no circunscribiendo el trmino al instrumento en s mismo.
La fiabilidad del instrumento permite conocer la calidad de las mediciones llevadas a
cabo (Anguera, 1990). Se considera que es fiable si hay pocos errores de medida, si
existe estabilidad, consistencia y dependencia en las puntuaciones individuales de las
caractersticas evaluadas (Blanco, 1989).
Los resultados originados a travs de la aplicacin de instrumentos de medicin
requieren la comprobacin de su fiabilidad como producto de la utilizacin de un
sistema de registro dado, de un observador determinado y de unas condiciones
ambientales especficas. La fiabilidad de los datos depende as de muchos factores y no
slo del propio sistema de registro empleado (Suen y Ary, 1989). La estimacin del
acuerdo en los registros de observadores simultneos facilita una medida de la
fiabilidad existente (Anguera, 1983a).
El clculo repetido de las propiedades psicomtricas del instrumento de observacin se
convierte en tarea obligada para cada conjunto de datos obtenidos, dado que el factor
humano-observador requiere un continuo control de la calidad de sus registros. Dicho
factor no es un elemento fijo del instrumento ya que va cambiando en funcin de la
persona encargada del registro e incluso para un observador dado la eficacia de los datos
recogidos puede variar de sesin a sesin de observacin. Por ello, es recomendable
realizar evaluaciones peridicas de la fiabilidad de las observaciones realizadas aunque
los observadores ya sean expertos en el manejo del instrumento de observacin.
78

Coeficientes de fiabilidad

79

Cuando un investigador decide aplicar un mtodo de recogida de datos basado en la

observacin, es necesario llevar a cabo en primer lugar un entrenamiento de
observadores con el fin de que sean expertos en el registro de los datos, asegurando la
calidad y objetividad de la informacin proporcionada por dicha metodologa.
Para garantizar la certeza de los registros se suele estimar la similitud de los juicios
emitidos por al menos dos observadores expertos que observan simultneamente una
misma situacin o tambin la proximidad del registro de un nico observador en
relacin a una plantilla estndar que se considera que recoge la codificacin del
instrumento con alta perfeccin. Estos acuerdos o correlacin entre las observaciones
realizadas de una misma situacin se resean como estimacin de la fiabilidad y
proporcionan la base para afirmar que los registros realizados son el producto replicable
del proceso de observacin utilizado y no del juicio idiosincrsico de los observadores.
Se considera que existe acuerdo entre dos o ms observadores cuando al observar una
situacin dada coinciden en la codificacin de presencia o ausencia de una determinada
conducta, cdigo o categora.
Existe un amplio nmero de ndices que permiten estimar la fiabilidad de datos
observacionales. Por ejemplo, Berk (1979) describe 16 diferentes ndices de acuerdo
entre-observadores mientras que Blanco (1993) presenta 22. Sin embargo, es
conveniente sealar que muchos de ellos se solapan en sus indicaciones. Los
coeficientes de fiabilidad entre observadores ms utilizados por los investigadores se
presentan a continuacin, destacando por su mayor frecuencia de uso el porcentaje de
acuerdo entre observadores y especialmente el coeficiente kappa de Cohen (1960).

Coeficientes de fiabilidad
Existe una amplia variedad de mtodos para computar la fiabilidad de datos nominales.
La eleccin del mtodo constituye una labor cuidadosa por parte del investigador ya que
determinar la confianza de las conclusiones obtenidas. Partiendo de la idea de que la
fiabilidad es una medida de la similitud de los registros observacionales realizados en
un momento determinado, se van a tratar diferentes coeficientes junto con sus
caractersticas ms destacadas.
Si dos observadores observan una misma conducta, los datos obtenidos pueden ser
representados por medio de una tabla de doble entrada con j filas y k columnas. Los
cdigos recogen informacin no ordinal. En la Figura 27 se representa en una matriz
2 2 las posibilidades de acuerdo / no acuerdo entre ambos observadores. En dicha
matriz se observa el registro realizado por cada observador como presencia (conducta
presente) o ausencia (conducta ausente) del cdigo que se est analizando. Vamos a
suponer que el investigador desea analizar la fiabilidad entre observadores al codificar
la presencia o ausencia de una determinada variable o conducta.
La celdilla A representa la frecuencia con que los dos observadores estn de acuerdo
en registrar presencia del cdigo que recoge la variable objeto de estudio.
La celdilla D representa el acuerdo de ausencia del cdigo o no ocurrencia.

79

80

Metodologa observacional

La celdilla B representa aquellos casos en los que el observador 1 registra presencia

del cdigo pero el observador 2 registra ausencia.
Y la celdilla C representa el caso contrario, es decir, cuando el observador 1 registra
ausencia y el observador 2 presencia del cdigo.
Observador 1

Conducta
presente

Observador 2

Conducta
ausente

NO ACUERDO

Conducta
presente

P2

Conducta
ausente

A2

ACUERDO

P1
Frecuencia total de observacin del cdigo

A1

N=A+B+C+D

Frecuencia de presencia de conducta registrada por el observador 1

P1=A+B

Frecuencia de presencia de conducta registrada por el observador 2

P2=A+C

Frecuencia de ausencia de conducta registrada por el observador 1

A1=C+D

Frecuencia de ausencia de conducta registrada por el observador 2

A2=B+D

Figura 27 Matriz de acuerdo / no acuerdo para dos observadores con registro

simultneo
La matriz obtenida permite observar los acuerdos y desacuerdos producidos entre los
dos registros aportados por los observadores. Para poder completar la matriz es
necesario definir previamente qu es lo que se considera acuerdo y qu se considera noacuerdo (Bakeman y Gottman, 1986). En general, los propios sistemas o instrumentos
de observacin ya reflejan tal tipo de decisiones.
Una vez conocida dicha matriz ya es posible calcular el coeficiente ms apropiado que
informe as de la fiabilidad de los datos observacionales recogidos por los dos
observadores.
El porcentaje de acuerdo indica el porcentaje de veces que dos observadores estn de
acuerdo respecto a que una determinada conducta est presente o de acuerdo en cuanto a
la ausencia o no ocurrencia de dicha conducta. Supone sumar el acuerdo de los
observadores, dividir por el total y multiplicarlo por cien.
A+D
100
[1]
A+B+C+D
En definitiva, la proporcin de acuerdo es la suma de las entradas de la diagonal
principal de la matriz de frecuencias (Acuerdo) divido por N. El rango de A% vara entre
0% y 100%.
A% =

El porcentaje de acuerdo (Kent y Foster, 1977) recibe diversos nombres segn los
autores. Hartmann (1977) lo denomina acuerdo en porcentajes, Hawkins y Dotson
80

Coeficientes de fiabilidad

81

(1975) lo califican como acuerdo intervalo por intervalo, Repp, Roberts, Slack, Repp
y Berkler (1976) le asignan el trmino de acuerdo exacto, House, House y Campbell
(1981) le suscriben el trmino de acuerdo total y Kelly (1977) lo distingue con la
calificacin de fiabilidad punto por punto.
La utilizacin del porcentaje de acuerdo ha sido criticada dado que su valor est inflado
por el acuerdo entre los observadores producido por el mero azar. La problemtica del
aumento de su valor por el azar se endurece cuando la ocurrencia de las conductas o
cdigos de observacin es extremadamente alta o extremadamente baja. En este sentido,
cuando una determinada conducta o cdigo es infrecuente, la fiabilidad por acuerdo
puede dar lugar a altos valores de los coeficientes debido al acuerdo por azar de la no
ocurrencia o ausencia de dicha conducta. Si los anlisis estn basados sobre la
frecuencia con la que la conducta foco ocurre, una alta fiabilidad al registrar la ausencia
de dicha conducta no es especialmente relevante.
Una solucin a este ltimo punto consiste en aplicar ndices de porcentaje de acuerdo
que valoren en concreto la presencia del cdigo o su ausencia. Ambos ndices de
acuerdo solamente son aplicables cuando hay dos observadores.
El porcentaje de acuerdo de presencia de cdigo se utiliza cuando la presencia de la
conducta es baja:
P% = A + BA + C 100

[2]

y el porcentaje de acuerdo de ausencia de cdigo:

AU% = B + DC + D 100

[3]

se aplica cuando la ausencia del cdigo es alta o, lo que es lo mismo, su ocurrencia es

baja, disminuyendo la inflacin de acuerdo producida por azar (Bijou, Peterson, Harris,
Allen y Johnson 1969; Hawkins y Dotson, 1975) aunque por supuesto no eliminndola.
Observe el lector tambin que el N total vara en cada ndice.
El porcentaje medio de acuerdo en conductas en presencia y ausencia de conducta se
obtiene a travs de:
A

A+B+C B+C+D
X% =
100
2

[4]

Cohen (1960) describi un estadstico denominado kappa, el cual representa una

medida de acuerdo tanto para la presencia como para la ausencia de conductas
corrigiendo el acuerdo producido por azar.
El estadstico kappa corrige la frmula de la fiabilidad por acuerdo al sustraer el
acuerdo por azar tanto para la presencia como ausencia en el numerador y denominador.
Su clculo se expresa como:

81

82

Metodologa observacional

k=

po pe

1 pe

[5]

donde
po es la proporcin de acuerdo observado realmente, estara indicado por el porcentaje de
acuerdo mencionado anteriormente:

A+D
N

[6]

pe la proporcin de acuerdo esperada por azar:

(A + B) (A + C) (B + D) (C + D)
+
N2
N2

[7]

Los coeficientes anteriores a kappa estn de hecho inflados por el acuerdo producido
por azar entre los observadores que registran presencia y/o ausencia de conductas.
El cmputo corregido del acuerdo por azar sobre la presencia de la conducta implica
multiplicar (A + B) por (A + C) y dividir el producto por el total (N). El acuerdo por azar
sobre la ausencia de la conducta se determina multiplicando (B + D) por (C + D) y
dividiendo el producto por el total (A + B + C + D).
As, en la frmula de kappa el numerador indica la diferencia entre el acuerdo
observado real y el esperado por azar, mientras que el denominador recoge la diferencia
posible total entre el acuerdo observado y el esperado por azar. A partir de esta frmula
podemos desarrollar la siguiente expresin:
A (A + B) (A + C) + D (B + D) (C + D)
A + B + C + D
A+B+C+D

k=
(A
+
B)
(A
+
C)
A
+ B + C + D (B + D) (C + D)
A + B + C + D
A+B+C+D

[8]

Por lo tanto, el coeficiente kappa es la razn entre el acuerdo observado y no azaroso

dividido por el posible acuerdo total no producido por azar.
Como se observa po representa lo mismo que A% pero sin multiplicar por 100 mientras
que pe alude al sumatorio de las probabilidades de acuerdo por azar y consiste en la
suma de los productos marginales.
En el clculo del coeficiente kappa, el trmino pe supone tener en cuenta el posible
acuerdo por azar de los dos observadores tanto en relacin a la presencia del cdigo
como a su ausencia, eliminndolo o restndolo de la proporcin de acuerdo observado
(po); dicho coeficiente queda tipificado al dividirlo por 1 pe.
Si el observador 1 informa que el cdigo ocurre o est presente en una proporcin de
P1 y el observador 2 en una proporcin de P2, el producto de P1 por P2 indica la
proporcin de acuerdo de presencia de cdigo que se puede esperar por azar. Del
mismo modo, el posible acuerdo por azar respecto a la ausencia de cdigo viene
indicado por el producto de A1 por A2. La proporcin total de acuerdo por azar ser la
suma de ambos productos.
82

Coeficientes de fiabilidad

83

Por lo tanto, el acuerdo esperado por azar es el siguiente:

pe = P1 P2 + A1 A2

[9]

El rango de valores que puede alcanzar el coeficiente kappa oscila entre +1 y -1. Un
kappa positivo indica que los observadores estn de acuerdo ms frecuentemente que lo
que se podra esperar por azar. Si el valor es de 1 entonces el acuerdo es absoluto.
Cuando kappa es igual a cero, el acuerdo entre los observadores no est ms all del que
se puede esperar por azar.
Resultados negativos de kappa indican que el desacuerdo entre los observadores es ms
frecuente de lo que se puede esperar por azar. Si el valor es de -1, entonces el
desacuerdo entre los observadores es total.
Gelfand y Hartmann (1975) consideran que 0.60 es el valor mnimo aceptable de
kappa como acuerdo entre los observadores. Landis y Koch (1977) sealan que un
valor de 0.80 indica una fiabilidad buena y Bakeman y Gottman (1986) consideran
con preocupacin valores de kappa menores a 0.70. Fleiss (1981) caracteriza como
regulares los valores que se hallan entre 0.40 y 0.60, buenos los que se
encuentran entre 0.60 y 0.75 y excelentes por encima de 0.75. Otros autores han
descrito la distribucin de muestreo del coeficiente kappa, determinando tambin qu
valores de kappa difieren significativamente de cero (Hubert, 1977).
Existen variaciones de este estadstico que pueden ser empleados como medidas de
fiabilidad tanto para la presencia como para la ausencia del cdigo simplemente
sustrayendo la correccin de acuerdo por azar del numerador y denominador.
En el caso del estudio de la fiabilidad cuando el cdigo est presente la formula es la
siguiente:
(A + B) (A + C)
A+B+C
(A + B) (A + C)
B+C+A
A+B+C
A

kpresencia =

[10]

mientras que cuando se trata de analizar la fiabilidad para ausencia de cdigo la frmula
sera:
(B + D) (C + D)
B+C+D
(B + D) (C + D)
B+C+D
B+C+D
D

kausencia =

[11]

Algunos investigadores utilizan el coeficiente de correlacin dos-por-dos phi

expresado a continuacin:

ADBC
(A + B) (C + D) (A + C) (B + D)

[12]

Este estadstico es una correlacin producto momento de Pearson para variables

dicotmicas. En general, los valores absolutos de kappa y phi se corresponden
ntimamente (Wakefield, 1980) pudiendo alcanzar ambos ndices valores entre 1 y -1.
El ndice lambda (Goodman y Kruskal, 1954) solamente considera los acuerdos y
desacuerdos referidos a la presencia de conducta aunque, por supuesto tambin se puede
83

84

Metodologa observacional

calcular para los desacuerdos. Su rango se encuentra entre 1 (acuerdo o asociacin

completa) y -1 (desacuerdo total). La frmula se expresa as:

= 22 AA + BB + CC

[13]

El coeficiente de asociacin Q de Yule (Yule, 1912) vara entre 1 y -1 y solamente

mostrar una asociada completa o acuerdo exacto entre los dos observadores cuando no
aparezca ninguna frecuencia en las celdillas de desacuerdos B o C.
Se obtiene a travs de la siguiente formulacin:
Q = AA DD + BB CC

[14]

Cmputo de los coeficientes de fiabilidad

Realicemos a continuacin un ejemplo con el objetivo de calcular los diferentes
coeficientes apuntados anteriormente.
Los datos que se presentan se han obtenido en una sesin de observacin en la que dos
observadores llevan a cabo el proceso de registro de una determinada conducta de forma
independiente (por ejemplo la conducta de mirar hacia el compaero de la derecha en
el aula cuando el profesor est explicando un tema).
Se computar:
acuerdo cuando ambos coincidan en codificar que la conducta fue realizada o no
realizada por el nio y
desacuerdo cuando uno de ellos codifique que el nio estaba atento y el otro
observador codifique que no lo estaba
Supuesto 1
Supongamos que un investigador desea conocer la fiabilidad de los datos observacionales
obtenidos por dos observadores respecto a una determinada conducta codificada.
La duracin de la sesin de observacin es de diez minutos (registrndose de forma artificial en
intervalos de un minuto) y los datos obtenidos son los presentados en la Figura 28.

84

Coeficientes de fiabilidad

85

1= presencia/0= ausencia
REGISTROS
Observador 1

Observador 2

Intervalos

ACUERDO PRESENCIA

ACUERDO AUSENCIA
ACUERDO AUSENCIA

ACUERDO AUSENCIA

NO ACUERDO

NO ACUERDO
ACUERDO PRESENCIA

ACUERDO AUSENCIA

10

ACUERDO AUSENCIA

NO ACUERDO

Figura 28 Resultados obtenidos por dos observadores tras una sesin de observacin
de diez intervalos
Realicemos a continuacin la tabla de contingencia 2 2 representando las frecuencias
de acuerdos y desacuerdos (vase Figura 29). Se han registrado en la tabla las letras A,
B, C y D para facilitar al lector el clculo de los diferentes coeficientes.
Observador 1

Conducta
presente
Conducta
presente
Observador 2
Conducta
ausente

2
2

Conducta
ausente
A

7
N=10

Figura 29 Frecuencias de Acuerdo y No Acuerdo

Los resultados para cada uno de los coeficientes de estimacin de la fiabilidad entreobservadores se detallan en la Tabla 7.
Tabla 7 Estimacin de la fiabilidad
A%

P%

AU%

X%

kpresencia

kausencia

70%

40%

62.5%

51.25%

0.348

-0.153

-0.091

0.143

0.356

0.667

El desarrollo de los clculos es el siguiente:

1. El porcentaje de acuerdo:
A+D
2+5
A% = A + B + C + D 100 = 2 + 2 + 1 + 5 100 = 70.0%
85

86

Metodologa observacional

2. El porcentaje de acuerdo de presencia de cdigo:

A
2
P% = A + B + C 100 = 2 + 2 + 1 100 = 40.0%
3. El porcentaje de acuerdo de ausencia de cdigo:
D
5
AU% = B + C + D 100 = 2 + 1 + 5 100 = 62.5%
4. El porcentaje medio de acuerdo:
A
D
+
A+B+C B+C+D

X% =
100 =
2
2
5
2+2+1+2+1+5
=
100 = 51.25%
2
5. El coeficiente kappa de Cohen:
A (A + B) (A + C) + D (B + D) (C + D)
A + B + C + D
A+B+C+D

k=
=
(A
+
B)
(A
+
C)
A
+ B + C + D (B + D) (C + D)
A + B + C + D
A+B+C+D

2 (2 + 2) (2 + 1) + 5 (2 + 5) (1 + 5)
2+2+1+5 2+2+1+5
=
=
2 (2 + 2) (2 + 1) + 2 + 1 + 5 (2 + 5) (1 + 5)
2+2+1+5
2+2+1+5
6. El coeficiente kappa de Cohen para presencia de conducta:
(A + B) (A + C)
A+B+C
=
(A + B) (A + C)
B+C+A
A+B+C
A

kpresencia =

(2 + 2) (2 + 1)
2+2+1
=
= -0.153
(2 + 2) (2 + 1)
2+1+2
2+2+1
2

7. El coeficiente kappa de Cohen para ausencia de conducta:

(B + D) (C + D)
B+C+D
=
(B + D) (C + D)
B+C+D
B+C+D
D

kausencia =

(2 + 5) (1 + 5)
2+1+5
=
= -0.091
(2 + 5) (1 + 5)
2+1+5
2+1+5
5

8. El coeficiente de correlacin Phi:

ADBC
(A + B) (C + D) (A + C) (B + D)

86

0.348

Coeficientes de fiabilidad

87
2521
=
(2 + 2) (1 + 5) (2 + 1) (2 + 5)

0.356

9. El coeficiente lambda:
21
=
2 2 + 2 + 1

0.143

2521
Q = AA DD + BB CC = 2 5 + 2 1 =

0.667

= 22 AA + BB +CC =

22

10. El coeficiente Q de Yule:

Observando los resultados obtenidos se puede concluir que existe un 70% de acuerdo
entre los dos observadores respecto a la presencia y ausencia del cdigo estudiado,
siendo mayor el acuerdo cuando se trata de codificar ausencia del cdigo o conducta
(62.5%). El acuerdo medio es del 51.25%. Sin embargo cuando calculamos el
coeficiente kappa de Cohen (1960) y el posible acuerdo por azar es tenido en cuenta, las
conclusiones se modifican.
El valor de kappa obtenido al analizar la codificacin registrada por cada observador es
de 0.348, resultado considerado por los diferentes investigadores como bajo, no
acercndose ni al valor mnimo aceptable de acuerdo de 0.60 propuesto por Gelfand y
Hartmann (1975), siendo categorizado en todo caso como acuerdo regular (Fleiss,
1981) al rozar al valor de 0.40. Si analizamos este coeficiente para la codificacin de
presencia y de ausencia de conducta independientemente, la interpretacin de los
resultados es an ms dramtica ya que el signo negativo indica que el desacuerdo entre
los observadores es ms frecuente de lo que se puede esperar por azar.

87