Machine Translated by Google

Revista de Trastornos de la Comunicación 89 (2021) 106076

Listas de contenidos disponibles en ScienceDirect

Revista de trastornos de la comunicación

página de inicio de la revista: www.elsevier.com/locate/jcomdis

Fiabilidad intra e interjueces de la calificación de la apraxia del habla

Escala en pacientes con accidente cerebrovascular temprano

¨
a, b b
Helena Hybbinette *, según Ostberg , Ellika Schalling
a
Departamento de Ciencia Clínica, Intervención y Tecnología, División de Patología del Habla y Lenguaje, Instituto Karolinska y Departamento de
Medicina de Rehabilitación, Hospital Danderyd, Estocolmo, Suecia
b
Departamento de Ciencia Clínica, Intervención y Tecnología, División de Patología del Habla y Lenguaje, Instituto Karolinska y Unidad Médica
Patología del habla y el lenguaje, Hospital Universitario Karolinska, Estocolmo, Suecia

INFORMACIÓN DEL ARTÍCULO ABSTRACTO

Palabras clave:
Apraxia del accidente cerebrovascular de confiabilidad de la evaluación del habla
Propósito: Existe una necesidad reconocida de un instrumento de evaluación confiable para el diagnóstico de apraxia del
habla (AOS) en pacientes que han sufrido un accidente cerebrovascular. En 2014, Strand y sus colegas informaron una
confiabilidad intra e interjueces alta a excelente de la Escala de calificación de apraxia del habla (ASRS) en trastornos
neurodegenerativos del habla y el lenguaje. Recientemente también se informó una excelente confiabilidad entre jueces de
la puntuación total de la ASRS en otro estudio de personas con AOS crónica después de un accidente cerebrovascular,
donde las calificaciones fueron realizadas por dos investigadores experimentados que no participaron en el desarrollo del
instrumento. Sin embargo, todavía no está completamente determinado si la ASRS es un instrumento confiable en la
evaluación de pacientes en una fase temprana después del accidente cerebrovascular, donde la AOS grave no es infrecuente.
Tampoco está determinado si las calificaciones ASRS pueden ser realizadas de manera confiable por patólogos del habla y
el lenguaje (SLP) en ejercicio sin una larga experiencia común y capacitación conjunta. Por lo tanto, este estudio aborda
estas preguntas.
Método: La ASRS se administró a treinta y seis personas en los primeros seis meses después del accidente cerebrovascular.
Los procedimientos de evaluación fueron grabados en vídeo. Se seleccionaron diez de las grabaciones para el estudio de
confiabilidad, representativas de pacientes atendidos típicamente en la sala de hospitalización real con diversos grados de
gravedad de AOS. Cinco SLP de diferentes departamentos hospitalarios participaron como evaluadores. Los evaluadores
vieron cada video y calificaron de forma independiente la presencia y gravedad del AOS utilizando la ASRS. Para estudiar la
confiabilidad intrajuez, se realizó una nueva puntuación después de un mínimo de tres semanas. La confiabilidad se calculó
utilizando el coeficiente de correlación intraclase (ICC).
Resultados: El acuerdo intrajuez para la puntuación total de la ASRS varió de moderado a excelente (ICC medio = 0,69; IC
del 95 % [0,60, 0,77]), con la mayoría de los acuerdos medios a nivel de ítem dentro de las categorías "moderado" o "bueno".
La confiabilidad entre jueces fue pobre para la puntuación total de la ASRS (ICC = 0,42; IC del 95 % [0,35; 0,50]). Los
resultados a nivel de ítem variaron entre moderados y pobres, con falta de acuerdo en varios ítems.

Conclusiones: Para los médicos sin conocimiento experto de AOS y capacitación limitada en el uso de la ASRS, la
confiabilidad intra e interjueces de la ASRS no es satisfactoria. Además, dado que algunos elementos del protocolo requieren
un cierto nivel de producción del habla para apuntar al marcador de diagnóstico, los hallazgos indican que la ASRS en su
diseño actual tiene limitaciones en la evaluación de la AOS grave. Como sugirieron Strand y sus colegas, los ejemplos en
vídeo que ilustran las características de la ASRS podrían ser una alternativa útil para apoyar la formación de los médicos.
Una revisión menor de las definiciones de respuesta de la escala puede mejorar la aplicabilidad de la ASRS en la AOS grave.

* Autor correspondiente. Dirección de correo electrónico: Helena.Hybbinette@ki.se

Dirección de correo electrónico: Helena.Hybbinette@ki.se (H. Hybbinette).

https://doi.org/10.1016/j.jcomdis.2020.106076 Recibido el 5 de
diciembre de 2019; Recibido en forma revisada el 2 de noviembre de 2020; Aceptado el 5 de diciembre de 2020 Disponible en línea
el 6 de enero de 2021
0021­9924/© 2021 Elsevier Inc. Todos los derechos reservados.
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

1. Introducción

1.1. Fondo

Los problemas de comunicación son secuelas comunes después de un accidente cerebrovascular, lo que resulta en afasia, un trastorno del lenguaje y/o
trastornos motores del habla, como disartria y apraxia del habla (AOS). Clásicamente, la AOS se define como "un trastorno neurológico del habla que refleja
una capacidad deteriorada para planificar o programar comandos sensoriomotores necesarios para dirigir movimientos que resultan en un habla fonética y
prosódicamente normal" (Duffy, 2020, p. 4). El AOS se caracteriza por una velocidad del habla lenta, dificultades en la producción de sonido y prosodia
interrumpida (McNeil, Robin y Schmidt, 2009). La AOS después de un accidente cerebrovascular casi siempre va acompañada de afasia (Graff­Radford et al.,
2014; Haley, Jacks y Cunningham, 2013; Moser, Basilakos, Fillmore y Fridriksson, 2016) y la naturaleza de la AOS como un trastorno motor o un El trastorno
lingüístico ha sido debatido a lo largo de los años. Molloy y Jagoe (2019) utilizaron una metodología de revisión de alcance que consistió en una encuesta en
línea dirigida a logopedas internacionales (SLP) y una revisión de 157 estudios publicados entre 1997 y 2017 que involucraban a personas con AOS adquirida.
El estudio reveló que los criterios de diagnóstico para AOS variaron universalmente, tanto en la investigación como en la práctica clínica, pero la selección y
el uso de criterios de diagnóstico específicos no se asociaron con la ubicación o experiencia de los SLP. Como nota positiva, se encontró una tendencia hacia
una mayor coherencia de los criterios diagnósticos en los últimos años.
Aunque aún no se ha alcanzado un consenso completo sobre una definición teórica y criterios de diagnóstico, ahora es evidente que la AOS es una entidad
teórica y clínicamente separable tanto de la afasia como de la disartria (McNeil, Ballard, Duffy y Wambaugh, 2016). A pesar de esta información, los
procedimientos de diagnóstico para AOS no están bien establecidos. No existe un estándar de oro universalmente aceptado para los procedimientos de
evaluación y faltan instrumentos de evaluación válidos y confiables (Haley, Jacks, de Riesthal, Abou­Khalil y Roth, 2012; Molloy y Jagoe, 2019; Strand, Duffy,
Clark y Josephs , 2014).
En 2014, Strand y sus colegas de la Clínica Mayo presentaron un nuevo instrumento de evaluación para el diagnóstico de AOS: la Escala de calificación
de la apraxia del habla (ASRS). El instrumento se desarrolló principalmente con fines de investigación para estudiar individuos con afasia progresiva y AOS
progresiva, diseñado para ayudar en la descripción y cuantificación de las características del habla comúnmente asociadas con AOS.
Sin embargo, también se reconoció el potencial de la ASRS como herramienta valiosa en entornos clínicos. La ASRS original (ASRS 1.0) incluía calificaciones
de 16 características calificadas perceptualmente en una escala de 5 puntos. Para respaldar el diagnóstico diferencial, las características se organizaron en
cuatro categorías diferentes que reflejan si (a) se consideran discriminativas de AOS; (b) puede ser evidente en pacientes con AOS pero también puede
manifestarse en pacientes con afasia; (c) puede ser evidente en AOS pero también puede observarse en pacientes con disartria; o (d) puede ser evidente en
la AOS pero también puede estar presente en la afasia o la disartria. Las calificaciones debían basarse en el habla conectada, la repetición de palabras y
oraciones y tareas de velocidad de movimiento alternadas y secuenciales. La puntuación total máxima fue de 64 puntos con una puntuación de corte
recomendada para el diagnóstico de AOS de 8 puntos (Strand et al., 2014).
Strand y dos de sus colegas de la Clínica Mayo analizaron tanto la confiabilidad como la validez del ASRS 1.0. La validez quedó demostrada por
puntuaciones totales de la ASRS significativamente más altas en los participantes con AOS que en los que no, según un diagnóstico clínico independiente,
así como por cálculos de sensibilidad en diferentes valores de corte (96 % con un punto de corte de 8). Además, las puntuaciones de la ASRS se
correlacionaron fuertemente con los juicios clínicos sobre la gravedad de la EAO. La confiabilidad se examinó con base en los resultados de la ASRS de 10
participantes de un grupo de 133 personas con afasia progresiva y/o AOS progresiva; tres con AOS y afasia agramática, tres con AOS primaria progresiva y
cuatro con afasia progresiva sin AOS. La muestra se seleccionó de forma cuasialeatoria, según la clasificación diagnóstica y la gravedad de la EAO. La
confiabilidad inter e intrajueces se calculó mediante coeficientes de correlación intraclase (ICC). Los resultados generales de la CPI entre los tres evaluadores
fueron excelentes, con una puntuación total de la CPI entre jueces de 0,94 y las CPI intrajueces oscilaron entre 0,91 y 0,98. No se especificaron el modelo,
tipo y definición de ICC (para obtener descripciones de las fórmulas ICC, consulte la Sección 2.4.1. Selección de fórmulas ICC). Strand et al. señaló que la
confiabilidad puede haber aumentado por el hecho de que los evaluadores participantes eran los mismos que los investigadores que desarrollaron la escala.
Estos investigadores tienen un alto nivel de conocimientos y muchos años de experiencia conjunta en trastornos motores del habla. Los autores especularon
que los valores de confiabilidad probablemente serían más bajos entre los médicos menos experimentados. Para examinar más a fondo la idoneidad clínica
de la ASRS, Strand et al. Recomendaron que la confiabilidad de la ASRS se estudiara en un grupo de SLP con menos experiencia en el diagnóstico de AOS
que los evaluadores originales. También sugirieron aplicar el instrumento en un grupo de individuos con AOS después de un accidente cerebrovascular
(Strand et al., 2014).
Desde la creación de la ASRS en 2014, se ha llevado a cabo un desarrollo continuo del instrumento. En lugar de los 16 ítems originales de la primera versión,
tanto la versión posterior ASRS 2.0 (Clark, Duffy, Strand, & Josephs, 2016) como el ASRS 3.0 actual constan de 13 ítems (Utianski et al., 2018). El ASRS 2.0 es
muy similar al ASRS 3.0, ya que consta de los mismos 13 ítems y utiliza una escala de calificación de 5 puntos con descriptores operativos adicionales para cada
nivel de calificación. La principal diferencia entre estas dos versiones es que ASRS 2.0 todavía está organizado de acuerdo con el ASRS 1.0 original, con
observaciones de errores fonéticos y prosódicos distribuidos en toda la escala para ayudar al diagnóstico diferencial, mientras que los ítems en ASRS 3.0 están
organizados según si son rasgos articulatorios, rasgos prosódicos u otros rasgos.

El ASRS 1.0 se ha utilizado en varios estudios de afasia progresiva y apraxia progresiva del habla (por ejemplo, Botha et al., 2014, 2018; Duffy et al.,
2015, 2017; Josephs et al., 2013) y también se ha aplicado en Algunos estudios sobre AOS debido a un accidente cerebrovascular (p. ej. , Basilakos, Rorden,
Bonilha, Moser y Fridriksson, 2015; Moser et al., 2016). El objetivo principal de los dos últimos estudios mencionados fue investigar las correlaciones
anatómicas de la AOS después de un accidente cerebrovascular, por lo que la confiabilidad de la ASRS no fue el foco de atención. Sin embargo, en ambos
estudios se informó la confiabilidad entre jueces de la ASRS.
En el estudio de Basilakos et al. (2015) los evaluadores fueron dos SLP certificados por la Asociación Estadounidense del Habla, el Lenguaje y la
Audición. El evaluador principal fue un SLP con experiencia previa en el uso del ASRS para clasificar conductas de producción del habla. La confiabilidad
entre jueces se calculó utilizando la fórmula ICC que especifica un modelo mixto de dos factores, basado en mediciones únicas con medidas de consistencia.

2
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

(para obtener descripciones de las fórmulas ICC, consulte la Sección 2.4.1. Selección de fórmulas ICC). El resultado informado indicó una buena confiabilidad para estos
evaluadores, con un valor ICC total de 0,88 para los 16 ítems. En Moser et al. (2016), la puntuación fue realizada de forma independiente por dos SLP certificados por la
Asociación Estadounidense del Habla, el Lenguaje y la Audición. El ICC se calculó para cada uno de los 16 ítems calificados en la ASRS. En su artículo, se informó una
medida promedio de 0,95. No se presentó más información sobre los resultados de la ICC.
Recientemente, Wambaugh, Bailey, Mauszycki y Bunker (2019) investigaron la confiabilidad entre jueces y la validez del ASRS 3.0 en individuos con AOS adquirida y
afasia. Hubo una correlación de moderada a fuerte entre la puntuación total de ASRS 3.0 y la inteligibilidad de las palabras medida mediante la Evaluación de inteligibilidad
del habla disártrica (ASSIDS; Yorkston y Beukelman, 1981), lo que indica un grado de validez concurrente para el ASRS 3.0. Estos resultados también están en línea con
los hallazgos de Haley, Smith y Wambaugh (2019), quienes informaron fuertes correlaciones entre la puntuación total de ASRS 3.0 y las medidas de precisión de palabras
y/o sonidos. El otro objetivo de Wam­baugh, Bailey, Mauszycki y Bunker (2019) fue examinar la confiabilidad del ASRS 3.0 cuando las calificaciones fueron realizadas por
investigadores no involucrados en la creación del instrumento. En cambio, estas calificaciones fueron realizadas por dos expertos con amplia experiencia mutua en
investigación en el campo de AOS, pero de un laboratorio distinto al de los desarrolladores de ASRS. Hubo un breve período de capacitación para aclarar dudas sobre
algunos de los ítems de la escala antes de que comenzara el procedimiento de calificación. Luego, los investigadores calificaron de forma independiente la presencia y
gravedad de AOS aplicando la ASRS 3.0 en muestras de habla de 28 participantes con afasia crónica (27 después de un accidente cerebrovascular más un paciente
después de una lesión cerebral traumática; 19 tenían afasia de Broca, siete afasia anómica y uno tenía afasia global). Los participantes fueron incluidos porque su fuente
de referencia (SLP practicantes) consideró que los síntomas de AOS estaban presentes, mientras que los individuos sin sospecha de AOS no fueron reclutados para este
proyecto. La confiabilidad entre jueces de las calificaciones de ASRS 3.0 se midió utilizando la fórmula ICC, un modelo de efectos aleatorios bidireccional, mediciones
únicas con medidas de consistencia. Se demostró un fuerte acuerdo entre los dos evaluadores, con un valor ICC de 0,95, IC del 95 % [0,90, 0,98] para el resultado de la
puntuación total. Los investigadores concluyeron que el resultado general brindó apoyo adicional para el uso de la puntuación total de ASRS 3.0 como indicador de
gravedad de AOS, pero que se necesita más información sobre los diferentes niveles de gravedad de AOS y resultados de ASRS. También se solicitaron más
investigaciones sobre si estos resultados se extenderían a evaluadores menos experimentados, sin amplias experiencias mutuas como investigadores y/o médicos
(Wambaugh et al., 2019).

Hoy en día, hay escasez de investigaciones sobre AOS en pacientes con accidente cerebrovascular temprano, así como sobre la historia natural del trastorno
(Basilakos, 2018). La prevalencia de AOS y su gravedad típica después de un accidente cerebrovascular también son inciertas. En la experiencia clínica, la AOS grave
ocurre con frecuencia en etapas agudas después de un accidente cerebrovascular, más a menudo junto con afasia severa. Según Duffy (2020), la AOS grave en
combinación con afasia grave probablemente ocurre con mucha más frecuencia que la AOS leve o pura, pero lamentablemente está menos estudiada que las formas
más leves. Las características de la AOS grave también pueden diferir hasta cierto punto de las de las formas más leves de AOS. Por lo tanto, la producción del habla en
el AOS grave puede limitarse a unas pocas expresiones significativas o incomprensibles e incluso los intentos de producir o imitar sonidos del habla aislados pueden ser
erróneos. La apraxia oral no verbal (NVOA) también suele estar presente (Duffy, 2020). Debido a que las personas con AOS grave a menudo tienen una producción del
habla muy limitada, se reconoce que estos individuos muestran menos características que definen formas más leves de AOS (Hickok et al., 2014). Aunque se sabe que las
evaluaciones del habla y el lenguaje en las primeras etapas después de un accidente cerebrovascular son un desafío, el diagnóstico preciso en una fase temprana es
esencial tanto en la investigación como para iniciar el tratamiento correcto en el manejo clínico. Varios estudios han proporcionado resultados prometedores para la ASRS,
pero aún no está completamente determinado si la ASRS es un instrumento confiable para la evaluación de las formas más graves de AOS (Wambaugh et al., 2019). Otra
pregunta es si las calificaciones de la ASRS se pueden llevar a cabo de manera confiable mediante SLP practicantes reclutados en diferentes entornos clínicos y sin una
larga experiencia común y capacitación conjunta en la evaluación de AOS. Por lo tanto, el propósito de este estudio fue abordar estas preguntas.

1.2. Objetivo

El objetivo específico de este estudio fue examinar la confiabilidad intra e interjueces de la ASRS en un grupo de SLP clínicamente practicantes sin una larga
experiencia común en la evaluación de individuos con discapacidades del habla y el lenguaje en una fase temprana después de un accidente cerebrovascular. Un objetivo
adicional fue estudiar la aplicabilidad de la ASRS en una muestra que incluye personas con graves alteraciones del habla y del lenguaje, como se observa a menudo en
la fase temprana posterior al inicio del accidente cerebrovascular.

2. Métodos

2.1. Participantes

2.1.1. Selección de participantes

La base para la selección de los participantes fue el objetivo de reclutar un grupo representativo de los pacientes en la sala de hospitalización real, es decir, individuos
con discapacidades del habla y del lenguaje de diversa gravedad en los primeros seis meses después del accidente cerebrovascular. Por lo tanto, la muestra incluyó tanto
a participantes con afasia grave y signos de AOS grave/marcada, como a un pequeño grupo de participantes con características de AOS muy sutiles/no obvias en el
examen clínico.
La muestra de participantes se recopiló de un grupo de pacientes que habían sufrido un accidente cerebrovascular y que se incluyeron en un estudio longitudinal sobre
el habla, el lenguaje y la función motora de la mano en una gran clínica de rehabilitación en un hospital universitario (Identificador de ClinicalTrials.gov: NCT02878304).
El estudio fue aprobado por la Junta Regional de Revisión Ética de Estocolmo y todos los participantes dieron su consentimiento informado antes de participar. Dado que
este estudio incluyó personas con afasia, la información tanto oral como escrita se modificó y presentó de una manera amigable para la afasia, de modo que las personas
con habilidades lingüísticas comprometidas también pudieran acceder a ella. De una recopilación de datos de treinta y seis participantes grabados en video, se
seleccionaron para el estudio de confiabilidad diez muestras de participantes representativas del grupo de participantes descrito anteriormente. Todos los participantes se
encontraban en los primeros seis meses después del primer accidente cerebrovascular, la mayoría (80 %) en las primeras 4 a 6 semanas después del primer accidente cerebrovascular.

3
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

Tabla 1
Características demográficas y clínicas de los participantes.

Partícipe Edad Sexo AOS Afasia disartria NVOA OPC

1 52 F Sí Broca, Sí Sí 5 meses
(severo moderado) moderada (MUUMNA)
(95/2,2)
2 sesenta y cinco METRO Sí Mundial No Sí 6 semanas

(leve/moderado) (36/0,8)
3 57 METRO Sí Mundial Sí Sí 5 semanas

(moderado) (26/0,6) (MUUMNA)

4 54 METRO No No Sí No 6 semanas

(218/5) (Hipercinético leve)

5 24 METRO No No Sí No 4 semanas

(216/4.9) (Atáxico leve)

6 40 F Sí (moderado/grave) Broca, Sí Sí 6 semanas
severo (MUUMNA)
(70/1,6)
7 31 METRO Sí Broca, Sí Sí 5 semanas

(leve/moderado) moderada (MUUMNA)

(134/3,0)
8 50 METRO Sí Broca, Sí Sí 5 semanas

(moderado) moderada/leve (MUUMNA)

(160/3,6)
9 39 METRO Sí Broca, No Sí 5 meses
(leve/moderado) moderada/leve
(173/3,6)
10 49 METRO Sí Mundial Sí Sí 5 semanas

(severo moderado) (18/0,4) (MUUMNA)

Nota. Afasia; diagnósticos de afasia, puntuación total A­ning (máx. 220) e índice de gravedad (0­5). MUUMN = disartria unilateral leve de la neurona motora superior.
NVOA = apraxia oral no verbal; impresión clínica 'sí/no'. TPO = tiempo posterior al inicio del ictus.

comienzo. Todos los participantes tenían el sueco como lengua materna. Su edad media fue de 46,3 años con una desviación estándar de 12,9. Dos participantes
eran mujeres (20 %), mientras que ocho eran hombres (80 %). Según la evaluación clínica, ocho de los participantes fueron clasificados con AOS de diversa
gravedad. Dos participantes mostraron sólo comportamientos sutiles que pueden atribuirse al AOS. Fueron diagnosticados de disartria pero no de AOS en la
evaluación clínica. Los ocho participantes clasificados con AOS también tenían afasia no fluida y apraxia oral no verbal (NVOA). Cinco de ellos también tenían
disartria unilateral leve de la neurona motora superior. Las características demográficas y clínicas de los participantes se presentan en la Tabla 1.

2.1.2. Procedimiento de juicio clínico

La evaluación clínica se realizó independientemente de la puntuación de la ASRS y la realizó de acuerdo con la rutina clínica el primer autor y tres colegas del
SLP en la sala de hospitalización real (material descrito en la Sección 2.1.3 a continuación). Los diagnósticos clínicos de AOS también fueron confirmados por un
SLP externo con experiencia clínica y de investigación tanto en AOS como en afasia. Ninguno de los SLP involucrados en la evaluación clínica participó como
evaluadores en el estudio de confiabilidad.

2.1.3. Evaluación clínica

En la evaluación clínica, la presencia y la gravedad de la AOS se investigaron mediante un análisis de percepción de las características de la AOS generalmente
aceptadas de acuerdo con las recomendadas por McNeil et al. (2009) y Duffy (2020): velocidad del habla lenta, articulación deteriorada con errores de sonido que
son predominantemente distorsiones, segregación de sílabas y prosodia alterada. Los síntomas de AOS se observaron y evaluaron durante el discurso narrativo y
procedimental, la repetición de palabras y oraciones de diferente longitud y complejidad y durante la producción de velocidades de movimiento alterno (AMR) y
velocidades de movimiento secuencial (SMR). También se incluyó en el examen clínico la evaluación de la capacidad de imitar y producir sonidos del habla aislados
y del habla automática (contar y decir los días de la semana). La presencia de AOS se calificó mediante una escala de gravedad; "ninguno", "leve", "leve­moderado",
"moderado", "moderado­grave" y "grave". Los resultados clínicos se resumen en la Tabla 1.

Para evaluar la afasia se utilizó el instrumento de evaluación estandarizado sueco Neurolinguistic Aphasia Examination (A­ning) (Lindstrom ¨ & Werner, 1995) . A­ning incluye
la evaluación de siete modalidades lingüísticas: 'habilidades de expresión oral', 'repetición', 'comprensión auditiva', 'comprensión lectora', 'lectura en voz alta', 'dictado' y 'escritura
informativa'. El resultado máximo de la puntuación total es de 220 puntos (= sin deterioro del lenguaje), con un índice de afasia correspondiente de 5,0. El valor de corte para el
diagnóstico de afasia es 208 (índice 4,8).

¨
Para evaluar la presencia, el tipo y la gravedad de la disartria, se utiliza el instrumento de evaluación sueco Dysartribedomning (Evaluación de la disartria)
(Hartelius, 2015) . La Evaluación de la Disartria es un instrumento de evaluación clínica estandarizado e incluye mediciones de respiración, fonación, función
oromotora, articulación, prosodia e inteligibilidad. Utiliza una escala que va de 0 a 3 (0: función normal a 3: desviación severa o ninguna función). Se utilizan tanto
resultados cuantitativos como descripciones cualitativas para capturar el nivel de gravedad y los subtipos de disartria según la clasificación de Mayo.

La presencia de NVOA se evaluó según la información de la sección de función motora oral de la Evaluación de disartria, con elementos

4
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

que examinan la capacidad para realizar diferentes tareas motoras orales (por ejemplo, toser, movimientos de la lengua) por orden o imitación. No se proporcionaron puntuaciones
cuantitativas de gravedad de NVOA en el examen clínico. En cambio, se anotó información de presencia (sí/no) combinada con una descripción cualitativa de las características de NVOA.
Todos los resultados clínicos se resumen en la Tabla 1.

2.2. Material de estudio

2.2.1. La escala de calificación de apraxia del habla 2.0

Al momento de esta investigación, el ASRS 3.0 aún no se había desarrollado. En su lugar, se utilizó el ASRS 2.0 (Clark et al., 2016) (procedimiento de traducción descrito en el párrafo
2.2.3). Como se describió anteriormente, el ASRS 2.0 es casi idéntico a la versión 3.0 excepto por la disposición de los elementos en diferentes categorías. Los elementos de ASRS 2.0
están organizados en línea con la primera versión, pero en tres secciones diferentes (en lugar de las cuatro originales) según sean; (a) se consideran discriminatorios para AOS; (b) puede
ser evidente en AOS pero también puede observarse en pacientes con disartria; o (c) puede ser evidente en la AOS pero también puede estar presente en la afasia o la disartria. El ASRS
2.0 utiliza una escala de calificación de 5 puntos con descriptores operativos para cada nivel de calificación; (0) 'no observado en ninguna tarea/no más de una ocurrencia'; (1) 'poco frecuente/
observado más de una vez'; (2) 'frecuente pero no generalizado/observado en el 20 –50 % de todas las expresiones, pero no en la mayoría de las tareas o expresiones'; (3) 'casi siempre
evidente pero no marcado en severidad/observado en muchas expresiones en la mayoría de las tareas, pero no lo suficiente como para disminuir la inteligibilidad general' y (4) 'casi siempre
evidente y marcado en severidad/observado en la mayoría de las expresiones en la mayoría de las tareas y severo suficiente para impactar la inteligibilidad”. Cuando una característica se
observa sólo durante la repetición, no se debe dar un valor de puntuación superior a 2. Además, el desempeño en AMR y SMR debe considerarse solo en tres de los ítems (ítems 1.4, 1.5 y
3.1). Todos los elementos del ASRS 2.0 se pueden ver en la Tabla 4 (en inglés) y en el Apéndice A (en sueco). La puntuación máxima total para el ASRS 2.0 es de 52 puntos. La puntuación
de corte recomendada para el diagnóstico de AOS es de 8 puntos.

2.2.2. Tareas de producción de discurso.

Como base para la muestra de producción del habla, se utilizó una versión sueca de un protocolo del habla motora desarrollado en la Clínica Mayo, Tareas suplementarias para evaluar
las habilidades motoras del habla (procedimiento de traducción descrito en el párrafo 2.2.3). Este protocolo incluye mediciones de prolongación de vocales, repetición de palabras × 3,
repetición de oraciones, AMR y SMR, y se ha utilizado en varios estudios previos que informan sobre el ASRS (p. ej., Duffy et al., 2015; Botha et al., 2018). La muestra de habla recopilada
también contenía producción del habla durante la conversación y una tarea de descripción de imágenes con el uso de material recopilado del instrumento sueco de evaluación de la afasia A­
ning (descrito en la Sección 2.1.4). Debido a la conocida coexistencia de NVOA y (especialmente grave) AOS, también se incluyó información sobre la presencia y gravedad de NVOA en las
grabaciones de vídeo mediante el uso de una traducción al sueco de un protocolo desarrollado por Josephs et al. (2012) y Botha et al. (2014). Este protocolo de 8 ítems consta de cuatro
gestos ('toser', 'chasquear la lengua', 'soplar', 'chasquear los labios') repetidos dos veces. Esta información adicional sobre NVOA se proporcionó de acuerdo con estudios anteriores que
utilizaron la ASRS (p. ej.

Duffy et al., 2017; Botha et al., 2018) para respaldar el diagnóstico de AOS.

2.2.3. Adaptación sueca del material ASRS 2.0 La traducción

y adaptación del ASRS 2.0 al sueco se realizaron en colaboración con los autores originales. Como paso final de este procedimiento, la versión sueca fue revisada
por un hablante bilingüe que realizó una retrotraducción y posteriormente la comparó con la versión original. El idioma sueco es miembro de la rama germánica de la
familia indoeuropea y comparte estrechos vínculos con el idioma inglés. Al igual que el inglés, el sueco es un idioma con acentuación y patrones de entonación
similares. El sueco tiene más sonidos vocálicos que el inglés. Por lo demás, el sistema fonológico sueco es muy cercano al del inglés (Schalling, 2014). Por lo tanto, la
traducción del ASRS 2.0 al sueco podría acercarse a la versión inglesa. El material traducido también incluyó una adaptación de las tareas de habla complementarias
para evaluar el habla motora desarrolladas en la Clínica Mayo (descritas en la Sección 2 2.2 anterior). La traducción de las tareas de habla se desarrolló para parecerse
lo más posible a la versión en inglés en términos de características prosódicas y fonémicas. Cuando fue posible, se eligieron palabras que incluían fonemas con la
misma forma y lugar de articulación y la longitud y estructura de las sílabas también se mantuvieron iguales. También se utilizaron palabras y frases con patrones de
acentuación similares. La versión sueca del ASRS 2.0, Skattningsskala para ¨ Talapraxi 2.0 (SkaFTA 2.0) se presenta en el Apéndice A, la versión sueca de las tareas
suplementarias, Tillaggsuppgifter ¨ para ¨ att bedoma ¨ talmotoriska formågor ¨ en el Apéndice B.

2.2.4. Equipo de grabación Para todas

las grabaciones de video se utilizó una videocámara Sony HDR­CX450 con un micrófono de 5.1 canales.

2.3. Trámites

2.3.1. Procedimiento de prueba de los

participantes La primera autora y uno de sus colegas en la clínica obtuvieron la producción de discursos de los participantes (material descrito en la Sección 2.2.2). Las actuaciones de
los participantes durante toda la sesión fueron grabadas en vídeo. Los estímulos/objetivos del protocolo del habla motora se presentaron utilizando el volumen, la frecuencia y la prosodia
naturales. Se repitieron a petición o si no fueron conservados.

2.3.2. Selección del evaluador

Se reclutaron como evaluadores cinco SLP certificados, todos ellos médicos que trabajan principalmente con trastornos neurogénicos de la comunicación en adultos.
La selección se realizó para representar diferentes niveles de antigüedad en la profesión y diferentes experiencias en el diagnóstico de AOS. Los evaluadores fueron reclutados en diferentes
clínicas y departamentos de Estocolmo y cubrieron experiencias con pacientes en diferentes etapas después

5
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

ictus (fase aguda, subaguda y crónica). Ninguno de ellos trabajaba en ese momento en la propia sala de hospitalización y ninguno tenía conocimiento previo de los participantes.
Los evaluadores habían recibido su educación SLP en tres universidades diferentes de Suecia y se graduaron hace entre tres y treinta y cuatro años. Tres de los evaluadores eran
hombres y dos mujeres. Tenían entre 27 y 61 años.

2.3.3. Preparación del evaluador

Antes de que comenzara este estudio, tres de los evaluadores (Evaluadores 1, 2 y 3, en la Tabla 2 y la Figura 1) habían participado en un curso de un día y/o en una breve
sesión de capacitación sobre cómo utilizar la ASRS. El curso de un día se impartió como parte de un curso académico continuo más largo sobre la evaluación de los trastornos
motores del habla con el profesor Strand como profesor invitado dando conferencias sobre AOS, las teorías detrás del ASRS, una descripción del instrumento y ejemplos de cómo
usarlo. . La sesión de formación se llevó a cabo al día siguiente (fuera del curso) y consistió en una breve repetición de la evaluación con el ASRS seguida de una práctica conjunta
sobre el uso del instrumento. Esto se hizo viendo y escuchando grabaciones de video y audio de un individuo inglés y dos suecos con AOS, realizando calificaciones individuales y
luego discutiendo los resultados bajo la dirección del profesor Strand.

Los dos evaluadores que no asistieron al curso ni a la sesión de formación no recibieron ninguna formación activa con este instrumento específico.
En lugar de ello, el primer autor les proporcionó información general escrita y breves instrucciones orales sobre la ASRS. Se les indicó que hicieran sus calificaciones
basándose en la impresión general de toda la información de los videos y que siguieran las instrucciones del formulario ASRS.

2.3.4. Procedimientos de calificación

Todos los evaluadores vieron cada video de forma independiente y calificaron la presencia y gravedad del AOS utilizando la ASRS. Sus evaluaciones se
realizaron basándose únicamente en la información de los videoclips, sin acceso a puntuaciones de pruebas anteriores ni a ningún conocimiento previo sobre los
participantes. No se dieron restricciones sobre cuántas veces se permitió a los evaluadores ver y escuchar las grabaciones. Los evaluadores recibieron instrucciones
de realizar sus evaluaciones individualmente y entregar sus calificaciones después de completar la primera evaluación. Luego de un período de al menos 3 semanas,
máximo 6 semanas, se volvió a calificar el material para realizar análisis de intraconfiabilidad y se entregó la segunda ronda de calificaciones.

2.4. análisis estadístico

La confiabilidad se calculó utilizando el coeficiente de correlación intraclase (ICC) en IBM SPSS Statistics 26.0.

2.4.1. Selección de fórmulas ICC

Existen varias fórmulas diferentes para calcular el ICC y cada fórmula puede dar resultados diferentes cuando se aplica al mismo conjunto de datos. Dependiendo de la
pregunta de investigación y las características del conjunto de datos, se requiere una selección cuidadosa del modelo, la definición y el tipo de ICC (Trevethan, 2016).

Para medir la confiabilidad intrajuez en este estudio, se seleccionó un modelo de efectos mixtos bidireccional . Teóricamente, este modelo sólo representa la confiabilidad de
los evaluadores específicos que participan en la prueba de confiabilidad real. Como lo afirma, por ejemplo, Trevethan (2016), no es apropiado generalizar el resultado de la
confiabilidad de evaluadores separados en dos ocasiones de medición a una población más grande. Por lo tanto, el modelo bidireccional de efectos mixtos no se utiliza a menudo
en el análisis de la confiabilidad entre jueces, pero es el modelo adecuado para medir la confiabilidad intrajuez (Trevethan, 2016). Hay dos opciones para la selección de la definición
de la CPI: coherencia o acuerdo absoluto.
La definición de consistencia refleja hasta qué punto los conjuntos de puntuaciones están correlacionados en secuencias paralelas. En este estudio se aplicó la definición de
acuerdo absoluto. Esta definición mide hasta qué punto diferentes evaluadores asignan exactamente la misma puntuación al mismo tema. Según las directrices contemporáneas,
la definición de acuerdo absoluto casi siempre debería ser la opción elegida cuando se aplica ICC en el análisis de confiabilidad (Koo y Li, 2016). La selección del tipo de ICC
depende de si el análisis se basó en valores de medida única o en un resultado medio de varias mediciones. Dado que el conjunto de datos de este estudio consistió en valores de
calificación únicos realizados por los SLP participantes en cada ocasión de calificación por separado, se seleccionó el tipo de medida única.

Para medir la confiabilidad entre jueces, se seleccionó un modelo de efectos aleatorios bidireccional . Según este modelo, tanto los evaluadores como los participantes se
consideran seleccionados al azar. También se supone que los evaluadores son representativos de otros evaluadores con características similares (Trevethan, 2016). Las opciones
seleccionadas para la definición y el tipo de CPI fueron las mismas que para la confiabilidad intrajuez: la definición de acuerdo absoluto y el tipo de medida única.

Para la interpretación cualitativa de los valores ICC, se aplicaron las directrices de Koo y Li (2016) . Según estas recomendaciones, los valores de ICC inferiores a 0,50 son
indicativos de confiabilidad deficiente, los valores entre 0,50 y 0,75 indican una confiabilidad moderada, los valores entre 0,75 y 0,90 indican una confiabilidad buena y los valores
superiores a 0,90 indican una confiabilidad excelente. También hay recomendaciones anteriores todavía en uso, por ejemplo, las de Cicchetti (1994), que afirman que los valores
por debajo de 0,40 indican una confiabilidad deficiente, los valores entre 0,40 y 0,59 son una confiabilidad aceptable, entre 0,60 y 0,70 una confiabilidad buena y que todos los
valores superiores a 0,75 indican una confiabilidad excelente. . Debido a que el valor ICC obtenido es solo un valor esperado del valor ICC real, también se consideró la
determinación del nivel de confiabilidad con base en el intervalo de confianza (IC) del 95 % de la estimación ICC (Koo & Li, 2016).

6
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

Tabla 2
Confiabilidad intrajuez, resultados de puntaje total.

ID del evaluador CCI Interpretación cualitativa

[intervalo de confianza del 95 %]

1 0,54 [0,41 – 0,65] 0,94 Moderado

2 [0,92 – 0,96] 0,58 [0,46 Excelente
3 – 0,68] 0,88 [0,84 – Moderado
4 0,91] 0,53 [0,39 – 0,64] Bien
5 0,69 [0,60 – 0,77] Moderado
Significar: Moderado

Nota. Correlación intraclase, modelo de efectos mixtos bidireccional, medición única, acuerdo absoluto.
Koo y Li (2016).

3. Resultados

3.1. Fiabilidad intrajuez

3.1.1. Fiabilidad intrajuez, resultados de puntuación total

Todos los resultados de confiabilidad intrajuez de la CPI se presentan en la Tabla 2. Como se ve, la puntuación total de las CPI de la ASRS varió entre los cinco evaluadores
de 0,53 a 0,94, con un valor medio de 0,69. Estos resultados indican una confiabilidad intrajuez que varía de moderada a excelente, moderada en promedio. Todos los resultados
de la puntuación total de la ASRS y la variación dentro de los evaluadores separados durante los dos momentos se presentan en la Tabla 3.

3.1.2. Fiabilidad intrajuez, acuerdo a nivel de ítem.

En los 13 ítems del ASRS 2.0, los resultados medios del ICC intrajuez de los cinco evaluadores oscilaron entre 0,91 (en el ítem 1.1, 'Sustituciones de sonidos distorsionados')
a 0,32 (en el ítem 2.5, 'Segmentos vocálicos y/o consonantes alargados independientes del conjunto). velocidad de habla lenta').
La mayoría de los resultados medios de los ítems se encontraron en las categorías "moderado" o "bueno". Sin embargo, estos resultados deben evaluarse considerando un rango
amplio en varios de los ítems, lo que reduce considerablemente la interpretación cualitativa de los valores. Todos los resultados se muestran en la Tabla 4.

3.2. Fiabilidad entre jueces

3.2.1. Fiabilidad entre jueces, resultados de puntuación total

La fórmula ICC seleccionada para los análisis entre jueces fue un modelo de efectos aleatorios bidireccional, medición única y acuerdo absoluto.
En la primera ocasión de evaluación, el resultado de la puntuación total de la CPI entre los cinco evaluadores fue de 0,40, IC del 95 % [0,31, 0,49]. Se encontraron resultados
similares en la segunda evaluación con una puntuación total ICC de 0,38, IC del 95 % [0,29, 0,47]. Según los resultados combinados de la primera y la segunda evaluación, el ICC
entre jueces para la puntuación total de la ASRS fue de 0,42, IC del 95 % [0,35, 0,50]. Por lo tanto, en promedio, la confiabilidad entre jueces puede ser categorizada como pobre.
El rango de las puntuaciones totales también fue alto. Esto fue especialmente cierto para los participantes 6 y 10, que tenían AOS moderada/grave y afasia no fluida grave en la
evaluación clínica. Para ilustrar la variación entre los evaluadores, en la Figura 1 se presentan las puntuaciones ASRS totales de todos los participantes de todos los evaluadores.
Datos descriptivos de los resultados de la puntuación total entre los ensayos, el rango de puntuación total y la diferencia media entre los cinco evaluadores comparados en pares
con entre sí se presentan en la Tabla 5.

3.2.2. Fiabilidad entre jueces, acuerdo a nivel de ítem Los

resultados del acuerdo entre jueces a nivel de ítem se presentan en la Tabla 6. Como puede verse, los ICC variaron de moderados (0,71; 'Segmentación de sílabas entre
palabras en frases/oraciones') a pobres (0,08; 'Vocales alargadas y/ o segmentos consonánticos'). En varias sentencias hubo diferencias considerables entre las calificaciones; la
mayoría de las estimaciones puntuales del ICC estaban en la categoría de "pobres" y los intervalos de confianza también eran amplios.

Tabla 3
Resultados de la puntuación total en las evaluaciones 1 y 2, diferencia entre los dos resultados entre paréntesis.

identificación 1 identificación 2 identificación 3 identificación 4 identificación 5 identificación 6 identificación 7 identificación 8 identificación 9 identificación 10

Calificador 1 26/35 12/7 20/21 0/0 5/2 17/20 14/10 11/7 3/8 0/14
(9) (5) (1) (0) (3) (3) (4) (4) (5) (14)
Calificador 2 36/37 25/17 27/28 0/0 8/6 36/35 19/17 13/12 15/17 26/27
(1) (8) (1) (0) (2) (1) (2) (1) (2) (1)
Calificador 3 25/27 16/19 13/17 7/2 10/3 7/11 11/19 9/8 14/18 18/14
(2) (3) (4) (5) (7) (4) (8) (1) (4) (4)
Calificador 4 27/27) 28/23 20/21 11/12 16/14 25/21 21/25 14/17 14/18 34/36
(0) (5) (1) (1) (2) (4) (4) (3) (4) (2)
Calificador 5 22/16 21/12 24/14 2/0 8/4 10/1 21/28 16/16 20/23 34/23
(6) (9) (10) (2) (4) (9) (7) (0) (3) (11)
Diferencia media: 3,6 6 3,4 1,6 3,6 4,2 5 1,8 3,6 6,4

7
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

Tabla 4
Confiabilidad intrajuez, acuerdo a nivel de ítem.

Descriptores de elementos abreviados Mínimo máximo Interpretación

Valor ICC cualitativa

1.1 Sustituciones de sonidos distorsionados 0,91 0,84­1,0 Bueno/

excelente
1.2 Adiciones de sonido distorsionado (incluido el schwa intrusivo) 0,48 0,0­ 0,86 Pobre
1.3 Mayor distorsión del sonido o sustituciones de sonido distorsionadas con mayor duración del enunciado o mayor 0,77 0,16­ 0,95 Bien
complejidad articulatoria de sílabas/palabras
1.4 AMR del habla fuera del objetivo (en el lugar, modo y/o voz) 1.5 Palabras 0,78 0,51­ 0,92 Bien
consistentemente reducidas por grupo de respiración durante la frase/oración en relación con la duración máxima de la vocal; 0,59 0,0­1,0 Moderado
número reducido de RAM por grupo de respiración sin disminución de la capacidad respiratoria
2.1 Segmentación de sílabas dentro de palabras > 1 sílaba 2.2 0,64 0,15­ 0,98 Moderado
Segmentación de sílabas entre palabras en frases/oraciones 2.3 Distorsiones 0,66 0,0­ 1,0 Moderado
de sonido (sin incluir sustituciones de sonidos distorsionados ni adiciones de sonidos distorsionados) 0,55 − 0,9 − 0,93 Moderado
2.4 Velocidad general del habla 0,66 0,35­ 0,97 Moderado
lenta 2.5 Segmentos vocálicos y/o consonantes alargados independientes de la velocidad general del habla lenta 0,32 − 0,19 − 0,87 Deficiente
3.1 SMR del habla deliberada, secuenciada lentamente, segmentada y/o distorsionada en comparación con los AMR 3.2 0,47 0,0­1,0 Pobre
Palpitaciones articulatorias visibles o silenciosas 0,51 0,03­ 0,92 Moderado
3.3 Inicios/reinicios falsos audibles, incluyendo repetición de sonido 0,58 − 0,24 − 0,85 Moderado

Nota Fórmula de correlación intraclase: modelo de efectos mixtos bidireccional, medición única, acuerdo absoluto.
Koo y Li (2016).

4. Discusión

El propósito de este estudio fue examinar la confiabilidad de la ASRS dentro y entre los SLP que practican clínicamente en la evaluación de personas con trastornos
del habla y el lenguaje en los primeros seis meses después del accidente cerebrovascular. El estudio fue diseñado desde una perspectiva clínica, con el objetivo de
investigar la confiabilidad de la ASRS basándose en una muestra de habla representativa de pacientes que se pueden encontrar en una sala de hospitalización en una
fase temprana después de un accidente cerebrovascular. Por lo tanto, también se incluyeron personas con graves deficiencias del habla y del lenguaje.
También queríamos que los evaluadores fueran representativos de un médico activo en el campo de los trastornos neurogénicos de la comunicación en adultos.
La confiabilidad intrajuez para la puntuación total de la ASRS fue moderada en promedio: dos evaluadores demostraron una confiabilidad alta o excelente y tres
evaluadores mostraron un acuerdo moderado entre jueces. Se observó una gran variabilidad entre los participantes con AOS moderada/grave y/o afasia grave (ID 10,
ID 2 y ID 6), con una diferencia de puntuación total media de 6,4, 6,0 y 4,2 puntos respectivamente entre la primera y la segunda evaluación. (en la Tabla 3). Sin
embargo, también se encontraron amplias diferencias en un participante con discapacidades más leves (ID 7) y no se pudo observar un patrón claro en este tamaño de
muestra limitado. Hubo un acuerdo de bueno a moderado en las calificaciones de la mayoría de los ítems individuales de la escala. Tres ítems cayeron en la categoría
"pobre", y el nivel más bajo de acuerdo se encontró para el ítem "Segmentos vocálicos y/o consonantes alargados independientes de la velocidad general de habla
lenta" con un valor ICC de 0,32. El mayor nivel de acuerdo fue para el primer ítem del ASRS 2.0, 'Sustituciones de sonido distorsionado', con un excelente valor ICC de
0,91. Cabe señalar que el período entre las evaluaciones fue bastante corto (un mínimo de tres semanas). Los evaluadores a menudo miraban los videoclips
repetidamente y dedicaban un tiempo considerable a cada uno de los diez participantes de la muestra. Por lo tanto, los recuerdos de la primera evaluación pueden haber
influido en las calificaciones de la segunda evaluación. Aunque los resultados intrajueces de dos de los evaluadores fueron altos o incluso excelentes, el resultado
intrajuez global con un valor medio de 0,69 no puede considerarse aceptable. Inevitablemente, el acuerdo fluctuante entre jueces también afecta negativamente el
resultado entre jueces.

La confiabilidad entre jueces para los resultados de la puntuación total fue pobre y notablemente más baja que en Strand et al. (2014) y Wambaugh et al.
(2019). También a nivel detallado, la mayoría de los ítems de la ASRS mostraron bajos niveles de acuerdo. La menor confiabilidad entre jueces puede tener varias
explicaciones y factores contribuyentes. Uno es hasta qué punto los evaluadores estaban familiarizados con la realización de evaluaciones de AOS y hasta qué punto
coincidían en cómo identificar e interpretar las características diagnósticas. Tanto los evaluadores de Strand et al. (2014) y los evaluadores de Wambaugh et al. (2019)
tenían una gran experiencia en el diagnóstico de AOS y compartían una amplia experiencia en trastornos motores del habla. Los evaluadores en el presente estudio
fueron médicos que trabajaban con trastornos neurológicos del habla y el lenguaje en adultos, pero sin experiencia en investigación en la evaluación de AOS. Fueron
reclutados en diferentes departamentos y hospitales, y ninguno de ellos trabajó en el mismo departamento que otro evaluador. A diferencia de Strand et al. (2014) y
Wambaugh et al. (2019), nuestros evaluadores no tenían conocimiento previo sobre la muestra de participantes. No se proporcionó información sobre si se consideró
que AOS estaba presente o no en los 10 participantes, ni sobre otros resultados de pruebas anteriores. Tres de los evaluadores (Evaluadores 1, 2 y 3 en la Tabla 2 y
Fig. 1) habían participado en un curso de un día y/o en una breve sesión de capacitación sobre cómo utilizar la ASRS dirigida por uno de los creadores de la escala. .
Sin embargo, no se encontraron diferencias entre el grupo que había asistido a estas sesiones y el resto de evaluadores. Al calcular los resultados del ICC por separado
entre los grupos (los tres evaluadores que habían participado en la capacitación versus los dos evaluadores sin capacitación mutua), en realidad se encontró una
puntuación del ICC algo mayor entre los dos evaluadores sin ningún entrenamiento previo con la escala (ICC 0,53, IC del 95 % [0,40, 0,64] versus 0,37, IC del 95 %
[0,25, 0,48]). Cabe agregar que la capacitación aún fue limitada en el tiempo y también pasó algún tiempo entre la capacitación y el momento en que se realizaron las
calificaciones. Una sesión de capacitación conjunta para todos los evaluadores justo antes de ingresar a esta prueba, para darles a todos la oportunidad de calibrar sus
calificaciones y aclarar preguntas, probablemente habría mejorado la confiabilidad entre jueces hasta cierto punto. Sin embargo, dado que las oportunidades de participar
en la capacitación colectiva no siempre se brindan en un entorno clínico, en este estudio no se ofreció más capacitación conjunta con el protocolo ASRS.

8
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

Fig. 1. Puntajes totales de ASRS para todos los participantes entre los evaluadores, evaluación 1 y 2.
Nivel de gravedad clínica de AOS presentado entre paréntesis, valor medio de las calificaciones de puntuación total marcadas con una barra negra y también presentadas en la Tabla 5.

Como posible factor explicativo adicional detrás de nuestros resultados, nuestra muestra de habla presumiblemente incluyó un mayor número de
participantes con una producción de habla muy limitada en comparación con los estudios de confiabilidad anteriores sobre la ASRS. Hubo una notable
falta de acuerdo en las calificaciones de dos participantes, ID 6 e ID 10, que tenían afasia grave y AOS de moderada a grave según el examen clínico.
Para estos participantes, la puntuación total de la ASRS difirió drásticamente, con dos evaluadores haciendo evaluaciones opuestas sobre la gravedad
del AOS (en ID 10, un rango de 36 puntos entre las calificaciones del Calificador 1 y el Calificador 4; en ID 6, un rango de 35 puntos entre el evaluador 2
y el evaluador 5, ver también la Fig. 1 y la Tabla 5). Sin embargo, las calificaciones de los participantes con discapacidades menos graves también
variaron considerablemente, lo que indica que los SLP tampoco estaban seguros de cómo aplicar la ASRS en casos menos graves.

9
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

Tabla 5
Medias, desviaciones estándar y rango de calificaciones de puntuación total y diferencias de medias entre todos los pares de evaluadores para cada participante en las evaluaciones.
Resultados de la puntuación total Diferencia absoluta entre evaluadores

Parte. IDENTIFICACIÓN culo.1 Valor Ass.1 + 2 Culo.1 + 2 culo.1 culo.2

Media (DE) 2 Media (DE) Media (DE) Mínimo máximo Significar Significar

1 27,2 (5,3) 28,4 (8,3) 27,8 (6,6) 16­37 5.9 10.0

2 20,4 (6,5) 15,6 (6,2) 18,0 (7,1) 7­28 8.2 7.4
3 20,8 (5,3) 20,2 (5,3) 20,5 (5,0) 13­28 6.4 6.4
4 4,0 (4,8) 2,8 (5,2) 3,4 (4,8) 0­12 5.8 5.2
5 9,4 (4,1) 5,8 (4,8) 7,6 (4,6) 2­16 4.8 5.3
6 19,0 (11,8) 17,6 (12,7) 18,3 (11,5) 1­36 14.6 15.6
7 17,2 (4,5) 19,8 (7,0) 18,5 (5,7) 10­28 5.4 8,8
8 12,6 (2,7) 12,0 (4,5) 12,3 (3,5) 7­17 3.3 5,6
9 13,2 (6,2) 16,8 (5,4) 15,0 (5,8) 3­23 7.0 6.2
10 22,4 (14,2) 22,8 (9,3) 22,6 (11,3) 0­36 16.8 11.4

Nota. La diferencia media de todos los evaluadores comparados en pares entre sí.

Tabla 6
Fiabilidad entre jueces a nivel de ítem del ASRS. Los artículos se ordenan de mayor a menor ICC.

Descriptores de elementos abreviados Valor ICC [95 %

IC]

Segmentación de sílabas entre palabras en frases/oraciones 0,71 [0,51 – 0,90] 0,52

Sustituciones de sonido distorsionadas [0,29 – 0,80] 0,46 [0,24
Velocidad general del habla lenta – 0,75] 0,44 [0,23 –
Segmentación de sílabas dentro de palabras > 1 sílaba 0,75] 0,36 [0,16 – 0,68]
AMR del habla fuera del objetivo (en el lugar, la manera y/o la voz) 0,35 [0,15 – 0,68]
Palabras constantemente reducidas por grupo de respiración durante la frase/oración en relación con la duración máxima de la vocal; número reducido de RAM por respiración
grupo sin capacidad respiratoria disminuida
SMR de voz deliberados, secuenciados lentamente, segmentados y/o distorsionados en comparación con los AMR 0,32 [0,13 – 0,64] 0,31
Adiciones de sonido distorsionadas (incluido schwa intrusivo) [0,13 – 0,64] 0,30 [0,12
Arranques/reinicios en falso audibles, incluidas repeticiones de sonido – 0,63] 0,29 [0,12 –
Aumento de distorsiones de sonido o sustituciones de sonido distorsionadas con mayor longitud de expresión o mayor articulación de sílabas/palabras. 0,62]
complejidad
Manoseo articulatorio visible o silencioso 0,28 [0,11 – 0,6] 0,12
Distorsiones de sonido (sin incluir sustituciones de sonido distorsionado o adiciones de sonido distorsionado) [0,02 – 0,40] 0,08
Segmentos de vocales y/o consonantes alargados independientemente de la velocidad de habla lenta [­0,02 – 0,35]

Nota. Fórmula de correlación intraclase: modelo de efectos aleatorios bidireccional, medición única, concordancia absoluta, AMR = velocidades de movimiento alterno; SMR =
velocidades de movimiento secuencial.

La muestra actual también incluyó a dos participantes con disartria pero sin AOS evidente según la evaluación clínica.
En consecuencia, la mayoría de los evaluadores obtuvieron resultados por debajo del valor de corte para un diagnóstico de AOS, excepto un evaluador
que obtuvo un resultado que indicaba AOS leve en un participante y AOS moderado en el otro. Para investigar cómo los dos participantes sin diagnóstico
de AOS en la evaluación clínica afectaron los resultados, realizamos cálculos de ICC sin estos participantes. Sin embargo, los resultados fueron similares
(CCI = 0,39; IC del 95 % [0,31; 0,47]), lo que indica que incluir dos participantes sin AOS preestablecida no afectó sustancialmente el resultado.

La mayoría de los trece ítems de la ASRS mostraron bajos niveles de acuerdo entre jueces. Este fue especialmente el caso de los "segmentos de
vocales y/o consonantes alargados" y las "distorsiones de sonido, sin incluir sustituciones de sonidos distorsionados o adiciones de sonidos distorsionados".
Se alcanzó un acuerdo moderado en dos ítems, "sustituciones de sonidos distorsionados" y "segmentación de sílabas entre palabras en frases u
oraciones". Se sabe que las personas con AOS grave suelen tener grandes dificultades para producir el habla y, por lo tanto, en realidad muestran menos
características de AOS (Hickok et al., 2014). Para algunos de los participantes en el presente estudio, la producción del habla se limitó a unas pocas
palabras monosilábicas con una capacidad nula o muy limitada para producir o imitar palabras o frases multisilábicas. Varios evaluadores también
informaron problemas de puntuación relacionados con las observaciones de que algunos de los ítems de la ASRS requieren un cierto nivel de producción
del habla para alcanzar el marcador de diagnóstico, por ejemplo, el ítem "aumento de distorsiones de sonido o sustituciones de sonido distorsionadas con
mayor longitud de enunciado o mayor sílaba". /complejidad articulatoria de palabras' y el ítem 'segmentación de sílabas dentro de palabras > 1 sílaba'. Al
contrario de lo que podría esperarse, el ítem 'segmentación de sílabas entre palabras en frases/oraciones' en realidad mostró el valor ICC entre jueces
más alto (0,71) en este estudio. Esto podría explicarse por la observación de que la mayoría de los evaluadores en esta situación optaron por calificar esta
característica como 0 ("no observado en ninguna tarea/no más de una ocurrencia"). Por lo tanto, la mayoría de las calificaciones (88 %) en este ítem
estuvieron en la categoría 0 para los cuatro participantes que no mostraron capacidad para producir oraciones. Una calificación de 4 posiblemente reflejaría
mejor el nivel de gravedad del AOS en varias de estas situaciones. Sin embargo, el valor de respuesta 4 en ASRS 2.0 y 3.0 se define como "casi siempre
evidente y marcado en gravedad/anotado en la mayoría de las expresiones en la mayoría de las tareas y lo suficientemente severo como para afectar la
inteligibilidad". Una revisión menor de esta definición podría ayudar a capturar el AOS severo en el ASRS.
Un factor adicional que puede haber influido en los resultados del presente estudio es que los diagnósticos de AOS se realizaron sobre la base de

10
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

videoclips, no en una evaluación presencial más extensa, típica de la práctica clínica. Sin embargo, un análisis perceptual realizado viendo grabaciones de vídeo no es
necesariamente una desventaja, ya que permite evaluaciones repetidas que la mayoría de las veces no son factibles en una situación clínica.

Se animó a todos los evaluadores a informar observaciones o preguntas que surgieran durante el procedimiento de calificación, por escrito o en una reunión
personal con el primer autor. Con frecuencia se informaron reflexiones sobre deficiencias en la escala perceptual al calificar este número de ítems y limitaciones de
la memoria de trabajo en línea con los hallazgos de Kent (1996) . También se hicieron varios comentarios sobre la incertidumbre sobre algunas definiciones de
elementos y descriptores de nivel. Sin embargo, la mayoría de las observaciones y preguntas se referían a elementos del ASRS que requieren que el participante
produzca palabras de más de una sílaba (discutido anteriormente). También hubo preguntas sobre cómo calificar el ítem 3.1., 'SMR del habla deliberadas,
secuenciadas lentamente, segmentadas y/o distorsionadas en comparación con los AMR' en participantes que no mostraron capacidad para producir AMR o SMR.
¿Debería calificarse esto como 0 ('no observado en ninguna tarea/no más de una ocurrencia') o como 4 ('casi siempre evidente y marcado en severidad/anotado en
la mayoría de las expresiones en la mayoría de las tareas y lo suficientemente severo como para afectar la inteligibilidad')? Para mejorar la precisión al evaluar la
AOS grave, sería útil una revisión menor de las definiciones de las alternativas de respuesta en la ASRS. Como ya lo sugirieron Strand et al. (2014), también podría
resultar instructivo proporcionar ejemplos en vídeo que ilustren todas las características calificadas en la escala y reflejen su prominencia o gravedad. Dado que las
oportunidades para participar en la formación conjunta suelen ser limitadas, esta podría ser una forma alternativa de apoyar la formación de los médicos y el
desarrollo de evaluaciones más válidas. Esto también brindaría a los médicos e investigadores la oportunidad de calibrar sus evaluaciones y contrarrestar el hecho
de que las características de AOS puedan interpretarse de manera diferente entre diferentes grupos en diferentes ubicaciones geográficas. Un método adicional
para mejorar la confiabilidad podría ser incluir en el protocolo métricas operativas bien definidas de síntomas específicos de AOS. Como sostienen, por ejemplo,
Haley et al. (2012, 2019) y Basilakos et al. (2017), la incorporación de mediciones directas de características específicas de AOS ayudaría al médico a centrarse en
la evaluación de un solo síntoma a la vez. Esto también mejoraría la objetividad y la transparencia del diagnóstico de AOS.

Un aspecto metodológico importante de este estudio fue la selección de la fórmula ICC adecuada. Dado que diferentes formas de ICC pueden dar resultados
diferentes cuando se aplican al mismo conjunto de datos, es esencial seleccionar la fórmula correcta (Koo & Li, 2016). Los valores (en un conjunto de datos) basados
en resultados medios de varias mediciones son en la mayoría de los casos más similares entre sí que los valores que representan una sola medición. Por lo tanto,
los valores de medidas únicas en ICC suelen ser más bajos que los valores de medidas promedio (Trevethan, 2016). A modo de ejemplo, el ICC entre jueces para
la puntuación total de la ASRS en este estudio habría sido 0,88, IC del 95 % [0,84, 0,91]) si se hubiera utilizado el índice de medidas promedio, para compararlo con
el índice de medidas individuales más apropiado de 0,42, 95. % IC [0,35, 0,50] informado aquí. La elección de la definición de la CCI también afecta el resultado,
donde la definición de acuerdo absoluto generalmente genera un resultado más bajo que la definición de consistencia (Koo & Li, 2016). Si se hubiera aplicado la
definición de consistencia en nuestro análisis, se habría obtenido un resultado de puntuación total entre jueces de la CPI ligeramente superior de 0,44, IC del 95 %
[0,38, 0,52]. De acuerdo con las recomendaciones de Trevethan (2016), para mejorar la comparación entre diferentes estudios, es importante utilizar el ICC apropiado
y garantizar que siempre se reporte información adecuada sobre las selecciones.

Este estudio tiene varias limitaciones. En primer lugar, no se puede desentrañar completamente si los resultados inaceptablemente bajos de confiabilidad intra
e interjueces deben atribuirse al nivel de gravedad del AOS en nuestra muestra de habla (presumiblemente con participantes con discapacidades más severas que
en estudios anteriores), o a los diferentes orígenes y /o la limitada formación mutua con la ASRS en nuestros evaluadores.
Aunque la mayor magnitud del desacuerdo se produjo en la evaluación de los participantes con discapacidades graves, también se encontró un acuerdo bajo en la
evaluación de los participantes con discapacidades más leves. Estos hallazgos indican que para los médicos sin experiencia en investigación o sin una larga
formación mutua en la evaluación de AOS, hubo dificultades generales en la aplicación de la ASRS. Como posible factor que contribuye a los resultados de baja
confiabilidad, también se observaron signos de limitaciones en el diseño actual de la ASRS para evaluar la AOS grave en este tamaño de muestra restringido. Por lo
tanto, se recomienda realizar más investigaciones en muestras más grandes con diferentes niveles de gravedad y grupos de evaluadores clínicos.

En segundo lugar, estos resultados se aplican a la versión sueca del ASRS. Sin embargo, dada la similitud de los idiomas sueco e inglés y la aplicabilidad
translingüística de los ítems de la ASRS para calificar las características de AOS, el uso de una versión sueca probablemente no tuvo ninguna influencia importante
en los resultados. Por lo tanto, creemos que nuestros hallazgos pueden ser válidos para versiones de la ASRS en otros idiomas. Otro punto se refiere al uso del
ASRS 2.0 en este estudio, con los ítems organizados de acuerdo con la versión original. No se puede excluir que el ASRS 3.0, con ítems ordenados en características
articulatorias, características prosódicas u otras características, podría haber facilitado la puntuación y, por lo tanto, mejorado en cierta medida la confiabilidad intra
e interjueces. Sin embargo, dado que estas dos versiones son muy similares, creemos que nuestros hallazgos son válidos tanto para ASRS 2.0 como para 3.0.

Finalmente, la importante cuestión de la validez diagnóstica de la ASRS quedó fuera del alcance de este estudio, que sólo se refiere a la confiabilidad intra e
interjueces de la versión sueca de la ASRS entre evaluadores en un entorno clínico. El tema central de establecer la validez concurrente de la escala debe
investigarse más a fondo en estudios más amplios diseñados para ese propósito.
Existe una necesidad reconocida de mejorar el diagnóstico de AOS. Es muy necesario un instrumento de evaluación confiable, aplicable a la AOS en todos los
niveles de gravedad en entornos clínicos. Varios estudios han encontrado un apoyo prometedor para la ASRS. Es de esperar que los resultados de este estudio
puedan contribuir a un mayor desarrollo del instrumento.

Declaración de contribución de autoría CRediT

Helena Hybbinette:
¨ Análisis formal, Adquisición de fondos, Investigación, Administración de proyectos, Recursos, Redacción ­ borrador original. Per Ostberg:
Conceptualización, Análisis formal, Adquisición de fondos, Metodología, Supervisión, Redacción: revisión y edición.
Ellika Schalling: conceptualización, adquisición de fondos, metodología, supervisión, redacción: revisión y edición.

11
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

Declaración de intereses en competencia

Los autores declaran que no tienen conocidos intereses financieros en competencia o relaciones personales que pudieran haber parecido
influyen en el trabajo reportado en este artículo.

Agradecimientos

Los autores agradecen a la Fundación Promobilia y a la Fundación Lars Hedlund por su apoyo financiero y también expresan
su más sincero agradecimiento a todos los evaluadores y participantes.

Apéndice A. Datos complementarios

El material complementario relacionado con este artículo se puede encontrar, en la versión en línea, en doi:https://doi.org/10.1016/j.jcomdis.2020. 106076.

Referencias

Basilakos, A. (2018). Enfoques contemporáneos para el tratamiento de la apraxia del habla posterior a un accidente cerebrovascular. Seminarios de Habla y Lenguaje, 39, 25–36.
Basilakos, A., Rorden, C., Bonilha, L., Moser, D. y Fridriksson, J. (2015). Patrones de daño cerebral post­ictus que predicen errores en la producción del habla en la apraxia de
el habla y la afasia se disocian. Accidente cerebrovascular, 46(6), 1561–1566.
Basilakos, A., Yourganov, G., Den Ouden, D., Fogerty, D., Rorden, C., Feenaughty, L., et al. (2017). Un enfoque analítico multivariado para el diagnóstico diferencial de
apraxia del habla. Revista de investigación del habla, lenguaje y audición, 60(12), 3378–3392.
Botha, H., Duffy, JR, Strand, EA, Machulda, MM, Whitwell, JL y Josephs, KA (2014). Apraxia oral no verbal en la afasia progresiva primaria y la apraxia de
discurso. Neurología, 82(19), 1729­1735.
Botha, H., Utianski, RL, Whitwell, JL, Duffy, JR, Clark, HM, Strand, EA, et al. (2018). Conectividad funcional alterada en la apraxia primaria progresiva de
discurso. NeuroImagen Clínica, 18, 617–629.
Cicchetti, DV (1994). Directrices, criterios y reglas generales para evaluar instrumentos de evaluación normalizados y estandarizados en psicología. Psicológico
Evaluación, 6(4), 284–290.
Clark, H., Duffy, JR, Strand, E. y Josephs, JR (2016). Revisiones de la escala de calificación de apraxia del habla. En Póster Presentado en el Congreso sobre Habla Motora.
Duffy, JR (2020). Trastornos motores del habla: sustratos, diagnóstico diferencial y tratamiento (4ª ed.). San Luis, MO: Mosby.
Duffy, JR, Hanley, H., Utianski, R., Clark, H., Strand, E., Josephs, KA, et al. (2017). Las medidas acústicas temporales distinguen la apraxia primaria progresiva del habla.
de afasia progresiva primaria. Cerebro y lenguaje, 168, 84–94.
Duffy, JR, Strand, EA, Clark, H., Machulda, M., Whitwell, JL y Josephs, KA (2015). Apraxia primaria progresiva del habla: características clínicas y acústicas y
correlatos neurológicos. Revista estadounidense de patología del habla y el lenguaje, 24(2), 88–100.
Graff­Radford, J., Jones, DT, Strand, EA, Rabinstein, AA, Duffy, JR y Josephs, KA (2014). La neuroanatomía de la apraxia pura del habla en el accidente cerebrovascular. Cerebro y
Idioma, 129, 43–46.
Haley, KL, Jacks, A. y Cunningham, KT (2013). Variabilidad del error y diferenciación entre apraxia del habla y afasia con parafasia fonémica.
Revista de investigación del habla, el lenguaje y la audición, 56(3), 891–905.
Haley, KL, Jacks, A., de Riesthal, M., Abou­Khalil, R. y Roth, HL (2012). Hacia una base cuantitativa para la evaluación y el diagnóstico de la apraxia del habla. Diario de
Investigación del habla, lenguaje y audición, 55 (5), 1502–1517.
Haley, KL, Smith, M. y Wambaugh, JL (2019). Errores de distorsión del sonido en afasia con apraxia del habla. Revista Estadounidense de Patología del Habla y el Lenguaje, 28 (1),
121–135.
Hartelius, L. (2015). Dysartri –cama¨ omniming och intervención. Lund: Literatura estudiantil.
Hickok, G., Rogalsky, C., Chen, R., Herskovits, EH, Townsley, S. y Hillis, AE (2014). Las redes sensoriomotoras parcialmente superpuestas subyacen a la praxis del habla y
Memoria verbal a corto plazo: evidencia de apraxia del habla después de un accidente cerebrovascular agudo. Fronteras en la neurociencia humana, 8(649), 1–8.
Josephs, KA, Duffy, JR, Strand, EA, Machulda, MM, Senjem, ML, Master, AV, et al. (2012). Caracterización de un síndrome neurodegenerativo: primario
apraxia progresiva del habla. Cerebro, 135(5), 1522­1536.
Josephs, KA, Duffy, JR, Strand, EA, Machulda, MM, Senjem, ML, Lowe, VJ, et al. (2013). Los síndromes dominados por la apraxia del habla muestran distintos
características de la PPA agramática. Neurología, 81(4), 3373–45.
Kent, RD (1996). Oír y creer: algunos límites a la evaluación auditivo­perceptiva de los trastornos del habla y la voz. Revista Americana de Habla­Lenguaje
Patología, 5(3), 72–73.
Koo, TK y Li, MY (2016). Una guía para seleccionar y reportar coeficientes de correlación intraclase para investigaciones de confiabilidad. Revista de Medicina Quiropráctica, 15 (2),
155–163.
¨
Lindstrom, ¨ E. y Werner, C. (1995). Qué bien. Neurolingvistisk afasiundersokning . Estocolmo: Ord & Bildmakarna.
McNeil, MR, Ballard, K., Duffy, JR y Wambaugh, J. (2016). Apraxia del habla: Teoría, valoración, diagnóstico diferencial y tratamiento: Pasado, presente y futuro.
En P. van Lieshout, B. Maassen y H. Terband (Eds.), Control motor del habla en el habla normal y desordenada: desarrollos futuros en teoría y metodología. Rockville, MD: Prensa ASHA.

McNeil, MR, Robin, DA y Schmidt, RA (2009). Apraxia del habla: Definición, diferenciación y tratamiento. En MR McNeil (Ed.), Gestión clínica de
Trastornos sensoriomotores del habla (2ª ed.). Nueva York, Nueva York: Thieme.
Molloy, J. y Jagoe, C. (2019). Uso de diversos criterios de diagnóstico para la apraxia adquirida del habla: una revisión del alcance. Revista Internacional de Lenguaje y Comunicación
Trastornos, 1–19.
Moser, D., Basilakos, A., Fillmore, P. y Fridriksson, J. (2016). Daño cerebral asociado con la apraxia del habla: evidencia de estudios de casos. Neurocaso, 22(4),
346–356.
Schalling, E. (2014). Naturaleza, evaluación y tratamiento de la disartria y la apraxia del habla en sueco. En N. Miller y A. Lowit (Eds.), Trastornos motores del habla: A
perspectiva translingüística. Reino Unido: Asuntos multilingües.
Strand, EA, Duffy, JR, Clark, HM y Josephs, K. (2014). La escala de calificación de la apraxia del habla: una herramienta para el diagnóstico y descripción de la apraxia del habla. Revista de trastornos de la
comunicación, 51, 43–50.
Trevethan, R. (2016). Coeficientes de correlación intraclase: aclarar las cosas, extender algunas advertencias y hacer algunas solicitudes. Investigación de resultados y servicios de salud
Metodología, 17(2), 127–143.

12
Machine Translated by Google

H. Hybbinette y col. Revista de Trastornos de la Comunicación 89 (2021) 106076

Utianski, RL, Duffy, JR, Clark, HM, Strand, EA, Botha, H., Schwarz, CG, et al. (2018). Subtipos prosódicos y fonéticos de apraxia progresiva primaria de
discurso. Cerebro y lenguaje, 184, 54–65.
Wambaugh, JL, Bailey, DJ, Mauszycki, SC y Bunker, LD (2019). Fiabilidad entre evaluadores y validez concurrente para la escala de calificación de apraxia del habla 3.0:
Aplicación con personas con apraxia adquirida del habla y afasia. Revista estadounidense de patología del habla y el lenguaje, 28(2S), 895–904.
Yorkston, KM y Beukelman, DR (1981). Evaluación de la inteligibilidad del habla disártrica. Austin, TX: Pro­Ed.

13