Pautas para jueces de SBS

INTRODUCCIÓN
Esta tarea está diseñada para evaluar la calidad de los resultados de texto devueltos por ASR
(Automatic Speech
Reconocimiento) que convierte el audio en texto. Por favor, tómese el tiempo para escuchar el
audio, luego
Intente hacer su evaluación en los resultados del texto convertido para ver si el texto convertido es
preciso
refleja el audio.
Enlace con el juez
http://dl8u0otluguph.cloudfront.net/
1. Inicie sesión con la cuenta y la contraseña proporcionadas por su gerente.
2. Busque su lista de tareas en "Tarea especial" "Tareas SBS" "Proyecto" (Nombre del proyecto)elija
cualquier tarea en su lista
a "Inicio";
3. A continuación, puede ingresar a la página principal para evaluar:
3-1 Reproducir audio [Tecla de acceso rápido: "SHIFT+SPACE" para reproducir/pausar]
Haga clic para reproducir el audio, escúchelo con atención.
Tenga en cuenta que debe reproducir el audio antes de realizar cualquier evaluación. Si no reproduce el
audio, no está
se le permite hacer los resultados de su evaluación.
3-2 Lea los 2 resultados uno al lado del otro:
Después de escuchar el audio, mire los 2 resultados de texto (uno al lado del otro). A continuación,
determina qué lado es mejor. El
Las diferencias entre los 2 lados se resaltan para que puedas detectarlas fácilmente. Tenga en cuenta solo
los aspectos más destacados
Muestra las diferencias entre los 2 lados. No significa si la parte resaltada es correcta o incorrecta. Tú
tendrá que determinar qué lado es correcto o incorrecto en función del audio reproducido.
6 preguntas para responder:
1. Pregunta de fluidez:
Esta pregunta está tratando de preguntarle qué lado es mejor para que obtenga rápidamente el
significado del audio reproducido.
El resultado no tiene que coincidir con el audio palabra por palabra. Cuanto más rápido sea para usted
obtener el significado correcto de
cuanto mejor sea el audio.
En el ejemplo siguiente, Result1 refleja con precisión el audio palabra por palabra. Pero de captar rápidamente el significado del
punto de vista del audio
(que es lo que pide esta pregunta), Resultado2 es mejor.
Audio Me gustaria que supieras que eligieras el equipo uno ahm en realidad sabes que no hay equipo dos
Resultado1 Me gustaría, ya sabes, elegir el equipo uno. En realidad, ya sabes, no, equipo dos.
Resultado2 Me gustaría elegir el equipo dos.
2. Pregunta de legibilidad:
Esta pregunta está tratando de preguntarle qué lado es mejor para que pueda leer fácilmente el texto
convertido.
En el siguiente ejemplo, ambos resultados reflejan correctamente el audio. Pero Result1 es más fácil de leer. Por lo tanto , para esta
pregunta, Resultado1 es mejor.
Audio El monto total es de mil trescientos treinta y dos
Resultado1 El importe total es de 1.332.
Resultado2 El importe total es de mil trescientos treinta y dos.
3. Pregunta de puntuación:
Esta pregunta está tratando de preguntarle desde el punto de vista de la precisión de la puntuación, qué
lado es mejor, como
si se utiliza la puntuación correcta, si falta alguna puntuación o si hay puntuación adicional, etc.
4. Pregunta sobre mayúsculas y minúsculas:
Esta pregunta está tratando de preguntarle qué lado es mejor en el uso correcto de mayúsculas y
minúsculas, como cualquier palabra es erróneamente
en mayúsculas que deben estar en minúsculas, o cualquier palabra debe estar en mayúsculas pero está
en minúsculas, etc.
5. Pregunta de precisión de palabras:
Esta pregunta está tratando de preguntarle desde el punto de vista de la precisión de las palabras, qué
lado es mejor, como por ejemplo, si el
La palabra está escrita correctamente, las palabras que faltan o las palabras adicionales, etc.
6. Pregunta general:
Esta pregunta está tratando de preguntarte cuál es la sensación general sobre los resultados. Es posible
que un lado esté mejor en
Legibilidad, mientras que el otro lado tiene menos errores de palabras. En este caso, debe determinar qué
lado general
La experiencia es mejor en función del escenario.
Escala de valoración
La escala de valoración y las puntuaciones correspondientes son las siguientes:
• Lado izquierdo significativamente mejor (-100)
• Lado izquierdo mejor (-50)
• Más o menos lo mismo (0)
• Lado derecho mejor (50)
• Lado derecho significativamente mejor (100)
ESCALA DE VALORACIÓN (PUNTUACIÓN)
Al hacer la calificación, primero eliges qué lado es mejor. Luego, determina qué tan mejor es tu lado
favorito.
Elegir la puntuación correcta puede ser difícil, y está bien ser un poco subjetivo aquí. A veces la
ambigüedad
resultados (textos convertidos del audio) dificultan la aplicación de una calificación específica: para estos
resultados preguntamos
Usas el sentido común y la intuición que desarrollas con el tiempo para llegar al mejor juicio posible.
A continuación se describe cómo determinar el nivel de mejor.
Puntuaciones:
 Significativamente mejor:
Cuando el mejor lado es reflejar con precisión el audio y en un formato de visualización bueno y legible,
mientras que el otro
side tiene muchos errores y apenas entiende el significado al leer los resultados (texto convertido).
 Mejor:
Los resultados de ambos lados (contenido de texto convertido) tienen el significado correcto del audio,
pero un lado sobresale en uno o más
varios aspectos, tales como (pero no limitado a):
o Tiene menos errores de palabras,
o Tiene un formato de visualización mejor legible (por ejemplo, fecha, hora, números, etc.),
o Tiene una puntuación más correcta,
o Tiene mayúsculas más correctas
Está totalmente bien ser subjetivo aquí, pero por favor, proporcione un breve comentario sobre por qué
encontró algunos
texto convertido mejor que los demás.
 Más o menos lo mismo:
Si la diferencia entre los 2 lados no era notable o si un lado tenía algunos factores y carecía de otros
factores que tenía otro motor.
Ejemplos:
 Significativamente mejor:
Audio: Del total de 980 personas, 550 son mujeres. Es alrededor del 56%.
Resultados:
En este caso, el lado izquierdo es "significativamente mejor" que el lado derecho. Porque el lado
izquierdo no solo tenía el
palabras, sino que también mostraba el texto en formato legible, mientras que el lado derecho tenía
errores que cambiaban el original
Significado del audio
 Mejor:
1. Audio: Del total de 980 personas, 550 son mujeres. Es alrededor del 56%.
Resultados:
En este caso, el lado izquierdo es "Mejor" que el lado derecho. Porque el lado izquierdo es más
legible que el derecho
lado, aunque ambos lados tienen las palabras correctas del audio.
2. Audio: Me gustas, Will. Eres el segundo Will que conozco y me gusta en dos días. ¿Hay un inicio de
sesión?
¿Eso?
Resultados:
En este caso, el lado izquierdo es "Mejor" que el lado derecho. Porque "Will" es el nombre de una
persona. El lado derecho correctamente
lo reconocía como el nombre de las personas con "W" mayúscula mientras que el lado izquierdo no lo
hacía y ponía la "W" minúscula, aunque ambos
Los lados tienen las palabras correctas del audio.
3. Audio: Oh, digamos, eso es diferente, observó Markham, alterando su comportamiento.
Resultados:
En este caso, el lado izquierdo es "Mejor" que el lado derecho. El lado derecho reconoció
incorrectamente Iwill como Oh. Además, el derecho
A Side se le escaparon todos los signos de puntuación.
 Más o menos lo mismo
Audio: Del total de 980 personas, 550 son mujeres. Es alrededor del 56%.
Resultados:
En este caso, a ambas partes les falta una palabra. Aunque la palabra que falta es diferente, el impacto de
la palabra que falta
La palabra es más o menos la misma. Por lo tanto, la calificación es "Casi lo mismo".
 Acerca de lo mismo: error de inserción
Si ambos lados emiten una gran cantidad de contenido que no está en el audio, lo que llamamos
"error de inserción", la calificación es
"Más o menos lo mismo" ya que ambos son malos. Si solo hay una pequeña salida, ignore la parte de
salida, ya que puede ser
causado por el problema de alineación durante la segmentación y el juez aún hace la calificación en
función de la mayoría
contenidos.
Criterios de parada:
Para la ronda 1, dejamos de mostrarle una expresión para que la juzgue cuando se llega a un consenso
para las expresiones.
El criterio de consenso elegido es que exista una puntuación de coincidencia de 3 usuarios, es decir, por
ejemplo, si recibimos un
Puntuación de juicio de 50 de 3 usuarios para una expresión, detenemos esta expresión para cualquier
otra sentencia.
Es posible que algunos tengan que volver a trabajar en función de las solicitudes específicas del cliente
después del control de calidad de la ronda 1.
Después de la aceptación final del cliente, detenemos esta declaración para cualquier otro juicio.
Informar del problema:
Puede informar cualquier problema con una expresión en particular a PM.
Comentarios:
Después de hacer un juez, por favor detalla en los comentarios por qué favoreciste a un lado sobre el otro.
Sus comentarios
puede relacionarse con una impresión general, un criterio de evaluación específico o varios criterios.
Depende totalmente de ti.
Por favor, haga que sus comentarios sean claros, concisos y libres de palabras innecesarias.
No importa en qué idioma estés , todos los COMENTARIOS DEBEN ESTAR ESCRITOS EN INGLÉS
Sus comentarios deben abarcar tres partes principales de la información:
1. Lado de referencia: El lado (izquierdo o derecho) al que se refiere.
2. Base fáctica: Los hechos que dan forma a su opinión sobre los resultados. ¿Qué diferencias específicas en
el
¿Las transcripciones influyeron en tu decisión? Haga referencia al texto convertido del audio.
3. Sentimiento: Express cómo esas diferencias afectaron su comprensión o preferencia.
A continuación, se muestran algunos ejemplos de los comentarios proporcionados con hechos y
sentimientos destacados:
 Aunque ambos lados tienen el contenido de texto correcto del audio, el lado izquierdo muestra la fecha
en formato de fecha
( 21/10/2022) mientras que el lado derecho muestra la fecha en palabras ( veintiuno de octubre de dos
mil veintidós).
Por lo tanto, el lado izquierdo es más fácil de leer.
 El lado derecho tiene menos errores, por lo que aún puedo obtener el significado del audio. El lado
izquierdo tiene demasiados errores
(por ejemplo, "que" debería ser "entonces", falta la palabra "ellos", colocó mal la coma,) , y es difícil para
mí entenderlo
de qué está hablando.
Por favor , mantenga intactos tanto los hechos como los sentimientos y trate de no escribir sus
comentarios en forma de palabras clave. Por favor, recuerde que usted está
Comunicarse con personas reales. Conserve las estructuras gramaticales y la coherencia lógica para
garantizar que sus comentarios sean fáciles
entendido.
A continuación se enumeran algunos problemas comunes de los comentarios y las mejoras sugeridas.
Ejemplo de problema Mejora sugerida
Los comentarios son
Demasiado genérico
El lado derecho refleja mejor el audio Proporcione ejemplos de qué lado derecho es mejor
(por ejemplo, sobre la corrección de las palabras, la puntuación, la
formato de visualización, o qué), o el lado izquierdo es incorrecto
El lado izquierdo tiene errores de reco Enumere qué error de reco hay en el lado izquierdo
La izquierda reconoce correctamente todas las palabras Enumere qué lado derecho hizo mal al reconocer
Las palabras
El Reco izquierdo es mejor pero tiene errores Enumere los errores que tiene el lado izquierdo (dé
ejemplos)
Falta de
Ejemplos
El lado derecho es mejor que el lado izquierdo porque tiene todo
Palabras correctas, puntuaciones correctas
Sería mejor enumerar también ejemplos de lo que
El lado izquierdo se equivocó en las palabras o la puntuación
El Reco izquierdo es mejor. El Reco izquierdo coincide con el
Habla palabra por palabra
Sería mejor enumerar también ejemplos de lo que
El lado derecho hizo mal
En este caso, el lado izquierdo es "Significativamente mejor" cuando
en comparación con el lado derecho, ya que está libre de errores y está
De acuerdo con el discurso
Sería mejor enumerar también ejemplos de lo que
El lado derecho hizo mal