Ecología global y conservación 26 (2021) e01510

Listas de contenidos disponibles en ScienceDirect

Ecología y conservación global

revista Página de inicio: ht tp: / /www.elsevier .com / localizar / gecco

Reconocimiento del comportamiento del panda gigante mediante imágenes

Pranjal Swarup a, *, Peng Chen B, C, D, Rong Hou B, C, D, Pinjia Que B, C, D,

Peng Liu B, C, D, Adams Wai Kin Kong a
a Escuela de Ingeniería y Ciencias de la Computación, Universidad Tecnológica de Nanyang, Singapur
B Base de investigación de Chengdu para la cría de pandas gigantes, Chengdu, 610086, China
C Laboratorio clave de Sichuan de biología de la conservación para la vida silvestre en peligro de extinción, Chengdu, 610086, China
D Academia de Panda Gigante de Sichuan, Chengdu, 610086, China

información del artículo resumen

Historia del artículo: Monitoreo de panda gigante (Ailuropoda melanoleuca) El comportamiento es fundamental para su
Recibido el 26 de agosto de 2020 conservación y comprensión de sus condiciones de salud. Actualmente, el comportamiento del panda
Recibido en forma revisada el 17 de febrero de 2021
gigante en cautiverio generalmente es monitoreado por sus cuidadores. En estudios anteriores, los
Aceptado el 17 de febrero de 2021
investigadores observaron los comportamientos de los pandas durante períodos de tiempo cortos durante
un período. Sin embargo, tanto los cuidadores como los investigadores no pueden monitorearlos las 24
Palabras clave:
horas usando métodos tradicionales de observación. En otras palabras, los datos sobre el comportamiento
Panda gigante
animal son diferentes.ficulto a recolectar durante largos períodos y son propensos a errores cuando se
Reconocimiento del comportamiento animal
registran manualmente. Algunos investigadores han utilizado dispositivos portátiles como acelerómetros y
Aprendizaje profundo

Red neuronal convolucional Ecología unidades montadas en collar con un receptor de sistema de posición global (GPS) y dispositivos sin contacto
de la vida silvestre como cámaras de profundidad y cámaras de video para comprender el comportamiento de otros animales
como primates y pelícanos blancos americanos. Sin embargo, el panda gigante, un ícono de la conservación
de especies en peligro de extinción, está casi completamente descuidado en estos estudios. Para monitorear
el comportamiento del panda gigante de manera efectiva, un método de reconocimiento del
comportamiento del panda gigante totalmente automatizado basado en Faster RmiCNN y dos modified
ResNet fue creado. El más rápido RmiLa red CNN pudo detectar cuerpos de pandas y caras de pandas en
imágenes. Uno de los modified ResNet fue capacitado para clasificar su comportamiento en ficinco clases,
caminar, sentarse, descansar, trepar y comer y el otro para reconocer si el panda'Los ojos y la boca estaban
abiertos o cerrados. Se realizaron experimentos con 10.804 imágenes recopiladas de más de 218 pandas en
diversos entornos y condiciones de iluminación. Los resultados experimentales fueron muy alentadores y
lograron una precisión general del 90% para elficinco comportamientos de panda y una precisión general del
84% para los sutiles movimientos faciales de panda. El método propuesto proporciona una forma eficaz de
monitorear el comportamiento del panda gigante en cautiverio.
© 2021 Los autores. Publicado por Elsevier BV Este es un artículo de acceso abierto bajo el CC
Licencia BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).

1. Introducción

El panda gigante, como icono de la conservación de especies en peligro de extinción, ha atraído una atención considerable en las últimas décadas.
SignifiSe han realizado grandes esfuerzos para la conservación de los pandas. Para proteger a los pandas salvajes, el gobierno chino ha ampliado el área
del hábitat de los pandas, ha establecido corredores verdes para conectar a las poblaciones aisladas, ha patrullado contra la caza furtiva y

* Autor correspondiente.
Dirección de correo electrónico: pswarup@ntu.edu.sg (P. Swarup).

https://doi.org/10.1016/j.gecco.2021.e01510
2351-9894 /© 2021 Los autores. Publicado por Elsevier BV Este es un artículo de acceso abierto bajo la licencia CC BY-NC-ND (http://creativecommons.org/ licencias / by-nc-nd / 4.0 /).
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

tala y desarrollo de capacidades locales para la gestión de reservas naturales (WWF, 2020). Estas medidas son relativamente pasivas. Para aumentar de
forma proactiva la población de pandas en estado salvaje, se ha llevado a cabo la reintroducción de pandas en cautiverio (Yang y col., 2018b). La
población de pandas en cautiverio juega un papel muy importante en la conservación de los pandas. Actualmente, hay 600 pandas cautivos en el mundo
(Mu, 2019). Comprender su comportamiento es vital para su bienestar, salud y el éxito de los programas de cría en cautividad.

El panda es un miembro de la orden Carnivora; sin embargo, consume casi exclusivamente bambú y, como resultado, gasta unafiNo puedo pasar
mucho tiempo comiendo bambú. En promedio, los pandas pasan más de 12 horas comiendo por día (Wang y col., 1990). Sin comer, descansan la mayor
parte del día y, como resultado, tienen un gasto energético diario excepcionalmente bajo (Nie et al., 2015). Sin embargo, algunos pandas son más
activos que otros, ya que caminan y trepan con más frecuencia que otros (Martin-Wintle y col., 2017). Sus comportamientos también pueden afectarfl
afectar sus condiciones de salud. Por ejemplo,Janssen y col. (2006)señaló que los síntomas clínicos de los pandas gigantes que padecen cólicos son una
postura característica de estar acostado boca abajo con las piernas abiertas, anorexia y letargo, así como aumento de las vocalizaciones especialmente "
tocar la bocina”. Janssen y col. (2006)también situó la osteoartritis como otra enfermedad que se puede detectar al observar el comportamiento del
panda, incluida la cojera en la extremidad afectada, cambios en la marcha, letargo y disminución del apetito. Al igual que con los humanos, el descanso,
el ejercicio y la dieta son factores importantes para un panda.'s salud y bienestar. Por lo tanto, registrar con precisión el comportamiento de los pandas
sería útil para controlar su salud y detectar comportamientos anormales, posiblemente debido a cambios en su estado de salud. Además de la salud, el
comportamiento del panda tambiénflafecta su personalidad, que es unaflfactor importante para una reproducción exitosa (Zhang y col., 2004) e identifi
cación de parejas de apareamiento ideales (MartinWintle et al., 2017). Martin-Wintle y col. (2017)señaló que los machos que son más agresivos que sus
parejas femeninas tienen más probabilidades de aparearse y producir cachorros que cuando las hembras son más agresivas que los compañeros
masculinos.
Martin-Wintle y col. (2017)Usó calificaciones subjetivas recopiladas de los cuidadores de pandas.' retroalimentación para clasificar la personalidad panda. Además de
la salud y la reproducción, el comportamiento del panda en cautiverio puedeflinfluyen en su supervivencia después de la reintroducción en la naturaleza (Swaisgood
et al., 2018). Investigaciones anteriores también han observado cambios estacionales en el comportamiento de los pandas (Hansen et al., 2010).
Aunque el comportamiento de los pandas es fundamental para la conservación de los pandas, no existe una forma eficaz de controlar su
comportamiento durante un largo período de tiempo. Para abordar esto, la investigación sobre el reconocimiento automático del comportamiento de
los pandas fue realizada porChen y col. (2012b)'s utilizando un método de reconocimiento de pose. Este método se basa en la sustracción de fondo, que
es un método tradicional de procesamiento de imágenes sensible a los cambios ambientales, por ejemplo, las condiciones de iluminación.Chen y col.'s
(2012b) método classifies ficinco poses de panda, que son sentado, sentado de lado, acostado, durmiendo y caminando. Se utilizaron cinco videoclips
cortos para analizar estos datos. No está claro si el panda en cada video cambia de pose o no. La solidez de su método en diferentes entornos y
condiciones de iluminación tampoco está clara. Actualmente, los investigadores del comportamiento todavía basan sus estudios en observaciones
focales y comentarios subjetivos proporcionados por sus cuidadores para analizar el comportamiento de los pandas. A pesar de que los cuidadores
siempre interactúan con sus pandas, todavía no pueden observar a sus pandas las 24 horas del día y registrar su comportamiento con precisión y sin
sesgos. Dado que el comportamiento del panda es un indicador importante para su bienestar, salud y reproducción, en este artículo proponemos un
método de reconocimiento del comportamiento del panda totalmente automático basado en el aprendizaje profundo. El método propuesto puede
clasificarfiCinco comportamientos comunes de los pandas: sentarse, caminar, descansar, trepar y comer y dos movimientos faciales sutiles, abrir o
cerrar los ojos y la boca. Al usar medidas objetivas de caminar y trepar, podemos comprender exactamente qué tan activo es un panda. De comer,
podemos monitorear panda's comportamiento alimentario. Desde el descanso y los ojos cerrados, podemos medir y distinguir cuántas horas duerme
un panda en comparación con simplemente descansar. La boca abierta y cerrada se puede utilizar para detectar un comportamiento bucal anormal,
como los estereotipos orales que son comunes en los pandas y pueden ser un indicador de estrés y un indicador temprano de problemas dentales. Para
evaluar la solidez del método propuesto, se recopilaron más de 10,000 imágenes de más de 218 pandas para este estudio.
Aunque este es el fiEn el primer estudio que utilizó el aprendizaje profundo sobre los comportamientos de los pandas, la investigación anterior aplicó el
aprendizaje profundo en los pandas gigantes. La mayoría de las investigaciones anteriores que utilizan el aprendizaje profundo en pandas gigantes son para la
detección de pandas y la identificación individual.ficatión. Hou y col. (2020)y Chen y col. (2020)estudió detección de rostros de panda e identificatión. Hou y col.'s
(2020) El método es semiautomático, que requiere la detección manual y la segmentación de la cara del panda. Su método fue examinado en imágenes
recolectadas de 25 pandas.Chen y col.'s (2020) El método es completamente automático desde la detección de rostros de panda hasta la segmentación y
la identificación.ficatión. Probaron su método en imágenes recolectadas de 218 pandas. Además del reconocimiento facial panda,Ding y col., (2020)
Aplicó el aprendizaje profundo en todo el panda, incluido su cuerpo para la identificación individual.ficatión y probaron su método en 30 pandas
diferentes. Cabe mencionar que elfiprimer panda identi publicadofiEl método catiónico fue propuesto por Matkowski y col. (2019), sin embargo, no fue
un método basado en el aprendizaje profundo. Además de identificatión,
Wang y col. (2019)utilizó aprendizaje profundo e imágenes de caras de pandas para clasificar el género. Antes del desarrollo del aprendizaje profundo,
había estudios previos utilizando imágenes de panda. Como se mencionó anteriormente,Chen y col.'s (2012b) panda pose reconocimiento y
Matkowski y col.'s (2019) panda individual identificatión son métodos basados en el procesamiento de imágenes tradicional. Las diferencias entre Chen
et al.'El trabajo de s (2012b) y el método propuesto se han destacado anteriormente. Kühl y Burghardt (2013)
propuso dos métodos basados en características orientadas al gradiente para detectar cabezas de animales, incluido el panda. Al igual que conKühl y
Burghardt (2013), Chen y col. (2012a)también estudiaron la detección de rostros de pandas, sin embargo, utilizaron un enfoque basado en ejemplos.
Chen y col. (2012c)desarrolló un método basado en el modelado de topología para detectar regiones faciales de panda.
Además de los estudios de reconocimiento, los científicos han intentado desarrollar métodos automáticos para estudiar el comportamiento de otros animales
debido a su importancia para la conservación de la vida silvestre y los usos agrícolas. Por ejemplo,Labuguen y col. (2019)utilizó DeepLabCut, una herramienta de
código abierto, para detectar características clave, como articulaciones de primates, para analizar y comprender su comportamiento. Yang y col. (2018a)usado Faster
RmiCNN para reconocer el comportamiento de alimentación de los cerdos alojados en grupos. También se han aplicado sensores de profundidad para la
investigación del comportamiento animal (Pons et al., 2017). Además del enfoque basado en imágenes, algunos científicos utilizan sensores portátiles para investigar
el comportamiento de los animales.Fogarty y col. (2020)usó crotales de acelerómetro para identificar

2
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

cambios de comportamiento en ovejas asociados con el parto. Los acelerómetros también se aplicaron a un estudio de comportamiento de vacas
lecheras (Riaboff et al., 2020). Para comprender los patrones de movimiento de los pelícanos blancos americanos, se utilizaron transmisores GPS (Wang,
2019). El enfoque basado en imágenes es más adecuado para el análisis del comportamiento de los pandas porque las cámaras se han instalado
ampliamente en los zoológicos y son asequibles y más fáciles de adoptar. Los pandas gigantes también pueden sentirse incómodos con los sensores
portátiles, lo que podría afectar su comportamiento natural. Por lo tanto, en este estudio se empleó el enfoque basado en imágenes.

2. Materiales y métodos

2.1. Alcance de este estudio

Este estudio tiene como objetivo utilizar un método completamente automático para clasificar el comportamiento del panda en ficinco clases
principales, caminar, sentarse, descansar, trepar y comer, así como determinar si un panda abre o cierra los ojos y la boca. Para examinar la solidez del
método propuesto, se estableció un gran conjunto de datos que consta de 10.804 imágenes de pandas de más de 218 pandas en cautiverio. Casi no se
impuso ningún control sobre los entornos de imágenes y los pandas en el proceso de adquisición de datos. Así, las imágenes fueron recolectadas desde
varios puntos de vista y ambientes de iluminación y los pandas posaron de forma natural. El método descrito en este estudio permitirá a los
investigadores registrar el comportamiento del panda en detalle para varios estudios de comportamiento y permitirá a sus cuidadores comprender
mejor su actividad de una manera objetiva.

2.2. Conjunto de datos

Para este estudio, se recuperaron 10.804 imágenes de pandas de archivos de imágenes y también se recopilaron utilizando una grabadora de video
digital Panasonic dvx200 y tres cámaras digitales, incluidaseeuna cámara Canon 1DXmarkII, una cámara Canon 5DmarkIII y una Panasonic Lumix DMCmi
Cámara GH4. Estas imágenes fueron tomadas desde una amplia gama de puntos de vista y distancias y mostraron comportamientos rutinarios de
panda, como comer bambú, caminar y acostarse. La mayoría de las imágenes están en el rango entre 1024 por 678 píxeles y 1920 por 1080 píxeles. Las
imágenes con una cara de panda visible que cubre más del 40% de la imagen completa no se incluyeron en este estudio porque su comportamiento no
se puede anotar de manera confiable.
Las imágenes fueron anotadas manualmente por cuatro anotadores utilizando el software de anotación VIA (Dutta y Zisserman, 2019).
Los anotadores asignaron etiquetas de comportamiento al cuerpo del panda y dos etiquetas binarias para ojos abiertos / cerrados y boca abierta /
cerrada a la cara del panda (Figura 1). Además, también utilizaron cuadros delimitadores para localizar el panda completo y su cara. Durante la fase de
prueba, se detectaron pandas y sus caras y su comportamiento fue clasified automáticamenteFigura 2 y Fig. 3). En otras palabras, las imágenes sin
procesar se utilizan como entrada y no se aplica ningún proceso manual a las imágenes antes de ingresar al método propuesto. Las resoluciones de
imagen son similares a las de altafinition estándar utilizado en muchas cámaras de vigilancia. De hecho, el método propuesto no necesita imágenes de
alta resolución para la clasificación de comportamiento.ficatiónFigura 4). El método propuesto

Figura 1. Ejemplos de imágenes en el conjunto de datos con anotaciones manuales.

3
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

Figura 2. Ejemplos de fiCinco comportamientos principales, descansar, sentarse, caminar, trepar y comer en orden de izquierda a derecha.

Fig. 3. Ejemplos de movimientos faciales sutiles, ojos abiertos y boca abierta, ojos cerrados y boca cerrada en orden de izquierda a derecha.

Figura 4. Ejemplos de imágenes faciales de baja resolución presentes en el conjunto de datos.

toma imágenes con un tamaño de 224 por 224 píxeles como entrada y, por lo tanto, las imágenes de alta resolución se reducen de hecho antes de
ingresar al método. Se aplicaron etiquetas de comportamiento con sus regiones correspondientes y el recuento de ejemplos de imágenes con esas
etiquetas presentes en el conjunto de datos (tabla 1). Una lista de acciones conductuales y movimientos faciales sutiles fueron claramente defined y
utilizado para anotaciones (Tabla 2). Los lectores que no estén interesados en los detalles del método pueden omitir el resto de
Sección 2 y lea los resultados en la Sección 3 (ver Tabla 3).

tabla 1
Los atributos de comportamiento.

Comportamiento Región Contar

Ojos cerrados Cara 934

Boca abierta Cara 2195
Descansando Cuerpo 1062
Sentado Cuerpo 6023
Para caminar Cuerpo 2811
Escalada Cuerpo 597
Comiendo Cuerpo 3552

4
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

Tabla 2
El definición de los atributos del comportamiento.

Comportamiento Delawarefinition

Ojos cerrados La pupila y el iris no son visibles.

Boca abierta La cavidad bucal y los dientes dentro de la boca. son visibles.
Descansando El sujeto está acostado sobre el pecho o sobre el abdomen.
Sentado El sujeto se sienta erguido sobre las nalgas y las piernas están en el suelo o colgando. El
Para caminar sujeto está de pie sobre las extremidades delanteras y traseras y avanza. El sujeto sube o
Escalada baja por un árbol o una estructura.
Comiendo El sujeto se lleva la comida a la boca, mastica o muerde.

2.3. El método propuesto de reconocimiento del comportamiento del panda

Primero, se aplica una red de detección a las imágenes de entrada sin procesar para detectar caras de panda y cuerpos completos, que se indican mediante
cuadros delimitadores de salida. Luego, las regiones de panda y cara de panda detectadas se extraen, normalizan yfiingresado finalmente a dos clases de
comportamientofiredes de cationes para clasificar el ficinco comportamientos principales y dos movimientos faciales sutiles (Figura 5).

2.3.1. Red de detección

La arquitectura se inicia con un Faster RmiCNN (Ren et al., 2015) que utiliza ResNet-50 (He et al., 2016) y Pirámide de funciones
La red (Lin et al., 2017) como un extractor de características para extraer características de múltiples escalas para detectar pandas con diferentes
tamaños en imágenes. La red se descargó del repositorio de torchvision y se entrenó previamente en COCOtrain2017 (Lin et al., 2014). R más rápidomi
CNN es un método de detección de objetos genérico de última generación. Consiste en una red de propuesta de región para detectar regiones que
puedan contener objetos y una red para clasificar los objetos en las regiones detectadas y volver afine sus coordenadas del cuadro delimitador para fit
los objetos mejorFigura 6). Un mapa de características convolucional esfiPrimero calculado para la imagen completa. Luego, las características
correspondientes a las regiones de ROI propuestas se extraen y pasan a la capa de agrupación de ROI y algunas capas completamente conectadas para
calcular los vectores de características de ROI. Luego, los vectores se utilizan para clasificar los objetos en las regiones y hacer una regresión de las
coordenadas del cuadro delimitador por sus respectivas subredes. Para este estudio, un Faster RmiCNNmodel es fisintonizado en el conjunto de datos
de panda para detectar caras de pandas y pandas enteros.

2.3.2. Comportamiento clasifiredes de cationes

Dos modi separadosfied ResNet-50, que fueron entrenados previamente en el conjunto de datos ImageNet (Deng y col., 2009), estaban acostumbrados a
clasificar el ficinco comportamientos principales y los dos movimientos sutiles en la cara del panda. Para la clase de comportamientoficatión, todas las
capas y sus pesos pre-entrenados hasta la capa ResNet 4, se retuvieron y las capas restantes se descartaron. Luego, para cada comportamiento o
movimiento facial sutil, se agregaron a la red dos nuevas capas convolucionales y una capa completamente conectada. Más claramente, cada
comportamiento y movimiento facial sutil tiene sus propias capas recién agregadas (Figura 7 y Figura 8). Para clasificar los principales comportamientos,
la capa completamente conectada teníaficinco pares de nodos de salida y para clasificar los movimientos faciales sutiles, las capas completamente
conectadas tenían dos pares de nodos de salida, correspondientes a los movimientos de los ojos y la boca (Figura 8). Tenga en cuenta que los pandas
pueden realizar dos comportamientos principales al mismo tiempo, por ejemplo, sentarse y comer. La suma de la pérdida de entropía cruzada para
cada comportamiento o movimiento facial sutil se utilizó como función objetiva para entrenar las redes. En el entrenamiento, las caras de panda
recortadas y redimensionadas y los pandas de la red de detección se ingresaron en las dos redes y solo se entrenaron los pesos en las capas recién
agregadas mientras que el resto se congela.

2.3.3. Capacitación
Todas las redes se entrenaron en una estación de trabajo Ubuntu 18.04 con Intel Xeon (R) E5miCPU 1650 v4 y GPU NVIDIA GTX 1080 Ti. El código se
implementó en Python utilizando la biblioteca de aprendizaje profundo de Pytorch. Al entrenar el Faster RmiCNN, se utilizó el aumento de datos de
espejo aleatorio y al entrenar la clase de comportamientofiredes de cationes, rotación aleatoria en un rango de ±Más de 15 traducciones horizontales y
verticales aleatorias en una variedad de ±Se aplicaron 15 píxeles como aumento de datos. Además, las imágenes fueron variadas hasta±15%
aleatoriamente en el brillo, contraste, canales RGB y escalas de nitidez

Figura 5. El método de reconocimiento de conducta propuesto.

5
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

Figura 6. La R más rápidamiCNN

para la clase de comportamientofiformación de redes de cationes. El tamaño de entrada de la clase de comportamientofiredes catiónicas es de 224 224
píxeles. La cara de panda y panda detectada por el Faster RmiCNNwere fiprimero recortado. Luego, sus lados más largos se redimensionan a 224
píxeles y se conservan las relaciones de aspecto. Se aplicó relleno cero al resto de los píxeles.
Dado que para cada atributo, es decir, un comportamiento en el cuerpo del panda o un movimiento sutil en la cara, las muestras positivas fueron
mucho menos que las negativas, esto creó un problema de desequilibrio de clases. Para abordar esto, las imágenes se dividieron en dos listas para cada
atributo. Una lista contenía imágenes que tenían solo un atributo positivo y la otra lista contenía imágenes que solo tenían una anotación negativa para
ese atributo o más de un atributo positivo. Por lo tanto,ficinco listas de anotaciones positivas y fiSe crearon cinco listas de anotaciones negativas para los
comportamientos del panda, y se crearon dos listas de anotaciones positivas y dos listas de anotaciones negativas para los movimientos sutiles de la
cara del panda. Las imágenes de entrenamiento se muestrearon al azar de la lista positiva y la lista negativa para cada atributo. Más claramente, en
cada muestreo, se seleccionó una imagen de la lista positiva y una imagen de la lista negativa correspondiente al atributo. Esto alivió el problema del
desequilibrio de clases y mejoró los resultados.

2.4. Classifievaluación de cationes y detección

Los conjuntos de entrenamiento, prueba y validación contenían respectivamente 9579, 725 y 500 imágenes. Como los conjuntos de datos se generaron al azar, el
número de imágenes en los tres conjuntos con un comportamiento particular también fue aleatorio. Para reducir las posibilidades de que estén presentes imágenes
similares o los mismos pandas en los conjuntos de entrenamiento y prueba, se tomaron muestras de 2136 imágenes de pandas con menos de 26 imágenes en el
conjunto de datos para formar los conjuntos de prueba y validación, y las 8668 imágenes restantes se agregaron al conjunto de entrenamiento. Se muestrearon un
total de 725 imágenes al azar de las 2136 imágenes para formar el conjunto de prueba y se muestrearon 500 imágenes al azar para formar el conjunto de validación,
y las restantes 911 imágenes sin muestrear se agregaron de nuevo al conjunto de entrenamiento para formar un conjunto de 9579 (8668þ 911) imágenes. Se generó
la misma distribución de datos de entrenamiento, prueba y validación (9579, 725, 500)ficinco veces para la evaluación.

A medida que se examinaron las redes fiCinco veces en diferentes conjuntos de entrenamiento, validación y prueba, se dan la media y la desviación
estándar de la precisión de cada clase. Para la detección de cara de panda y panda, se usó un umbral de intersección sobre unión (IOU) del 70% para
decidir si la superposición entre el cuadro delimitador de verdad del terreno y el cuadro delimitador predicho es significativafino puedo o no. Más
claramente, si un cuadro delimitador detectado estaba por encima del umbral IOU, la detección se consideró correcta.

3. Resultados

La red de detección logró una precisión del 100% para pandas completos y una precisión del 99,8% para caras de panda (Figura 9 y
Fig. 3). Las redes lograron una precisión media del 90% para elficinco comportamientos, descansar, sentarse, caminar, trepar y comer y una precisión
media del 84% para los dos movimientos faciales sutiles, es decir, ojos y boca abiertos o cerrados (Tabla 3).

6
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

Figura 7. Comportamiento clasificapas de la red de cationes.

Figura 8. Comportamiento clasifiredes de cationes (a) para panda completo y (b) para cara de panda.

Clasificar descansar, caminar y escalar fue relativamente más fácil que clasificar comer y sentarse. Los tres comportamientos anteriores involucran a
todo el cuerpo del panda y, por lo tanto, pueden clasificarsefied más fácil. Comer solo involucra al panda's manos y boca. Estos pequeños movimientos
fueron más difíciles de aprender para la red. Sentarse es comúnmente una clasificación erróneafied como en reposo. Por lo tanto, tuvo menor precisión.
Las acciones faciales sutiles son más difíciles de clasificar porque algunos pandas en el conjunto de datos abrieron levemente la boca y los ojos. Además,
el color del panda'La pupila y la región periocular son negras, lo que hace que la

7
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

Figura 9. Resultados de la detección.

Tabla 3
Resultados de la predicción del comportamiento.

Significar (%) Estándar (%)

Cara de panda en general 84 1.3

Cuerpo de panda en general 90 0,8
Ojos abiertos / cerrados 88 1.4
Boca abierta / cerrada 79 1.8
Descansando 93 0,7
Sentado 84 1.3
Para caminar 91 1.1
Escalada 95 0,7
Comiendo 86 1.2

clasifitarea catiónica más difícil. Al masticar alimentos, la diferencia entre una boca abierta y una cerrada es muy difícil de diferenciar, ya que ambas
acciones son necesarias para masticar alimentos. Por lo tanto, la precisión de la boca abierta / cerrada fue menor en comparación con otros
comportamientos y acciones.

3.1. Aplicabilidad del método propuesto en datos de video

Para estudiar la aplicabilidad de nuestro método en datos de video de fuentes como cámaras de vigilancia, se realizó un experimento. Se
descargaron cinco videoclips de Internet y estos videos se convirtieron en imágenes JPEG a 24 cuadros por segundo. Cada video tiene un panda
realizando una actividad diaria. Cada panda en los videos tuvo el mismo comportamiento y, por lo tanto, a las imágenes convertidas del video se les
asignaron las mismas etiquetas de comportamiento. Los resultados experimentales muestran una alta precisión en la detección de los
comportamientos principales en los videos (Cuadro 4). Las etiquetas para las acciones faciales sutiles no estaban disponibles por lo que el clasifiNo se
midió el rendimiento de cationes de estos comportamientos. Figura 10 muestra algunos fotogramas de cada uno de los datos de vídeo.

4. Discusión y conclusión

Monitorear el comportamiento de los pandas es vital para su bienestar, salud y conservación. Actualmente, los cuidadores de pandas todavía
utilizan el enfoque tradicional que implica registrar manualmente los comportamientos de los pandas mediante un etograma. Consume mucho tiempo,
está sujeto a errores del observador y no puede monitorear a un sujeto.'s comportamiento en detalle durante 24 h. Por lo tanto, se desarrolló un
método de reconocimiento de comportamiento de panda completamente automático basado en el aprendizaje profundo. Este método puede clasificarfi
cinco comportamientos principales, sentarse, caminar, descansar, trepar y comer y dos movimientos faciales sutiles, abrir o cerrar los ojos y la boca.
Para evaluar la solidez del método propuesto, se recopilaron más de 10,000 imágenes de más de 218 pandas para este estudio. Este método logró un
precisión del 90% para el ficinco comportamientos principales y el 84% para los movimientos faciales sutiles. Desde el El método puede detectar de manera confiable el

Cuadro 4
Resultados de predicción de fotogramas de video.

TPRa FPR TNR FNR Acc (%)

General 0,93 0,02 0,98 0,07 97,00

Descansando 0,98 0,02 0,98 0,02 97,79
Sentado 0,97 0,08 0,928 0,03 94,20
Para caminar 0,99 0,03 0,97 0,01 97,16
Escalada 0,84 0,00 1,00 0,16 95.22
Comiendo 0,94 0,01 0,99 0,06 98,70
a TPR: Tasa de verdaderos positivos, FPR: Tasa de falsos positivos, TNR: Tasa de verdaderos negativos, FNR: Tasa de falsos negativos y Acc (%): Precisión.

8
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

Figura 10. Cada fila muestra algunos fotogramas seleccionados de la five videos.

Figura 11. Resultados de la interacción. Estas imágenes se descargan de Internet y no forman parte del conjunto de datos.

9
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

panda y su cara, esta información también se puede usar para monitorear las interacciones del panda, por ejemplo, cuánto tiempo interactúan dos
pandas (Figura 11).
Aunque nuestro conjunto de datos contiene imágenes de alta resolución para clasificar ficinco comportamientos, el método propuesto no necesita imágenes de
alta resolución. De hecho, todas las imágenes se redimensionaron a 224 por 224 píxeles como entradas. La imagen facial de panda más pequeña en nuestro
conjunto de datos es de 95 por 111 píxeles, que es sufficient para clasificar el movimiento facial. El método propuesto fue diseñado para pandas cautivos. Por lo
tanto, los administradores del zoológico tienen un gran control sobre la calidad de la imagen al instalar cámaras en lugares ideales en los ángulos adecuados. La
instalación y el uso adecuados de la cámara pueden reducir los problemas relacionados con imágenes de baja calidad, por ejemplo, imágenes con iluminación de
fondo e imágenes de baja resolución.
Una vez que se aplica el método propuesto, los comportamientos estereotipados, los patrones de comportamiento anormales y / o el cambio en los
patrones de comportamiento se pueden detectar de manera más eficaz. Estas anomalías o cambios pueden deberse a problemas de salud u otros
factores. Indican a los cuidadores de pandas que presten más atención al panda. El método propuesto también se puede utilizar para comparar
patrones de comportamiento de diferentes pandas y para comprender mejor sus características, por ejemplo, activo y perezoso para identificar parejas
de apareamiento (Martin-Wintle y col., 2017). Aunque en este estudio, el método desarrollado se examinó en pandas, también se puede aplicar a
especies similares, por ejemplo, el oso polar si hay datos disponibles. Sin embargo, diferentes animales pueden requerir diferentes etiquetas de
comportamiento. Por ejemplo, el oso polar nada con frecuencia pero no puede trepar como lo hace el panda.
Aunque el conjunto de datos de este estudio contenía más de 10.000 imágenes recopiladas de más de 218 pandas en diferentes períodos de tiempo,
para mejorar el rendimiento del modelo, es beneficioso entrenar los modelos con más datos.ficial. Este estudio se concentra principalmente en los
comportamientos individuales porque los pandas se consideran solitarios. Sin embargo, la forma en que interactúan los pandas también es un tema de
comportamiento importante, especialmente durante los períodos de apareamiento. Ampliar el método propuesto para monitorear las interacciones de
los pandas es vital para futuras investigaciones.

Declaración de intereses en competencia

Los autores declaran que no tienen conocimiento de competidores fiintereses económicos o relaciones personales que podrían haber aparecido enfl
influyen en el trabajo informado en este documento.

Agradecimientos

Este trabajo fue apoyado por la Base de Investigación de Cría de Panda Gigante de Chengdu [NO. CPB2018-02; NO. 2020CPB-C09; NO.2021CPB-C01;
Nº 2021CPB-B06]. La investigación realizada en la Universidad Tecnológica de Nanyang, Singapur, se encuentra en el marco del proyecto Desarrollo de
un método computacional para la identidad del panda gigante.ficatión de imágenes NO. CPB2018mi02. Agradecemos a James Ayala González por sus
sugerencias sobre la redacción de nuestro artículo.

Referencias

Chen, J., Wen, Q., Qu, W., Mete, M., 2012c. Detección de región facial de panda basada en modelado de topología En: 2012 5 ° Congreso Internacional de Imagen y
Procesamiento de señales, págs. 911mi915.
Chen, J., Wen, Q., Zhuo, C., Mete, M., 2012a. Un enfoque novedoso para la detección de cabezas de pandas gigantes en el entorno de campo libre. En: 2012 5th In-
Congreso internacional de Procesamiento de Imágenes y Señales. IEEE, págs. 814mi818.
Chen, J., Wen, Q., Zhuo, C., Mete, M., 2012b. Pose el reconocimiento de pandas gigantes basado en formas de degradado. En: Congreso Internacional de Computacional de 2012
Resolución de problemas (ICCP). IEEE, págs. 358mi362.
Chen, P., Swarup, P., Matkowski, WM, Kong, AWK, Han, S., Zhang, Z., Rong, H., 2020. Un estudio sobre el reconocimiento de pandas gigantes basado en imágenes de un gran
proporción de pandas cautivos. Ecol. Evol. 10, 3561mi3573.
Deng, J., Dong, W., Socher, R., Li, LJ, Li, K., Fei-Fei, L., 2009. Imagenet: una base de datos de imágenes jerárquicas a gran escala. En: 2009 IEEE Conference on Computer
Reconocimiento de patrones y visión. IEEE, págs. 248mi255.
Ding, R., Wang, L., Zhang, Q., Niu, Z., Zheng, N., Hud, G., 2020. Identificación de panda gigante de grano finoficatión. En: Conferencia Internacional ICASSP 2020-2020 IEEE
sobre acústica, habla y procesamiento de señales (ICASSP). IEEE, págs. 2108mi2112.
Dutta, A., Zisserman, A., 2019. El software de anotación vía para imágenes, audio y video. En: Actas de la 27a Conferencia Internacional ACM sobre
Multimedia, págs. 2276mi2279.
Fogarty, E., Swain, D., Cronin, G., Moraes, L., Trotter, M., 2020. ¿Pueden los crotales de acelerómetro identificar cambios de comportamiento en ovejas asociados con el parto?
Anim. Reprod. Sci. 106345.
Hansen, RL, Carr, MM, Apanavicius, CJ, Jiang, P., Bissell, HA, Gocinski, BL, Maury, F., Himmelreich, M., Beard, S., Ouellette, JR, et al., 2010. Turnos estacionales
en el comportamiento de alimentación del panda gigante: relaciones con el consumo de partes de la planta de bambú. Zoo Biol. 29, 470mi483.
Él, K., Zhang, X., Ren, S., Sun, J., 2016. Máquinas de pose convolucional. En: Actas de la Conferencia IEEE sobre Visión por Computador y Reconocimiento de Patrones,
págs. 4724mi4732.
Hou, J., He, Y., Yang, H., Connor, T., Gao, J., Wang, Y., Zeng, Y., Zhang, J., Huang, J., Zheng, B., et al., 2020. Identificación de individuos animales que utilizan
aprendizaje: un estudio de caso de panda gigante. Biol. Conserv. 242, 108414.
Janssen, DL, Edwards, MS, Sutherland-Smith, M., Yu, J., Li, D., Zhang, G., Wei, R., Zhang, CL, Miller, RE, Phillips, L., et al. ., 2006. SignifiNo puedo problemas médicos
y valores de referencia biológicos para pandas gigantes del estudio biomédico. En: Pandas Gigantes: Biología, Medicina Veterinaria y Gestión. Cambridge University Press,
págs. 59mi86.
Kühl, HS, Burghardt, T., 2013. Biometría animal: cuantificación y detección de la apariencia fenotípica. Tendencias Ecol. Evol. 28, 432mi441.
Labuguen, R., Bardeloza, DK, Negrete, SB, Matsumoto, J., Inoue, K., Shibata, T., 2019. Estimación de pose sin marcadores de primates y análisis de movimiento utilizando
deeplabcut. En: 2019 8a Conferencia Internacional Conjunta sobre Informática, Electrónica y Visión (ICIEV) y 3a Conferencia Internacional de Imágenes de 2019. Visión y
reconocimiento de patrones (ICIVPR), IEEE, págs. 297mi300.
Lin, TY, Dollar, P., Girshick, R., He, K., Hariharan, B., Belongie, S., 2017. Redes piramidales de características para la detección de objetos. En: Actas de la Conferencia IEEE
sobre visión artificial y reconocimiento de patrones, págs. 2117mi2125.
Lin, TY, Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P., Zitnick, CL, 2014. Microsoft COCO: objetos comunes en contexto. En: europeo
Conferencia sobre Visión por Computador. Springer, págs. 740mi755.

10
P. Swarup, P. Chen, R. Hou y col. Ecología global y conservación 26 (2021) e01510

Martin-Wintle, MS, Shepherdson, D., Zhang, G., Huang, Y., Luo, B., Swaisgood, RR, 2017. ¿Se atraen los opuestos? Efectos de la coincidencia de personalidad en la cría
parejas de pandas gigantes cautivos sobre el éxito reproductivo. Biol. Conserv. 207, 27mi37.
Matkowski, WM, Kong, AWK, Su, H., Chen, P., Hou, R., Zhang, Z., 2019. Reconocimiento facial de panda gigante usando un pequeño conjunto de datos. En: 2019 IEEE International
Conferencia sobre Procesado de Imágenes. ICIP), págs.1680mi1684.
Mu, X., 2019. El número de pandas cautivos aumenta a 600 en todo el mundo. URL.http://www.xinhuanet.com/english/2019-11/13/c_138549959.htm.
Nie, Y., Speakman, JR, Wu, Q., Zhang, C., Hu, Y., Xia, M., Yan, L., Hambly, C., Wang, L., Wei, W., et al., 2015. Gasto energético diario excepcionalmente bajo en el
panda gigante que come bambú. Ciencia 349, 171mi174.
Pons, P., Jaén, J., Catala, A., 2017. Assessing machine learning classifiers para la detección de animales' comportamiento mediante seguimiento basado en profundidad. Expert Syst. Apl.
86, 235mi246.
Ren, S., He, K., Girshick, R., Sun, J., 2015. R-cnn más rápido: hacia la detección de objetos en tiempo real con redes de propuesta de región. En: Avances en información neuronal
Sistemas de procesamiento, págs.91mi99.
Riaboff, L., Poggi, S., Madouasse, A., Couvreur, S., Aubin, S., Bedere, N., Goumand, E., Chauvin, A., Plantier, G., 2020. Desarrollo de un metodologico
marco para una predicción sólida de los principales comportamientos de las vacas lecheras mediante una combinación de algoritmos de aprendizaje automático en datos de acelerómetro.
Computación. Electrón. Agric. 169, 105179.
Swaisgood, RR, Martin-Wintle, MS, Owen, MA, Zhou, X., Zhang, H., 2018. Estabilidad del desarrollo del comportamiento de alimentación: evaluación de la idoneidad de los animales cautivos
pandas gigantes para la translocación. Anim. Conserv. 21, 474mi482.
Wang, C., Hu, J., Zhao, C., 1990. El estudio de la ecología del comportamiento de los pandas gigantes. En: Investigación y progreso en biología del panda gigante, págs. 263mi270 [M].
Wang, G., 2019. Aprendizaje automático para inferir el comportamiento animal a partir de datos de ubicación y movimiento. Ecol. Inf. 49, 69mi76.
Wang, H., Su, H., Chen, P., Hou, R., Zhang, Z., Xie, W., 2019. Aprendizaje de características profundas para la clasificación de género del panda giganteficatión utilizando imágenes faciales. En: 2019 IEEE / CVF
Taller de la Conferencia Internacional sobre Visión por Computador (ICCVW), págs.279mi285.
Wwf, 2020. Panda gigante. URL:https://www.worldwildlife.org/species/giant-panda.
Yang, Q., Xiao, D., Lin, S., 2018a. Reconocimiento del comportamiento de alimentación para cerdos alojados en grupo con el r-cnn más rápido. Computación. Electrón. Agric. 155, 453mi460.
Yang, Z., Gu, X., Nie, Y., Huang, F., Huang, Y., Dai, Q., Hu, Y., Yang, Y., Zhou, X., Zhang, H., et al., 2018b. Reintroducción del panda gigante en la naturaleza: un buen
empezar sugiere un futuro brillante. Biol. Conserv. 217, 181mi186.
Zhang, G., Swaisgood, RR, Zhang, H., 2004. Evaluación de factores conductuales enflinfluyendo en el éxito y el fracaso reproductivo en pandas gigantes cautivos. Zoo Biol .:
Publ. Affil. Soy. Asociación Zoo Acuario. 23, 15mi31.

11