Aplicaciones y retos

de los drones en el
fenotipado
INTEGRATIVE CROP ECOPHYSIOLOGY
GROUP – Universitat de Barcelona

Shawn C. Kefauver*, Omar Vergara-Díaz,

José Armando Fernández-Gallego, Adrián
Gracia, Rut Sánchez-Bragado, Fadia
Chairi, Susan Medina. Jordi Bort, M.Dolors
Serret, Josep Lluís Araus

Jornada científico técnica de teledetección aplicada a la agricultura, Lleida 29/06/2017

Quiénes somos?
- Grupo de investigación de Integrative Crop Ecophysiology
(Sección Fisiología Vegetal, Dept. BEECA, Facultad de Biología, UB)

Qué hacemos?
- Estudios de les respuestas de …

 diferentes cultivos/vegetación
Fisiología Vegetal
 diferentes condiciones ambientales Molecular,
Isotópica,
 diferentes aproximaciones Y
 para el fenotipado a través de Teledetección
 Índice
 Fenotipado y teledetección para la mejora de cultivos
 Modelos de color y radiación electromagnética
 Procesamiento de imágenes aéreas: mosaicos y modelos 3D
 Desarrollo de software para el fenotipado con imágenes
 Algunos resultados – resistencia, tolerancia y rendimiento
 Resumen de las aplicaciones y retos
¿Qué tiene que ver drons con el
fenotipado de cultivos: mecanismos
fisiológicos y moleculares?
Estrategias más ágiles para incrementar el rendimiento de los cultivos.
Mejora de cultivos: criterios de selección. Manejo de cultivos. Indexes
fisiológicas de evaluación del “High Throughput Plant Phenotyping”
 Cambio
Climatico

Necesidad de la mejora↑estrés
de
cultivos contra condiciones
abiotic y
cada vez más adversas!biotic
↑Temperatura
Cambios de
precipitaciones
General Determinant Radiation uptake
Yield = IR x AR x PE x HI
 IR, Incident Radiation
Photosynthetic
 AR, Absorbed Radiation Efficiency
 PE, Photosynthetic Efficiency
 HI, Harvest Index
Harvest Index
In Water-limiting Conditions (Passioura 1977)
Yield = W x WUE x HI
 W, Water Used Water use
 WUE, Water Use Efficiency
 HI, Harvest Index
Water use
efficiency
Harvest Index
Imágenes RGB y índices con diferentes modelos
de color (por ejemplo Matiz, Saturación, Valor)

Matiz
(H)

Green Area (GA)

(% píxeles con 60º < Hue < 120º)
Modelo HSV de color Greener Area (GAA)
(% píxeles con 80º < Hue < 120º)

Casadesús and Villegas, Journal of Integrative Plant Biology 56(1) 2013

Señales espectrales de vegetación
sana, vegetación estresada y tierra
 Index Formula Details Citation
Pigment indices
NDVI, Normalized R NIR  R R Index of green vegetation cover. Tucker
Diff. Vegetation
Index R NIR  R R Generally NIR=845nm, R=665nm (1979)

SRI, Simple Ratio R NIR Index of green vegetation cover. Tucker

Index RR Generally NIR=845nm, R=665nm (1979)
699 599
RGRI, Red/Green
Ratio Index R R
600
i
500
i anthocyanins/chlorophyll
Gamon and
Surfus (1999)

R531  R570 Xanthophyll response to light ~

PRI, Photochemical Gamon et al.
photosynthetic efficiency and
Reflectance Index R531  R570 (1992)
carotenoid/chlorophyll ratio
Point of max.
REPI, Red Edge Sensitive to chlorophyll Curran et al.
slope between
Position Index concentration separate from LAI (1995)
690-740nm
CRI, Carotenoid  1   1  Gitelson et al.
     Foliar carotenoid concentration
Reflectance Index  R510   R580  (2002)

ARI, Anthocyanin  1   1  Gitelson et al.

     Foliar anthocyanin concentration
Reflectance Index  550   700 
R R (2001)
Water indices
WBI, Water Band R900 Peñuelas et al.
Foliar water concentration
Index R970 (1997)
NDWI, Normalized R860  R1240
Foliar water concentration Gao (1996)
Diff. Water Index R860  R1240
Continuum Removal Continuum Clark and
Foliar water concentration
at 970 and 1200nm removal area Roush (1984)
Foliar chemistry indices
log  
R1680
NDNI, Normalized  R1510  Serrano et al.
Foliar nitrogen concentration
 Plataforma aérea
 Mikrokopter OktoXL 6S

 4kg peso máximo (usualmente < 1.5 kg)

 10-30 min tiempo de vuelo (depende del peso)
 Opciones de control automático del vuelo y de cámara

 Equipamiento
 Cámara RGB: Lumix GX7 (16MP)
 Cámara termal: FLIR Tau 640 (640x520P)
 Cámara multispectral 1: Multispec4C (550-850nm)
 Cámara multispectral 2: TetraCam mini-MCA 11+ILS (450-950nm)
 Resolución de UAVs para imágenes aéreas

Landsat ASTER
16
Temporal Resolution (days)

Sentinel-2
8

Sentinel-3
Unmanned
Aerial

MODIS
Vehicles SPOT Proba-V
1

IKONOS
½

Airborne
METEOSAT
Sensors
¼ O

O 0.1 1 10 100 1000

Spatial Resolution (m)
El proceso del fenotipado de campo
para la mejora de cultivos

Araus & Cairns 2014 Trends Plant Sci.

Retos temporales – geográficos del
fenotipado del campo
 Fenotipado de precisión gran
escala en trigo duro: bases
fisiológicas y herramientas de
selección. I.P. JL Araus Ortega ;
MINECO con INIA y ITACyL.
 Fenotipado de resistencia al calor
y sequía para cambio climático
 Distribución geográfica de
ensayos para variar condiciones
meteológicas
 Siembra tardía para aumentar
efectos de calor.
 Locales de ensayos – Sevilla,
Aranjuez y Valladolid
 Estados del trigo deseado para el
proyecto 1. encañado, 2.
espigado y 3. llenado del grano
 Necesidades para los vuelos:
 Resolución espacial cm
 Sol (nublado < 50%)
 Viento < 20 km/h
 Coordinación con tratamientos
de riego, instalación de redes de
protección, etc.
 Mosaicos 2D, mosaicos multispectrales
y/o orto-rectificados y modelos 3D
 Se combina las varias imágenes del dron de cada vuelo utilizando el
algoritmo más adecuado para cada sensor (TEAX ThermoViewer,
PixelWrench, Adobe Lightroom, etc. ) para su calibración específica.
 Para los imágenes RGB de color normal y los imágenes termales los
mosaicos se producen mediante el Microsoft Research Image
Composite Editor, que se detecta de una manera automática la
posición de las fotos y ajuste según el movimiento del dron.
 Producimos los mosaicos multispectrales y otros orto-rectificados con el
Agisoft Photoscan Professional o Pix4D, lo cual nos permite combinar las
bandas multispectrales y/o una corrección ortográfica de terreno.
 Los imágenes RGB, multispectrales y termales también se puede
aprovechar en modelos 3D para la medida de componentes físicos
del los cultivos con Agisoft Photoscan Professional o Pix4D.
 Ejemplos - Imágenes RGB
Imagen
mosaico en
RGB, ensayo
de trigo duro a
Zamadueñas,
ITACyL, secano
a la izquierda
secano; riego a
la derecha
 Ejemplos - Imágenes Multispectrales

Mosaico orto-
rectificada
multispectral en
color infrarrojo,
ensayo de trigo duro
a Zamadueñas,
ITACyL; riego a la
izquierda, secano a
la derecha.
 Ejemplos - Imágenes Termales

Mosaico orto-
rectificada de
imágenes
termales
(tarde). Ensayo
de N de
cebada (Arazuri
INTIA/Syngenta)
Ejemplo de vuelos de 50m dónde se
combina varias fotos para cubrir la área de
interés.
Imagen de modelo 3D en color de
alta resolución
 Con mayor detalle del modelo se puede mejorar la estimación de
biomasa, encamado y altura de plantas a gran escala
Software en desarrollo
Breedpix (HSI, CIELab,
CIELuv, GA and GGA),
CIMMYT MaizeScanner (Plugin for FIJI) Triangle Greeness Index
Calcula indexes RGB a nivel de imagen (TGI), and Normalized
individual para enfermedades, vigor, Green Red Difference
LAI, biomasa Index (NGRDI) en batch.

(released at http://github.com/george-haddad/CIMMYT)
 Software en desarrollo
MosaicTool (Plugin for FIJI) Permite acelerar el
procesamiento de
Segmentación semi-automatizada de un gran número de
los mosaicos al las parcelas del ensayo parcelas individuales
 Información obtenida
Indexes RGB
 % de área verde
o RGB  % de área senescente
 HSI (Hue/Matiz, Intensidad, Saturación)
 Otros CIELAB (a*, u*, v*, b*)
Indexes Multispectrales
 Verdor/biomasa: NDVI, SAVI
o Multispectral  Chl y otros pigmentos: MCARI, ARI2, CRI2
 Estado hídrico: WBI
 Estado fotoquímico: PRI

 Temperatura de dosel
o Termal  CTD (Tº aire - Tº dosel)
 Crop Water Stress Index
 Parámetros fisiológicas y agronómicos relacionados
o Biomasa
o Rendimiento de grano
Toma de decisiones, indexes de
o Estado hídrico
nivel de resistencia o tolerancia
o Deficiencias nutricionales
a factores bióticas o abioticas
o Incidencia de enfermedades
o …

Áreas de aplicación
o Manejo del riego, fertilización,
aplicación de fitosanitarios, etc.
Agricultura de precisión

o Selección de variedades Fenotipado/mejora genética

tolerantes/resistentes
Algunos resultados experimentales - estado hídrico en trigo

Coeficientes de determinación de indexes RGB y NDVI vs GY

***, P < 0.001; **, P < 0.01; *, P < 0.05; ns, no significativo
Algunos resultados experimentales - N en maíz

Coeficientes de determinación de indexes RGB y NDVI vs GY

***, P < 0.001; **, P < 0.01; *, P < 0.05; ns, no significativo
Algunos resultados experimentales - Royo en trigo

Coeficientes de determinación de indexes RGB y NDVI vs GY

 Conteo de espigas del trigo y cebada

Trial, date of
sampling
original ´ 12 ´ 14 ´ 18 ´ 116 ´ 1 32

Aranjuez, May 12  92.39 % 92.14 % 91.6 % 88.98 % 81.10 % 62.94 %

Irrigated  6.23 5.89 6.04 7.06 8.75 7.51
72 images r 0.79 0.78 0.78 0.76 0.71 0.64
Aranjuez. May 12  91.06 % 90.30 % 89.25 % 85.50 % 77.41 % 60.12 %
Irrigated  6.37 6.29 6.79 7.48 8.66 6.89
24 images r 0.78 0.77 0.79 0.77 0.76 0.74
Aranjuez. May 12  91.7 % 91.15% 89.41 % 84.92 % 76.59 % 59.59 %
Rainfed  6.96 7.79 8.7 9.37 8.82 7.602
24 images r 0.72 0.69 0.67 0.65 0.62 0.47
Valladolid. June 9  89.79 % 89.22 % 87.67 % 82.47 % 72.47 % 50.97 %
Irrigated  10.14 10.52 11.07 12.47 15.32 14.09
24 images r 0.87 0.87 0.86 0.824 0.80 0.73
Valladolid. June 9  31.86 % 31.12 % 29.64 % 27.01 % 22.65 % 14.02 %
Rainfed  7.54 7.38 7.02 6.51 5.8 4.32
24 images r 0.42 0.39 0.38 0.39 0.34 0.34
1

Fernandez-Gallego et al., en revisión

 Resumen de Retos y aplicaciones de drones
para el fenotipado

 La captura de imágenes con drones es flexible pero aún así tiene sus limites y requiere un
planeamiento de vuelo con factores meteorológicas para cada sensor/vuelo/proyecto.
 Los índices (RGB, térmico digital, multispectral) producidos a partir de vuelos y plataformas a
nivel del suelo pueden ser usados para el fenotipado: mejora genética vegetal de los cultivos
en una amplia gama de condiciones, tanto como mejora en el manejo de cultivos.
 Las tecnologías RGB (bajo costo) pueden ser una herramienta fiable y robusta en la
predicción de rendimiento, nitrógeno foliar, así como el grado de incidencia de
enfermedades o incluso conteo de espigas a nivel de dron o de campo.
 Es necesario agilizar el procesamiento de esta información con el desarrollo de software
específico para aliviar los embotellamientos del fenotipado “high throughput.”
 Hay que mejorar la integración de los datos del fenotipado con drones con los criterios de
selección genética tradicional para aumentar el rendimiento global de cultivos (y lo mismo
para los sistemas de toma de decisión aplicables en agricultura de precisión).
 Para más información sobre el software open-source de FIJI :
 https://github.com/george-haddad/CIMMYT
Shawn Carlisle Kefauver
University of Barcelona, Faculty of Biology, Integrative Crop Ecophysiology Group
sckefauver@ub.edu, http://integrativecropecophysiology.com, http://sckefauver.com
 En colaboración con

moltes gracies
SC Kefauver, O Vergara, S Medina, F Chairi, JA Fernandez-Gallego,
A Gracia, R Sánchez, J Bort Pie, MD Serret, JL Araus
Jornada científico técnica de teledetección aplicada a la agricultura, Lleida 29/06/2017