Corpus de aprendices de espaol como L2 (CAES)

Descripcin del sistema de consulta

Introduccin

Como se puede ver por las casillas que aparecen en la primera pgina de la aplicacin, la
consulta del CAES puede hacerse de forma que tenga en cuenta todos los parmetros utilizados en la
configuracin del corpus. Es decir, es posible seleccionar los datos segn:

Nivel adquirido de conocimiento de espaol (de A1 a C1)

L1 (lengua inicial o familiar)
Pas de residencia
Edad
Sexo

Dado que las muestras han sido etiquetadas y desambiguadas manualmente, cada una de las formas
grficas existentes en los textos lleva asociada una etiqueta que indica, para cada uno de los elementos
gramaticales que la componen , la clase de palabras que le corresponde, los valores que presentan en
1

ella las categoras que le son de aplicacin y el lema al que pertenece. Esto es, la forma llegar est
asociada al lema llegar, a la clase de palabras 'verbo' y a los valores correspondientes a 'primera
persona del singular del futuro simple de indicativo'. Por tanto, para este caso concreto el sistema
permite organizar las bsquedas segn:
elemento: llegar
lema: llegar
etiqueta: verbo, principal, indicativo, futuro, primera persona, singular

Es posible, como veremos, hacer consultas que combinen dos o ms de estos parmetros.

Adems, teniendo en cuenta los problemas que existen en textos de esta naturaleza, la
aplicacin permite que los resultados sean sensibles a las diferencias entre maysculas y minsculas y a
la presencia o ausencia de acentuacin grfica.

Es posible tambin buscar elementos, lemas o subcategoras que ocupen posiciones contiguas
en los textos e incluso elementos, lemas o subcategoras que aparezcan en un contexto prximo, aunque
no ocupen posiciones inmediatas.

Por ltimo, los resultados obtenidos pueden reflejar una estadstica simple, una estadstica
completa o mostrar las secuencias que contienen el fragmento obtenido. En caso necesario, una pantalla
adicional mostrar los rasgos relevantes de la persona que ha escrito el texto, el enunciado en el que se
encuentra la forma obtenida, la secuencia de formas grficas utilizadas, as como las etiquetas y los
lemas correspondientes.

Bsquedas generales

1 No, naturalmente, de todos los elementos gramaticales que la componen, sino de aquellos implicados en la distincin
establecida habitualmente entre palabra grfica y palabra gramatical. As, las palabras grficas al o decirte contienen
dos palabras o elementos gramaticales cada una de ellas, vinculados a los lemas a y el en el primer caso y decir y te en el
segundo. Cf. infra para las implicaciones de este tratamiento en el sistema de bsqueda.

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
 Si escribimos llegar en la ventana correspondiente a elemento y dejamos los valores que la
aplicacin presenta por defecto en todas las dems ventanas, obtenemos la informacin de que esta
forma aparece 58 veces en un total de 573 718 y en 55 pruebas sobre el total de 1423 que contiene el
corpus en esta versin. 2

La misma consulta, pero ahora con la opcin de Estadstica completa proporciona la

informacin detallada acerca de la distribucin por niveles de conocimiento, lenguas iniciales y sexo de
esas 58 apariciones de llegar.

La indicacin de la frecuencia total que presenta una determinada forma o combinacin de

formas con respecto al total del corpus o bien al subconjunto del que ha sido extrada permite el clculo
sencillo de la frecuencia normalizada, que habitualmente se cifra en casos por milln de formas. As,
con los ejemplos utilizados anteriormente : 3

2 A estos efectos, consideramos que cada prueba est constituida por todas las muestras o tareas procedentes de cada
estudiante (tres en unos niveles y dos en otros).
3 En este caso, es evidente que la aparicin de la forma llegar est condicionada por la naturaleza del texto pedido a los
estudiantes de los diferentes niveles.

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
 Casos de Frecuencia Nmero de palabras del Frecuencia
llegar en el CAES total conjunto del que ha normalizada (casos
sido extrada por milln de formas)
Total del corpus 58 573 539 101,1
Muestras de A1 46 155 241 296,3
Muestras de A2 7 178 711 39,2
Muestras de B1 4 116 777 34,2
Muestras de B2 1 80 452 12,4
Muestras de C1 0 42 358 ---

Para estudiar los textos en los que aparece esta forma, hay que seleccionar la opcin Ejemplos
en la ventana Resultados. Debe notarse que, a pesar de que en la ventana de bsqueda hemos escrito
4

llegar, las primeras lneas de concordancias contienen casos de la forma llegare. Eso se debe a que la
opcin que funciona por defecto no tiene en cuenta la diferencia entre vocales con tilde y sin ella, que
es la opcin en general ms adecuada para este tipo de textos, en los que no se siguen sistemticamente
las normas ortogrficas del espaol. En caso de que sea necesario trabajar con la diferencia entre
llegare y llegar, hay que activar la opcin Acentos y escribir la forma deseada en la ventana
correspondiente.

Las lneas de concordancias contienen el nmero que hace el ejemplo, la forma buscada con el
texto completo del enunciado en que est situada y tambin los datos de la L1 y el nivel de la persona a
la que corresponde la muestra. Pasando el puntero del ratn por las diferentes zonas de cada lnea de
concordancias se obtiene informacin adicional sobre cada bloque de datos. As, en la zona que recoge

4 Tambin es posible llegar hasta los ejemplos pulsando en las cifras resaltadas en las estadsticas. Como es lgico, la
aplicacin devuelve los casos correspondientes a la opcin marcada (nivel, lengua familiar, etc.).

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
el nivel y la L1 aparece tambin un recuadro con la referencia de la tarea y los dems datos personales.
En la zona de la palabra objeto de la bsqueda (resaltada y encolumnada) aparece la etiqueta que se le
ha asignado y una abreviatura ilustrativa. En las zonas que la flanquean a izquierda y derecha, un
contexto ampliado. Estos datos y el contexto que proporciona la aplicacin son generalmente
suficientes para trabajar con el ejemplo, pero es posible obtener bastante ms: pulsando en el nmero
del ejemplo se obtiene una nueva pantalla en la que figuran los datos relevantes de la persona que ha
escrito el texto (sexo, edad, lengua familiar, pas, estudios que realiza, nivel adquirido de espaol,
tiempo que lleva estudiando esta lengua, contactos personales de utilidad para el aprendizaje del
espaol y, segn su propia evaluacin, dominio de destrezas en otras lenguas) y adems:
el enunciado completo al que pertenece la expresin recuperada, en la forma exacta en que fue
escrito originariamente;
los elementos lingsticos contenidos en ese enunciado;
las etiquetas morfosintcticas que corresponden a cada uno de esos elementos;
los lemas a los que pertenecen.

La secuencia devuelta y la informacin asociada corresponden a la oracin en la que figura el

elemento sobre el que se ha hecho la bsqueda. Si es preciso, se puede obtener el contexto anterior y
posterior pulsando las ventanas con los signos '+' y '-' que aparecen en las partes superior e inferior.
En la pantalla anterior puede observarse, por un lado, que el texto original contiene la secuencia
quellegare, sin espacio de separacin entre las dos palabras grficas (que llegar) y tambin la forma,
escrita de acuerdo con la ortografa habitual, decirte. En la segunda lnea de esa subpantalla, la primera
de estas expresiones aparece como que+llegare para mostrar que ah hay dos palabras grficas,
mientras que decir y te aparecen como dos elementos diferentes, para indicar la existencia de dos
elementos gramaticales. Debajo de cada elemento aparece la etiqueta morfosintctica correspondiente
en su forma abreviada, que se despliega en una expresin ms comprensible si se fija el puntero del
ratn sobre ella. Por ltimo, el lema al que pertenece cada uno de los elementos diferenciados.

Las bsquedas resultantes de las estadsticas simples o detalladas permiten la recuperacin de

los ejemplos correspondientes. Por ejemplo, en la pantalla que devuelve los datos de la estadstica
completa de la forma llegar (vid. supra) podemos recuperar los casos que corresponden a personas
con el nivel B1, el rabe como lengua inicial, etc.

Los resultados obtenidos pueden ser transferidos a la computadora de quien hace la consulta
pulsando la opcin Descargar pgina. La aplicacin proporciona los valores correspondientes a la
consulta que se ha hecho, el carcter de los campos que devuelve y una lnea con los datos relevantes y
la secuencia, tal como aparece escrita en el documento original, para cada uno de los ejemplos. Los
diferentes tipos de datos situados en la misma lnea estn delimitados por tabuladores, de modo que

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
pueden ser fcilmente integrados, mediante la opcin de importacin correspondiente, en cualquier
base de datos u hoja de clculo para su procesamiento posterior.
La descarga proporciona la totalidad de los ejemplos situados en cada pgina. Si es necesario
importar todos los casos de un fenmeno muy frecuente, el procedimiento ms aconsejable consiste en
trabajar con un nmero alto de ejemplos por pgina (500 como mximo) e ir descargndolas una a una.
Para facilidad de manejo, la descarga contiene nicamente la secuencia original, los elementos
lingsticos que contiene y los datos relevantes (segn la estructura del CAES) de cada ejemplo.

Bsquedas ms refinadas
Los textos que integran el CAES han sido cuidadosamente codificados, anotados y
desambiguados manualmente. Gracias a ese trabajo, la aplicacin de consulta permite recuperar todos
los casos de un determinado elemento, etiqueta o lema en un subconjunto de los textos que componen
el corpus. Seleccionando las opciones correspondientes en cada una de las ventanas de la primera
pantalla podemos obtener, por ejemplo, los casos del lema llegar existentes en textos producidos por
personas con el nivel de conocimientos A2, lengua inicial ruso y de sexo femenino.

Del mismo modo se comportarn cualesquiera otras combinaciones entre los diferentes valores que se
abren en las ventanas correspondientes a los diferentes parmetros.
Es posible tambin utilizar algunas expresiones regulares en la localizacin de elementos, lemas
o etiquetas. De acuerdo con las convenciones habituales, el signo de cierre de interrogacin (?)
sustituye a cualquier carcter situado en esa posicin, de modo que la bsqueda del elemento c?sa
devolver las secuencias que contengan casa, cosa, cesa, etc. El asterisco (*) sustituye a cualquier
secuencia de cero o ms caracteres en la posicin que ocupa. As, la bsqueda del elemento sal*
retornar los ejemplos con salir, sali, saltar, salida, etc., as como los que contengan sal. Dado que
todas las formas han sido lematizadas y etiquetadas, el recurso a la bsqueda con expresiones regulares
no es la va aconsejable para, por ejemplo, localizar todas las formas del paradigma de un verbo. Sin
embargo, pueden tener gran utilidad para la deteccin de elementos o lemas (o etiquetas, cf. infra) que
presenten determinadas condiciones grficas. As, la bsqueda del elemento *mente proporcionar
todos los que terminen en esa secuencia (incluida la palabra mente). Esa bsqueda puede ser
enriquecida mediante la adicin de otros rasgos, como, por ejemplo, la clase de palabras: *cin en
lema y sustantivo en etiqueta devolver todos los sustantivos (masculinos o femeninos, en
singular o plural) que presenten esta configuracin formal.

Sin embargo, la mayor utilidad del corpus, resultado del trabajo de desambiguacin manual,
est en la posibilidad de lanzar bsquedas de carcter gramatical, abstracto, sobre los textos incluidos

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
en el corpus. Las enormes ventajas que surgen a partir de este trabajo se manifiestan en aspectos muy
diferentes. En primer lugar, es posible recuperar todas las apariciones de un determinado lema sin los
inconvenientes que tiene la bsqueda por formas, sometida siempre a las diferencias morfolgicas y la
servidumbre de la ortografa. Por ejemplo, la bsqueda del lema salir devuelve las formas que
corresponden a los diferentes morfemas radicales que lo integran, as como formas utilizadas por los
encuestados que no responden a la ortografa ni a la morfologa estndar.

Todas las muestras recogidas han sido anotadas morfosintcticamente de modo automtico
(usando una versin modificada por el grupo de la USC de la aplicacin FreeLing ) y luego revisadas 5

manualmente. Este segundo proceso es de la mayor importancia, puesto que, como es sabido, el
espaol presenta un alto nmero de homgrafos, por lo que en cada una de sus apariciones es
necesario seleccionar la etiqueta correcta en ese contexto de entre las varias que podran
corresponderle. Como consecuencia de ello, cada forma ortogrfica existente en los textos es asignada
a su lema y contiene los valores gramaticales que le corresponden. Con un ejemplo sencillo, la forma
ortogrfica canto puede, en espaol, ser, entre otras cosas, la primera persona de singular del presente
de indicativo del verbo cantar y tambin la forma singular del sustantivo canto (en realidad, un caso de
homonimia: el canto equivalente a cancin y el canto con significados como 'extremidad', 'piedra',
etc.). La bsqueda del elemento canto devuelve los casos de la forma verbal y del sustantivo. Si
queremos obtener nicamente los casos en que es una forma verbal, podemos obtenerlos escribiendo
canto en la ventana de elemento y cantar en la ventana de lema. 6

5 FREELING : An Open Source Suite of Language Analyzers < http://nlp.lsi.upc.edu/freeling/>. El detalle del etiquetario y
su organizacin pueden verse en el Manual de anotacin CAES <http://galvan.usc.es/caes/pages/manual_anotacion>.
6 Ntese que, en este caso, la aplicacin devuelve tambin una lnea que contiene la forma cant, puesto que est
desactivada la opcin de diferenciar entre vocales con tilde y sin ella.

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
Otra forma de obtener este resultado consiste en seleccionar la opcin verbo en la ventana de etiqueta
(y canto en elemento, como es lgico):

Existe todava una tercera posibilidad, ms abstracta, que consiste en indicar el lema y los rasgos
gramaticales de la(s) forma(s) que buscamos. En este caso, el lema es cantar y los rasgos gramaticales
son los de primera persona de singular del presente de indicativo de un verbo:

La aplicacin registra ahora nicamente dos casos. Y la razn es clara: de los cuatro ejemplos
que aparecen en la bsqueda de canto en la opcin insensible a la presencia de vocales con tilde, uno de
ellos corresponde a cant, de modo que no pertenece al presente. Pero hay un tercer caso en el que la
forma que ha sido escrita como canto es, en realidad, cant, la forma del pretrito, y, por tanto, no debe
aparecer cuando deseamos obtener las formas de presente.

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
 El tratamiento de los elementos lingsticos ha aadido tambin el reconocimiento de
locuciones, que pueden ser recuperadas introduciendo la expresin correspondiente en la casilla de
Elemento <http://galvan.usc.es/caes/pages/download_lista_locuciones>.

La aplicacin de consulta devuelve, por defecto, pginas con 50 resultados. Es posible cambiar
esa cifra y lograr pginas de un mnimo de 10 (si la consulta los encuentra, como es lgico) y un
mximo de 500. La utilizacin de pginas con un nmero alto de lneas es til para la descarga de datos
(vid. supra).

La desambiguacin manual que se ha llevado a cabo en este proyecto tiene una importancia
todava mayor por el carcter de los textos incluidos en el corpus. Adems de las frecuentsimas
divergencias con las normas ortogrficas generales, los textos presentan multitud de formas que no
figuran en los paradigmas del espaol general (y, en consecuencia, no pueden ser reconocidas por
ningn etiquetador morfosintctico), pero que han sido asignadas manualmente al lema al que
corresponden y han recibido tambin los valores pertinentes en las categoras gramaticales que les son
aplicables. As, por ejemplo, la forma salgarn que aparece en alguna de las muestras ha recibido la
etiqueta correspondiente a la tercera persona del plural del futuro de indicativo del verbo salir. Dando
un paso ms, la bsqueda del lema salir y la etiqueta correspondiente a las formas de futuro de
indicativo devuelve la relacin de los 8 casos existentes en los que se observa la aparicin de formas
como sair, salgarn y saliremos, adems de las pertenecientes al paradigma del espaol general.

La etiquetacin y desambiguacin que se ha realizado sobre cada una de las muestras que
componen el corpus convierte al CAES en una poderosa herramienta para anlisis lxicos y tambin
gramaticales. Dado que las bsquedas por elemento, etiqueta y lema son independientes entre s al
tiempo que combinables, es posible localizar, por ejemplo, todos los casos de adjetivos, adjetivos
calificativos, adjetivos calificativos en femenino singular, formas verbales en indicativo, casos de
primera persona de singular del futuro de indicativo, etc., con independencia de la forma que presenten
y del lema al que hayan sido adscritas. La informacin sobre la clase de palabras y las categoras
gramaticales est codificada en una etiqueta en la que, de acuerdo con el sistema empleado
habitualmente, hay valores asignados a cada posicin
(http://galvan.usc.es/caes/pages/download_etiquetario). As, en la primera posicin, A significa
'adjetivo', N sustantivo, etc., mientras que en la segunda posicin C remite a comn, etc. Conociendo el
etiquetario y su organizacin es posible utilizar expresiones regulares para recuperar todos los ejemplos
que tienen un determinado valor. As, A* (es decir, A en primera posicin seguida de cualquier
secuencia de caracteres) recuperar todos los casos etiquetados como adjetivo; AQ* los de adjetivos
calificativos y AT* los que sirven para designar tratamientos (como general, presidente, mster, etc.).

Pero la aplicacin contiene una serie de ventanas que se van desplegando a medida que vamos
haciendo elecciones y libera a quien hace la consulta de la obligacin de conocer y memorizar las
claves utilizadas y la jerarqua empleada. Para obtener la relacin de los casos de subjuntivo, con
independencia del verbo, hay que ir seleccionando las opciones (solo se muestran las vlidas en cada
caso) que, a partir de la lnea Verb. aparecen en la ventana que se despliega al pulsar la interrogacin
situada al lado de la ventana de etiqueta. Y lo mismo, claro est, con todas las opciones posteriores,
referidas a tipo de verbo y modo.

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
 El anlisis gramatical que se ha practicado sobre todas y cada una de las formas que aparecen en
las muestras hace que las bsquedas de formas grficas no puedan ser realizadas en el modo
aparentemente ms directo. As, la insercin de decirte en la ventana de elemento no devuelve ningn
resultado. Los casos en los que se ha empleado esa forma grfica pueden ser recuperados por varias
vas distintas, todas ellas congruentes con el anlisis realizado. Usando la opcin de bsqueda
combinada (cf. infra), bien con decir, pulsacin en la ventana con el signo '+' y te en la ventana
elemento o la de lema. Con este mismo sistema, decir en lema, ventana con '+' y luego la clave de
pronombre personal en la etiqueta devuelve los casos en los que una forma del verbo decir va
seguida inmediatamente de un pronombre personal, con independencia de la grafa (decirte, decirle,
decir te, decir t). El tratamiento de las contracciones es, en principio, el mismo: al y del constan de
dos elementos gramaticales cada una de ellas y las bsquedas tienen que indicarlos por separado.

A las peticiones de ejemplos (concordancias), la aplicacin responde con la estadstica general

(nmero de casos y, en la opcin de estadsticas, tambin el nmero de muestras). Cuando el nmero de
casos recuperado es elevado, la primera pantalla muestra los primeros segn una ordenacin basada en
la forma de la palabra que ha sido objeto de bsqueda. Es posible reordenar la salida tambin en
funcin del nivel aprobado y la L1 seleccionando la opcin correspondiente en la ventana de
ordenacin.

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
Bsquedas combinadas
Hay otros dos rasgos en la aplicacin de consulta que resultan de gran utilidad para quienes
desean investigar sobre las caractersticas que presenta el espaol usado por los aprendices de esta
lengua.

En primer lugar, es posible construir bsquedas formadas por hasta cuatro formas, etiquetas o
lemas contiguos. El modo de hacerlo consiste en pulsar la ventana con el signo + que aparece a la
derecha de la destinada a recoger el lema. As, si se desea analizar las preposiciones utilizadas en
expresiones del tipo llegar a Toledo, llegar de Pars, escribimos llegar en la ventana del lema,
pulsamos el signo + que est a la derecha, seleccionamos Prep. en la ventana de etiqueta, de nuevo el
signo + y, por fin, la etiqueta de sustantivo propio tambin en la ventana de etiqueta. Los resultados
permiten analizar, por ejemplo, los casos en los que se emplean expresiones del tipo llegar en Madrid.

La unin de todas estas caractersticas hace que la aplicacin de consulta del CAES sea un
instrumento realmente til no solo para la recuperacin de informacin sobre aspectos lxicos o
morfolgicos, sino tambin para factores mucho ms vinculados a la gramtica en sentido estricto. Por
ejemplo, es posible recuperar todos los casos presentes en el corpus de construcciones del tipo haber +
participio, estar + gerundio, ir + a + infinitivo, dejar + de + infinitivo, etc. Por supuesto, es posible
hacer bsquedas de secuencias basadas en rasgos gramaticales totalmente desvinculados de factores
lxicos. Marcar sustantivo seguido de adjetivo y seguido de otro adjetivo en la ventana de etiqueta
nos devolver los casos de cierta complejidad existentes en el corpus del tipo vida espaola antigua,
produccin literaria latinoamericana, derecho civil ruso, etc.

Dado que estas secuencias pueden, a veces, presentar elementos intercalados, la aplicacin
incorpora tambin la opcin de pedir dos palabras, etiquetas o lemas que estn a una cierta distancia
(que se especifica en una casilla especial que se activa solo cuando se marca la opcin de Proximidad).
Por ejemplo, cerca y casa en las dos ventanas de lema y 4 en la distancia devuelve todos los casos del
tipo cerca de mi casa, cerca de vuestra casa, etc. Esta bsqueda es sensible a la posicin relativa, de
modo que una bsqueda con las condiciones anteriores, pero con el orden de los elementos invertidos

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.
(esto es, casa primero y cerca despus) devolvera, en lugar de los mencionados, ejemplos del tipo
casa que est cerca, casa con playa cerca, etc.

Documentacin complementaria
Como sucede en todos los corpus textuales, la aplicacin de consulta se basa en la recuperacin
de los casos de una determinada expresin contenidos en el corpus o alguno de los subcorpus que se
puedan construir de forma dinmica. Esas consultas especficas no pueden proporcionar la idea general
de la composicin del corpus ni de los elementos contenidos en su interior.
Para cubrir tambin ese flanco y proporcionar los datos generales que pueden ser necesarios
para algunas investigaciones, el equipo de desarrollo del CAES ha preparado diversas rutinas de
anlisis del contenido del corpus y ha puesto los resultados en el apartado dedicado a documentacin
complementaria.
Los ficheros de estadsticas generales contienen los datos correspondientes a la totalidad del
CAES y a los diferentes niveles de conocimiento y L1. En el fichero frecuencia de lemas hemos
incluido la relacin de los lemas documentados en el CAES con la indicacin de la frecuencia general y
la parcial correspondiente a cada uno de los niveles y L1. Constituye, pues, el inventario de los lemas
documentados en el CAES. La informacin que proporciona este fichero se complementa con la
contenida en la lista de elementos y lemas. En ella se puede analizar la vinculacin de elementos a
lemas y de lemas a elementos, de nuevo con la indicacin de la frecuencia parcial correspondiente a
cada nivel y L1. Ambos son ficheros de texto, en formato csv (comma-separated values), con
tabuladores como elementos separadores de campos, de modo que pueden ser integrados en cualquier
base de datos u hoja de clculo. Dado su gran tamao, ambos ficheros estn comprimidos.

Gua de consulta CAES. Versin 1.0. (octubre de 2014). Grupo de Gramtica del espaol. Universidade de Santiago de Compostela. 2014.