Machine Translated by Google
Obtención de preferencias por pares en sistemas de recomendación
Saikishore Kalloori, Francesco Ricci y Rosella Gennari Universidad
Libre de Bozen - Bolzano, Italia Piazza Domenicani
3, I - 39100, Bolzano, Italia ksaikishore @ unibz.it, fricci
@ unibz.it, gennari @ inf.unibz.it
RESUMEN
Los datos de preferencia en forma de calificaciones o me gusta de los elementos
se utilizan ampliamente en muchos sistemas de recomendación. Sin embargo,
investigaciones anteriores han demostrado que incluso las comparaciones de
elementos, que generan datos de preferencias por pares, se pueden utilizar para
modelar las preferencias de los usuarios. Además, las preferencias por pares se
pueden combinar de manera efectiva con las calificaciones para calcular las
recomendaciones. En tales enfoques híbridos, el Sistema de recomendación
requiere obtener ambos tipos de datos de preferencia del usuario. En este
trabajo, nuestro objetivo es identificar cómo y cuándo obtener preferencias por
pares, es decir, cuándo esta forma de datos de preferencia del usuario es más
significativa para que el usuario la exprese y más benéfica para el sistema.
Realizamos una prueba A/B en línea y comparamos una variante del sistema
basada solo en calificaciones con otra variante que permite al usuario ingresar
ambos tipos de preferencias. Nuestros resultados demuestran que las
preferencias por pares son valiosas y útiles, especialmente cuando el usuario se
enfoca en un tipo específico de elementos. Al incorporar preferencias por pares,
el sistema puede generar mejores recomendaciones que una solución de última
generación basada únicamente en calificaciones. Además, nuestros resultados
indican que parece haber una dependencia entre la personalidad del usuario, la
usabilidad percibida del sistema y la satisfacción con el procedimiento de
elicitación de preferencias, que varía si solo se obtienen calificaciones o una
combinación de calificaciones y preferencias por pares .
CONCEPTOS CCS
•Sistemas de información ÿ Sistemas de recomendación;
PALABRAS CLAVE
Preferencias por parejas; Calificaciones; Sistemas de recomendación
Formato de referencia ACM:
Saikishore Kalloori, Francesco Ricci y Rosella Gennari. 2018. Obtención de preferencias
por pares en sistemas de recomendación. En las Actas de la Duodécima Conferencia
ACM sobre Sistemas de Recomendación, Vancouver, BC, Canadá, del 2 al 7 de octubre
de 2018 (RecSys '18), 9 páginas.
DOI: 10.1145 / 3240323.3240364
1. INTRODUCCIÓN
La mayoría de los sistemas de recomendación (RS) actuales generan
sugerencias personalizadas aprovechando la información de preferencia derivada
Se otorga permiso para hacer copias digitales o impresas de todo o parte de este trabajo
para uso personal o en el aula sin cargo, siempre que las copias no se hagan o distribuyan
con fines lucrativos o comerciales y que las copias lleven este aviso y la cita completa en la
primera . página. Deben respetarse los derechos de autor de los componentes de este
trabajo que no pertenezcan a los autores. Se permite hacer resúmenes con crédito. Copiar
de otro modo, o volver a publicar, publicar en servidores o redistribuir a listas, requiere un
permiso especí co previo y/o una tarifa. Solicite permisos de permisos@acm.org.
RecSys '18, Vancouver, BC,
Canadá © 2018 Copyright del propietario/autor. Derechos de publicación licenciados a
ACM. 978-1-4503-5901-18/6/10. . . $15,00 DOI: 10.1145/3240323.3240364
329
a partir de evaluaciones absolutas de elementos, por ejemplo, calificaciones de
usuarios o gustos [31]. Sin embargo, este tipo de preferencias tienen pocas
desventajas, ilustradas en la literatura previa [5, 22, 23]. Por ejemplo, si un usuario
ha asignado la calificación más alta a un elemento y, posteriormente, el usuario
descubre que prefiere otro elemento al primero, el usuario no tiene más remedio
que otorgar también a este nuevo elemento la calificación más alta [11] . Además, si
la mayoría de los elementos tienen la calificación más alta, entonces es difícil
entender qué elementos le gustan más al usuario.
Por tales razones, pocos investigadores [5, 11, 22] han desarrollado técnicas de
recomendación que aprovechan una forma alternativa de recopilar las preferencias
del usuario, a saber, las comparaciones por pares, como el elemento i se prefiere al
elemento j. En estos escenarios, los usuarios brindan sus preferencias al expresar
qué elemento prefieren en un par (i, j).
En [24, 25], se demostró que las preferencias por pares se pueden usar de
manera efectiva para entrenar la factorización de matrices y los enfoques del
vecino más cercano y, en última instancia, para calcular recomendaciones efectivas.
Vale la pena señalar que las preferencias por parejas surgen naturalmente y
son expresadas por los usuarios (directa o indirectamente) en muchos escenarios
de toma de decisiones. De hecho, en la vida cotidiana, existen situaciones en
las que calificar opciones alternativas no es el mecanismo más natural para
expresar preferencias y tomar decisiones. Por ejemplo, no calificamos los
suéteres cuando queremos comprar uno. Es más probable que los comparemos
y compremos el preferido. Sin embargo, comprender qué preferencias por pares
debe expresar el usuario, para conocer su modelo de usuario y cuándo adquirir
estas comparaciones, es un tema fundamental en el diseño de RS efectivos
basados en esta forma de datos de preferencia.
Por esta razón, en este trabajo, nuestro objetivo es comprender cuándo es
significativo y beneficioso obtener preferencias por pares. Presumimos que las
preferencias por pares son más efectivas, si se comparan con las calificaciones,
en situaciones y escenarios donde el usuario tiene un objetivo bastante claro y
está buscando un tipo específico de elementos ( recomendación). Por ejemplo,
cuando un usuario quiere disfrutar de un resort de playa junto a su familia
durante un fin de semana, es más probable que elija la mejor opción comparando
las disponibles en lugar de calificarlas. Nos enfocamos en tales situaciones de
usuario que tienen un objetivo/contexto especí co, y modelamos sus preferencias.
Nuestra intuición es que para hacer una comparación, el usuario requiere un
(conjunto de) criterios para formular un juicio. Además, también planteamos la
hipótesis de que los elementos a comparar no deberían ser demasiado
diferentes; un comprador puede comparar dos autos pero no un auto y una
bicicleta. De hecho, incluso el adjetivo “comparable” significa que los objetos
comparados son algo similares.
También pretendemos abordar el problema de qué elementos específicos
debe comparar el usuario. De hecho, además del problema mencionado
anteriormente (es decir, que los elementos comparados deberían ser algo
similares), una desventaja adicional de obtener información sobre las preferencias
del usuario a partir de la comparación por pares es que el número de
comparaciones posibles en un conjunto 2 de N elementos es N
. A pesar de que se ha demostrado
Machine Translated by Google
RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá
que en la práctica los RS basados en preferencias por pares no requieren más datos
de preferencia que los sistemas basados en calificaciones [5], sigue siendo importante
y crítico identificar, para cada usuario, un conjunto conveniente de comparaciones que
debe expresar. Para obtener de manera efectiva las preferencias por pares, el RS
necesita una GUI utilizable y un método de aprendizaje activo que pueda identificar qué
pares de elementos pueden y deben comparar los usuarios.
Por lo tanto, en este artículo, desarrollamos un modelo de interacción especí co,
componentes GUI, una estrategia de aprendizaje activo para preferencias por pares
y un algoritmo de clasificación personalizado que usa preferencias por pares para
validar las siguientes hipótesis: (H1) Las preferencias por pares pueden conducir a
una mayor facilidad de uso del sistema en comparación con las calificaciones.
(H2) El uso de preferencias por pares puede conducir a una mayor satisfacción del
usuario por el proceso de elicitación de preferencias en comparación con el
uso de calificaciones, cuando el conjunto de opciones ya se ha reducido.
(H3) Las preferencias por pares pueden conducir a una mayor precisión y calidad
de RS en comparación con las calificaciones cuando el usuario tiene un
objetivo claro para la toma de decisiones.
Modelar las preferencias de los usuarios en forma de preferencias por pares e
identificar qué situación es la más adecuada para obtener preferencias por pares
no se ha explorado hasta ahora en los RS. Por lo tanto, para validar nuestras
hipótesis de investigación, hemos implementado técnicas para la elicitación de
preferencias por parejas y la generación de recomendaciones en un RS móvil,
llamado South Tyrol Suggests (STS). STS recomienda lugares de interés (PDI)
interesantes en la región de Tirol del Sur en Italia [7]. STS es un RS basado en
Android que brinda a los usuarios recomendaciones contextuales. Implementamos
dos variantes de RS, utilizando STS, y realizamos un estudio de usuario en vivo.
Una variante se basa solo en las calificaciones, mientras que la otra emplea
nuestros algoritmos recientemente desarrollados, recopila las preferencias del
usuario en forma de preferencias por pares y hace recomendaciones utilizándolas
junto con un conjunto de datos de calificación posiblemente preexistente.
Realizamos una prueba A/B de usuario en vivo usando estas dos variantes
del sistema. Nuestros resultados indican que las preferencias por pares son
valiosas y útiles cuando el usuario está buscando un tipo especí co de PDI (en
nuestro caso, un restaurante para una ocasión especí ca) y que, al incorporar las
preferencias por pares, el sistema es capaz de capturar las preferencias del
usuario. preferencias de manera efectiva y producir mejores recomendaciones
que una solución de última generación basada solo en calificaciones. Nuestros
resultados también sugieren que este tipo de preferencias puede mejorar la
usabilidad del sistema de recomendación, que pedirles a los usuarios que
comparen elementos los haga sentir más felices de usar el sistema y que el
sistema pueda recopilar más preferencias (comparaciones por pares versus calificaciones).
Además, nuestros resultados también indican una dependencia entre la
personalidad del usuario y la usabilidad del sistema y la satisfacción del usuario
para el procedimiento de elicitación de preferencias. El resto de este documento
está estructurado de la siguiente manera. En la siguiente sección
discutimos el estado del arte. A continuación, ilustramos la interacción entre el
sistema y el usuario con la aplicación móvil que usamos para probar nuestra
hipótesis de investigación. Luego, explicamos el algoritmo implementado que se
utiliza para obtener preferencias por pares y describimos la técnica de
recomendación para calcular la clasificación de elementos. A esto le sigue la
descripción de la estrategia de evaluación utilizada en nuestros experimentos y
Saikishore Kalloori, Francesco Ricci y Rosella Gennar
una discusión exhaustiva de los resultados obtenidos. Finalmente, formulamos nuestras
conclusiones y discutimos el trabajo futuro.
2. TRABAJO RELACIONADO
2.1 Preferencias por pares
Las preferencias por pares (preferencias relativas o comparaciones) se utilizan
ampliamente incluso fuera del área de investigación de RS, por ejemplo, en la toma de
decisiones y el marketing. Por ejemplo, las técnicas populares, como el procesamiento
jerárquico analítico (AHP) [34] o el análisis conjunto [37], utilizan la comparación relativa
entre las características del producto para comprender o despertar el interés de los
usuarios. En la economía del comportamiento, según la teoría de la inversión de
preferencias [40], las preferencias del usuario al evaluar elementos individualmente
(evaluación separada) difieren de las preferencias expresadas al comparar elementos
juntos (evaluación conjunta). Los usuarios tienden a expresar preferencias de manera
diferente en estas dos situaciones [1] y, por lo tanto, es importante que los RS analicen
la calidad de las recomendaciones generadas por modelos de preferencia alternativos
(p. ej., calificaciones frente a preferencias por pares). Además, la comparación por
pares ha demostrado ser útil para obtener evaluaciones confiables de los docentes [19]
y evaluaciones entre pares de los estudios de pregrado [21].
En investigaciones anteriores, ya se ha demostrado que los juicios de preferencia
por pares también se expresan más rápido que las calificaciones, y los usuarios
prefieren proporcionar sus preferencias de esta forma [12, 22]. Además , los autores
de [22] demostraron que las preferencias por pares son más estables que las
calificaciones. Más en general, algunos trabajos de investigación en RS, en lugar de
modelar las preferencias de los usuarios mediante calificaciones, intentaron modelar
las preferencias de los usuarios de otras formas, como el enfoque de obtención
basado en grupos utilizando grupos de elementos [32, 39] y la obtención de
preferencias basada en la elección [18]. . Se ha demostrado que estos enfoques
ofrecen un buen rendimiento en términos de reducción del esfuerzo y el tiempo del
usuario y de mejora de la satisfacción del usuario en comparación con las calificaciones.
Centrándonos en los algoritmos de recomendación, si bien existen numerosos
RS que generan recomendaciones utilizando las preferencias de los usuarios en
forma de calificaciones, recientemente, pocos autores desarrollaron técnicas de
recomendación que combinen calificaciones y preferencias por pares [11, 13, 14, 16,
25]. En [24], los autores también explotaron las preferencias de características como
una fuente adicional de información para mejorar la recomendación en frío para un
RS basado en preferencias por pares.
Sin embargo, observamos que estos RS no combinan el algoritmo de
recomendación propuesto con una GUI adecuada para soportar la interacción
completa del usuario con el sistema. En nuestro trabajo, hemos desarrollado un
modelo de interacción especí co, componentes GUI, una estrategia de
aprendizaje activo y una técnica de recomendación para apoyar la interacción
completa del usuario con el sistema y, además, hemos identificado condiciones
importantes que influyen en la elicitación y efectividad de los RS en función de
las ).
preferencias por parejas.
2.2 Aprendizaje activo Muchos
investigadores han propuesto utilizar estrategias de aprendizaje activo para permitir que
el RS decida activamente qué datos (de preferencia) deben adquirirse antes de
comenzar la fase de aprendizaje y, en consecuencia, mejorar el rendimiento del sistema
[33]. Por ejemplo, uno de los enfoques más comunes para abordar el problema del
nuevo usuario en RS es presentar a los usuarios una selección de elementos para
calificar que han sido identificados a propósito por un algoritmo de aprendizaje activo.
Por ello, se propusieron numerosas estrategias de aprendizaje activo.
330
Machine Translated by Google

Obtención de preferencias por pares en sistemas de recomendación RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá

para RS basados en calificaciones [15]. Las estrategias de aprendizaje activo de calificaciones disponibles. Notamos que un nuevo usuario de STS, aunque no
para RS basadas en preferencias por pares es un tema que aún no se ha explorado. haya ingresado ninguna calificación, aún puede obtener recomendaciones. Estos
En este artículo, proponemos una nueva estrategia de aprendizaje activo para son generados por el modelo CAMF sobre la base de otros datos del usuario,
obtener preferencias por pares y describimos su implementación en una aplicación a saber, la personalidad del usuario. La personalidad del usuario se adquiere
móvil. Además, mostramos que las calificaciones se pueden combinar de manera pidiéndole que complete el Inventario de personalidad de cinco elementos (FIPI)
óptima con las preferencias por pares para calcular recomendaciones efectivas. [17]. Los detalles sobre la estrategia de aprendizaje activo STS-R y su algoritmo
Por lo tanto, este documento inicia un tema de investigación novedoso, es decir, de recomendación se pueden encontrar en [7]. La segunda variante se llama STS-
algoritmos de aprendizaje activo para RS utilizando datos de preferencias mixtas RC. Extiende STS-R al permitir que el usuario ingrese calificaciones y
(calificación y preferencias por pares) o datos de preferencias múltiples. preferencias por parejas.
Por lo tanto, STS-RC difiere de STS-R solo: a) en una GUI adicional, que permite
2.3 Interfaces de usuario al usuario comparar elementos identificados por un nuevo procedimiento de
La obtención de preferencias requiere que las GUI presenten elementos o pares aprendizaje activo, y b) en el algoritmo de recomendación que genera
de elementos para que los usuarios den sus preferencias. La mayoría de las clasificaciones personalizadas de los recomendados . puntos de interés
interfaces actuales para evaluar artículos se basan en calificaciones, por ejemplo, explotando tanto las calificaciones como las preferencias por parejas (puntuaciones por parejas).
5 estrellas o pulgar arriba/abajo. Algunos investigadores propusieron soluciones
para mejorar las interfaces de calificación y apoyar mejor el proceso de calificación.
En [29], los autores sugirieron incluir etiquetas personalizadas y ejemplares para
relacionar las decisiones de calificación con las anteriores. Por lo tanto, si bien las
interfaces de calificación son bastante populares y ampliamente utilizadas en la
actualidad, se ha realizado poco trabajo de investigación sobre las interfaces de
elicitación de preferencias por pares y la construcción de RS basadas en
preferencias por pares [5, 22, 30]. Como consecuencia, la investigación reciente
en el campo de la RS que utiliza preferencias por pares solo consideró puntajes
por pares, que miden cuánto se prefiere un elemento a otro, obtenidos al
transformar las calificaciones en puntajes por pares, es decir, tomando la diferencia
de las calificaciones. . Sin embargo, una verdadera interfaz de adquisición de
puntajes de pares necesita una GUI que permita a los usuarios comparar
elementos e ingresar en qué medida se prefiere uno sobre el otro. En [5], los
autores presentaron una GUI para un recomendador de películas que utiliza
controles deslizantes: cuanto más se arrastra el puntero del control deslizante a
un elemento, más se prefiere este elemento al otro. En este trabajo, además de
construir un modelo de recomendación basado en la combinación de calificaciones
y preferencias por pares, también desarrollamos una interfaz de usuario novedosa
para obtener puntajes de pares binarios que se adapta al escenario móvil.
Figura 1: Interfaz de clasificación

3 RECOMENDADOR BASADO EN PARES

Para probar las hipótesis enumeradas en la sección introductoria, hemos
utilizado una aplicación móvil RS consciente del contexto completamente
funcional, a saber, STS1 . STS se ha utilizado con éxito como prototipo de
prueba para muchos enfoques de recomendación [6–9, 28]. STS está disponible
públicamente en Google Play Store2 . Permite al usuario registrarse, ingresar
preferencias en forma de calificaciones y obtener recomendaciones contextuales
para puntos de interés.
Hemos implementado dos variantes de RS utilizando la aplicación principal
STS. La primera variante, a la que llamamos STS-R, es nuestra línea de base
y es la aplicación preexistente. STS-R usa solo calificaciones para calcular las
recomendaciones. La figura 1 muestra la interfaz de clasificación utilizada en STS-
R. En STS-R, la estrategia de aprendizaje activo implementada, que identifica los
puntos de interés que se presentan al usuario para calificar, se denomina "
predicción binaria" [8]. Elen
algoritmo de recomendación
la factorización utilizado en
matricial consciente delSTS se basa
contexto
(CAMF) [2]. El modelo genera recomendaciones utilizando la personalidad
evaluada
por el usuario, la edad y el sexo del usuario (si está disponible), información
contextual, como el clima, la sensación, el objetivo de viaje o la temperatura, y el
conjunto completo.

1h p://rerex.inf.unibz.it/ Figura 2: Interfaz de preferencia por pares

2h ps://play.google.com/store/apps/details?id=it.unibz.sts.android

331
Machine Translated by Google

RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá Saikishore Kalloori, Francesco Ricci y Rosella Gennar

3.1 Adquisición de preferencias de STS-RC La obtención 3.2 Predicción de preferencias por pares de STS-RC

de preferencias por pares en un entorno móvil requiere una GUI que presente
un par de elementos a los usuarios y les permita comparar estos pares. La
, experimento.
figura 2 muestra las GUI reales que hemos diseñado y utilizado
El usuario
en nuestro
puede
ingresar preferencias por pares marcando 'Prefiero esta opción' para señalar el
PDI preferido entre los dos que se presentan. Además, el usuario puede hacer
clic en una imagen de PDI para explorar los detalles del PDI (consulte la Figura
2, a la derecha) y también puede calificar el PDI si así lo desea.
Para identificar los pares de elementos que se presentan al usuario para su
comparación, hemos implementado un procedimiento de aprendizaje activo
que satisface los siguientes requisitos: • Para simplificar la comparación por
y clasificación de artículos
En [25] propusimos un enfoque de vecino más cercano (NN) basado en el
usuario para predecir preferencias por parejas desconocidas. Utiliza la gamma
de Goodman y Kruskal (GK) como medida de similitud de usuario a usuario [25].
PÿQ
GK se calcula como , donde P es el número de pares de elementos para
P+Q
que los dos usuarios han expresado la misma preferencia ( pares concordantes)
y Q es el número de pares de ítems para los que los dos usuarios tienen
preferencias diferentes (pares discordantes). Notamos que GK no explota la
información contextual mientras calcula la similitud entre dos usuarios. Por lo
tanto, en este trabajo, hemos modificado y adaptado GK para que también pueda

pares, los elementos comparados deben ser similares (comparables). tener en cuenta la preferencia por pares dada en situaciones contextuales. Por
ejemplo, una preferencia contextual por pares puede expresar: “Prefiero el
artículo i sobre el artículo j cuando viajo con la familia”.
• Al menos uno de los elementos a comparar debe ser predicho como
altamente relevante para el usuario por el algoritmo de recomendación Sea Pu el conjunto de preferencias por pares dadas por un usuario u sin
C
para que el usuario encuentre más plausible y más fácil compararlo ninguna referencia a un contexto especí co y P sea eltuconjunto
por parejas
de preferencias
dadas por el
con otro. usuario u al comparar elementos en una condición contextual particular, por
ejemplo, cuando el usuario está buscando un PDI para visitar en un “viaje de
• Para mejorar la precisión de la RS, los pares de elementos seleccionados
negocios” o cuando “viaja con la familia”. En nuestros experimentos, los usuarios
para comparar deben expresar la información de preferencia del usuario
sobre los elementos relevantes. proporcionaron ambos tipos de preferencias, y para usarlas apropiadamente,
modificamos el cálculo de la similitud GK de usuario a usuario de la siguiente
Para comprender mejor el procedimiento de aprendizaje activo propuesto para
manera: si la preferencia por pares, que se compara en el dos per les de
obtener preferencias por pares, supongamos que un turista se ha registrado en
usuarios, es de P y se refiere a la situación contextual del usuario cuando U está
STS-RC y el sistema ha generado una lista de recomendaciones personalizada C
solicitando una recomendación, lepesamos
damos
(Q)En si nuestros experimentos
es (des)concordante enlolos dos permás
les importancia
dos veces,
de alPor
ponderarlo
es decir,
usuarios. ejemplo, más.
sumamos si2 el
aP
en la pantalla de sugerencias utilizando el algoritmo CAMF descrito
usuario está buscando recomendaciones para un contexto de fiesta de
anteriormente. Utilizando la lista clasificada R generada, le proponemos al
cumpleaños, ponderamos dos veces todas las preferencias por parejas
usuario que compare algunos de los elementos más recomendados con otros
concordancias y discordancias, que se evalúan en las comparaciones realizadas
elementos que son similares a ellos y que también se predicen como los
en esta situación contextual. Las otras concordancias y discordancias de
elementos más relevantes (posición más alta en la lista clasificada).
preferencias por pares se ponderan una, como de costumbre.
En última instancia, para cada elemento superior i en la lista clasificada R,
identificamos el elemento ji en la lista R que maximiza la Ecuación 1. Luego,
formamos los pares (i,ji ) y se los presentamos al usuario en el mismo orden. de
los elementos i en la lista ordenada R.
Finalmente, la fórmula de predicción NN para la predicción de puntuación por pares
1
ji = arämaxj {(V (i) · V (j)) ÿ} (1) desconocidos es:
R(j)
1
*r = (2)
Por la presente, R(i) es la posición de rango del elemento i en la lista de uij X sim (u, v) ÿ rvij
|Uij |
recomendaciones , V (i) = (v1,. . . ,vn ) denota el vector de características en ÿUi j
booleano n dimensional que representa el elemento i y n es el número de donde ruij es la puntuación real por pares otorgada por el usuario u al par (i,j)
ÿ
características. Por ejemplo, si V (i) = (0,1,0,1) esto significa que el elemento i con valores posibles +1 o -1, y r es el valor predicho, uij
expresado
cuando el
esausuario
Uij es el conjunto decomparación.
no ha
usuarios
posee la segunda y la cuarta características, pero no la primera y la tercera.
que han comparado los ítems i y j, y sim(u,v) es la puntuación de similitud, que
Investigaciones anteriores han demostrado que representar un elemento aquí se calcula con GK.
mediante un número fijo de n características booleanas es útil en turismo [4, 10, 28].
Para construir la representación vectorial de los elementos disponibles, hemos Después de predecir las puntuaciones por pares que faltan, es decir, las
utilizado varias fuentes de información, incluidas las categorías de elementos, que no expresa el usuario, las agregamos para calcular una puntuación de
ÿ
como "museo" u "hotel", y palabras clave extraídas del nombre del elemento. elemento personalizada ÿui promediando las predicciones
[5, 24, 25]:
r , como lo hace uij
Todas las características del artículo se obtienen a través de un servicio web
proporcionado por la Asociación Regional de Organizaciones de Turismo del ÿ

PAGS j ÿI \ {i }r uij
Tirol del Sur3 . Después de eliminar la redundancia, cada ui = (3)
|yo |
elemento está representado por 145 características. Observamos que la técnica
de adquisición de preferencias anterior requiere un algoritmo de recomendación Tenga en cuenta que, si se conoce ruij , entonces en la fórmula anterior la predicción
para clasificar los elementos. En nuestra aplicación, como mencionamos *r se reemplaza con el valor verdadero ruij . Finalmente, para cada usuario u el
uij
anteriormente, usamos el algoritmo CAMF que se implementa en STS. Luego, los elementos se clasifican y recomiendan según los valores descendentes de las

3h p://www.lts.it. puntuaciones de ÿui .

332
Machine Translated by Google
Obtención de preferencias por pares en sistemas de recomendación
4 ESTRATEGIA EXPERIMENTAL
Usamos STS-R y STS-RC para validar nuestras hipótesis de investigación,
dadas en la sección introductoria. Realizamos un estudio de usuarios en
directo, a modo de test A/B (entre grupo). El conjunto de datos inicial de
calificaciones STS4 es común para ambos sistemas y contiene 2534
calificaciones otorgadas por 325 usuarios. En STS-RC, estas calificaciones se
utilizan para generar un conjunto inicial de puntajes por pares (diferencias de
calificaciones). De hecho, como ya hemos mencionado, uno puede considerar
fácilmente dos calificaciones del mismo usuario, rui y ruj , y, si tienen un valor
diferente, convertirlas en una puntuación por pares como ruij = sän(rui ÿ ruj ),
donde sän() es la función de signo , que asigna valores positivos a +1 y
valores negativos a -1. Ambos sistemas se inician con la información de
preferencia contenida en este conjunto de datos y luego se aumentan con las
preferencias adicionales que ingresaron los usuarios en las dos variantes
durante el experimento.
Con el fin de comprender la eficacia de modelar las preferencias de los
usuarios en forma de preferencias por parejas para situaciones en las que un
usuario tiene un objetivo específico y está buscando un tipo específico de
recomendaciones de artículos, llevamos a cabo un diseño de estudio entre
grupos, comparando dos enfoques de elicitación de preferencias, es decir,
calificaciones (en STS-R) o preferencias y calificaciones por pares (en STS-
RC), y las técnicas de recomendación que utilizan esas preferencias. La
estrategia de evaluación comprende las siguientes etapas y pasos (iguales
para ambos grupos):
• Fase I: Obtención de preferencia inicial sin ningún tipo de
meta.
- Obtención de preferencias del
usuario; - Evaluación de la usabilidad del sistema y la calidad de la
recomendación por parte del usuario mediante un cuestionario.
• Fase II: Obtención de preferencias y recomendaciones para
un usuario con un objetivo especí co.
- Recomendación que coincida con el objetivo especí co del usuario;
- Entrada del usuario de preferencias adicionales para comprender mejor
las necesidades del usuario y mejorar las recomendaciones; - Evaluación
del usuario del procedimiento de elicitación de preferencias y la calidad
de la recomendación.
Los pasos anteriores se describen con más detalle a continuación. Un
usuario es asignado aleatoriamente a STS-R o STS-RC para proporcionar
sus preferencias y recibir recomendaciones. 58 usuarios se registraron para
el experimento (29 usaron STS-R y 29 usaron STS-RC). Tienen entre 20 y 50
años (la media es 28), 17% mujeres y 55% hombres. La mayoría eran
estudiantes universitarios, estudiantes de doctorado o empleados en activo.
Los participantes del experimento, por lo tanto, se encuentran entre los
usuarios típicos de las aplicaciones de turismo.
El proceso de registro es el mismo para ambos sistemas: cada usuario
ingresa su nombre, contraseña, fecha de nacimiento, sexo y llena el
cuestionario FIPI . Después de eso, cada usuario recibe inmediatamente
algunas recomendaciones generales, para varios tipos diferentes de puntos
de interés (p. ej., restaurantes, eventos, museos, etc.) que se predicen
utilizando el algoritmo CAMF.
preferencias
es, en una
(Fase
etapa
I), inicial
las preferencias
de elicitación
del de
usuario
se recopilan en forma de calificaciones (en STS-R) o preferencias y
calificaciones por pares (en STS-RC), según el sistema al que pertenece el
usuario. fue asignado. Elementos
4h ps://www.researchgate.net/publication/305682479 Conjunto de datos contextual STS -
Tirol del Sur sugiere datos de aplicaciones móviles.
333
RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá
Los pares de ítems para calificar o comparar se identifican utilizando la
estrategia de aprendizaje activo descrita en la Sección 3. No solicitamos a los
usuarios que proporcionaran un número preciso de preferencias: eran libres
de ingresar tantas preferencias como quisieran. Después de proporcionar
estas preferencias, a los usuarios se les presentaron recomendaciones
adicionales . En el segundo paso de la fase I, se pidió a los usuarios que
evaluaran la usabilidad del sistema y la calidad de recomendación percibida
mediante cuestionarios. Adoptamos cuestionarios utilizados en experimentos
similares [5, 28]. En concreto, para evaluar la usabilidad del sistema se utilizó
el cuestionario System Usability Scale (SUS) [3]. SUS es uno de los
cuestionarios estandarizados posteriores al estudio más populares y también
permite medir la usabilidad percibida del sistema con una población de
muestra pequeña (es decir, 8-12 usuarios) [36]. SUS contiene 10 afirmaciones,
la mitad positivas y la mitad negativas, que se muestran en la Tabla 1. Los
usuarios juzgan cada afirmación con una escala Likert de cinco puntos, que
va desde totalmente en desacuerdo (1) hasta totalmente de acuerdo (5) con la afirmación.
Tabla 1: Declaraciones del SUS sobre la capacidad de uso del sistema percibida
1 Creo que me gustaría usar este sistema con frecuencia.
2 Encontré el sistema innecesariamente complejo.
3 Pensé que el sistema era fácil de usar.
4 Creo que necesitaría el apoyo de un técnico
para poder utilizar este sistema.
5 Descubrí que las diversas funciones del sistema estaban bien integradas .
6 Pensé que había demasiada inconsistencia en este sistema.
7 Me imagino que la mayoría de la gente aprendería a usar este sistema muy
rápidamente.
8 Encontré el sistema muy engorroso de usar.
9 Me sentí muy seguro usando el sistema.
10 Necesitaba aprender muchas cosas antes de poder ponerme en marcha
con este sistema
Para puntuar un SUS seguimos el procedimiento recomendado para calcular la
puntuación SUS general, que oscila entre 0 y 100 [35]. Se han publicado varios
puntos de referencia para el SUS en diferentes sistemas y la puntuación media del
SUS calculada en un punto de referencia popular de 500 estudios es 67 [35]. En
nuestros experimentos, usamos este valor como punto de referencia para la
usabilidad de nuestro sistema. En cambio, la calidad de la recomendación percibida
se evaluó utilizando las seis declaraciones relacionadas del cuestionario
presentado en [26] y que se muestran en la Tabla 2. Las declaraciones se juzgan
como en SUS y se calcula una puntuación acumulada de manera similar.
En la Fase II del experimento, a cada usuario se le dio una descripción del
escenario para tener una situación específica orientada a una meta (objetivo)
y se le pidió que completara la tarea descrita en el escenario. El escenario
exacto de la tarea del usuario es el siguiente. Se supone que el usuario
tiene una noche para llevar a sus colegas a un restaurante para su fiesta de
cumpleaños en Tirol del Sur. Se solicita al usuario que use el sistema para
encontrar un restaurante adecuado para este evento. Primero se solicita al
usuario que especifique este evento (objetivo) en la configuración del STS.
Luego, al usuario se le presentan recomendaciones de restaurantes que se predicen como
Machine Translated by Google
RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá
Tabla 2: ítems del cuestionario sobre la calidad percibida de la
recomendación.
1 Me gustaron los artículos sugeridos por el sistema.
2 Los artículos sugeridos eran de mi preferencia.
3
Los artículos sugeridos fueron bien elegidos.
4
Los ítems sugeridos fueron relevantes.
5 El sistema sugirió demasiados elementos defectuosos.
6 No me gustó ninguno de los artículos sugeridos.
adecuado para el evento (paso 1 de la fase II). A continuación, con el fin de comprender
mejor las necesidades del usuario y brindar mejores recomendaciones, el
Luego se le pide al usuario que ingrese algunas preferencias más en la búsqueda
artículos (restaurantes) centrándose en sus necesidades específicas de información
(paso 2 de la fase II). Finalmente, se le presenta al usuario una versión mejorada
conjunto de recomendaciones basadas en todas las preferencias ingresadas. mi
se supone que el usuario busque estas recomendaciones y seleccione un
restaurante de la lista de sugerencias y agregarlo a favoritos.
Finalmente, en el paso tres de la Fase II, se pidió a los usuarios que llenaran un
encuesta sobre la satisfacción del usuario con la elicitación de preferencia (PE)
procedimiento y en la calidad de la recomendación percibida. Las declaraciones que
usamos para evaluar el proceso de elicitación de preferencias.
[26] se muestran en la Tabla 3. Las declaraciones se juzgan como en SUS y un
la puntuación acumulada se calcula de manera similar.
Tabla 3:
ítems del cuestionario relativos a la satisfacción del usuario con
el procedimiento de elicitación de preferencias.
1 Me divierto usando el sistema.
2 Usar el sistema es una experiencia placentera.
3 El sistema mejoró la calidad de la recomendación cuando
se agregan preferencias adicionales.
4 El sistema me hace más consciente de mis opciones de elección.
5 Me siento aburrido cuando estoy usando el sistema.
5 RESULTADOS
Las tablas 4 y 5 muestran los resultados de los cuestionarios relativos a
la usabilidad percibida del sistema (ver Tabla 1), la recomendación
calidad (ver Tabla 2), la satisfacción con la obtención de preferencia
proceso (ver Tabla 3), el rango recíproco medio del PDI5 elegido
y el número de preferencias recopiladas en promedio por usuario (calificaciones
en STS-R o preferencias por parejas en STS-RC). Hablaremos de cada
de ellos en los siguientes subapartados.
5.1 Usabilidad del sistema
Analizando los resultados del cuestionario SUS sobre la
usabilidad percibida del sistema (segundo paso de la Fase I), encontramos que
la puntuación SUS de STS-RC es más alta que la puntuación SUS de STS-R,
76,29 frente a 71,93, y la puntuación SUS de ambas variantes está muy por encima
el punto de referencia de 67. es la diferencia entre la puntuación del SUS de
5
La definición exacta de esta métrica se informa más adelante en el documento.
334
Saikishore Kalloori, Francesco Ricci y Rosella Gennar
Tabla 4: Resultados de varias métricas y porcentaje de mejora de STS-RC sobre
STS-R (un asterisco significa que
STR-RC es significativamente mejor que STR-R, p<0,05).
STS-R STS-RC RC-R %
Puntaje SUS 71.93 76,29ÿ 6%
puntuación de educación física 54,96 60,24 9,6%
MRR (Fase II) 0,210 0,271ÿ 29%
Preferencias recopiladas Fase I 9.37 13.44 43%
(en promedio por usuario) Fase II 12.65 15.24 20%
STS-RC y STS-R es signi cativo (test de Mann-Whitney, p = 0,048).
También analizamos las respuestas de los usuarios a cada cuestionario individual.
declaraciones. En particular, encontramos que STS-RC se percibe como
ser signi cativamente menos complejo que STS-R es: el acuerdo del usuario
con la declaración 2 del SUS, evaluando la complejidad percibida de
el sistema, es signi cativamente diferente entre STS-RC y STS-R
(p < 0,01). En general, los resultados de este experimento respaldan nuestra primera
hipótesis de investigación (H1): las preferencias por pares pueden ser efectivamente
utilizado en aplicaciones móviles.
5.2 Satisfacción del Usuario por las Preferencias
Proceso de elicitación
Como explicamos anteriormente, en la segunda fase del experimento, el
la tarea del usuario se centra en buscar un restaurante y el adicional
Las preferencias insertadas por el usuario están relacionadas con restaurantes. Nosotros
han medido la satisfacción del usuario para la obtención de preferencias
(PE) procedimiento para entender cuál es más efectivo en este
situación.
Analizando las respuestas de la encuesta, encontramos que el STS-RC
y las puntuaciones STS-R son 60,24 y 54,96, respectivamente, aunque el
la diferencia no es estadísticamente significativa (p = 0,06). Falta de estadística
La importancia probablemente se deba al pequeño número de participantes.
Nuestros resultados, por lo tanto, solo respaldan marginalmente nuestra segunda investigación.
hipótesis (H2), es decir, que las preferencias por pares pueden conducir a una mayor
satisfacción del usuario por el procedimiento de elicitación de preferencia cuando el
el usuario se está enfocando en una necesidad/recomendación de información especí ca.
Además, cuando analizamos las respuestas de los usuarios a cada declaración
individual del cuestionario, encontramos que STS-RC tiende a
hacer que los usuarios se sientan más felices de usar el sistema, aunque no significativamente
entonces: para la afirmación 1, relativa a la elicitación de preferencias, los usuarios tenían
una mayor concordancia para STS-RC que para STS-R (p = 0,094). Sin embargo,
para la declaración 3, los usuarios sintieron que STS-RC, en comparación con STS-R,
mejoró la calidad de las recomendaciones cuando se
se sumaron las preferencias, y de forma signi cativa (p = 0,035).
5.3 Recomendación percibida
La Tabla 5 muestra los resultados de la calidad de recomendación percibida en
el final de la primera y segunda fase. Analizando las respuestas a la
cuestionario al final de la primera fase, encontramos que el STS-RC
y las puntuaciones STS-R son 58,14 y 63,63 (p= 0,19), respectivamente, pero no
signi cativamente diferente. Esto significa que cuando no hay un especí co
objetivo de la recomendación, STS-R puede ser capaz de generar mejores
recomendaciones en comparación con STS-RC, pero la afirmación debe ser
apoyado por otros experimentos.
Machine Translated by Google
Obtención de preferencias por pares en sistemas de recomendación
Tabla 5: Resultados de la calidad de la recomendación percibida (un doble
asterisco significa que STR-RC es significativamente mejor en la segunda
fase en comparación con la primera, p<0,01).
Fase I Fase II (Fase II - Fase I) %
STS-R 63.63 64.52 1,4%
STS-RC 58.14 65,51ÿÿ 12,6%
Por lo tanto, nuestros resultados sugieren que las preferencias por pares no
son particularmente efectivas en situaciones en las que el usuario no tiene un
objetivo específico. Sin embargo, en la segunda fase del estudio, es decir,
cuando los usuarios se centran en un objetivo particular y solicitan al sistema
que proporcione recomendaciones dirigidas a este objetivo, STS-RC y STS-R
tienen una calidad de recomendación percibida similar: 65,51 frente a 64,52.
Curiosamente, observamos que STS-R tiene una calidad de recomendación
percibida similar en la primera fase (sin un objetivo particular) 63,63 y la segunda
fase (con un objetivo particular) 64,52. Por el contrario, hay una mejora signi
cativa de esta puntuación para STS-RC entre la primera y la segunda fase:
58,14 frente a 65,51 (prueba de Mann-Whitney y prueba t pareada, p < 0,01).
Por lo tanto, dado que STS-RC es significativamente mejor en la segunda etapa
que en la primera, esto muestra claramente que las comparaciones son más
efectivas para modelar las preferencias del usuario si el usuario tiene un objetivo
específico y está buscando un tipo específico de recomendaciones Vale la pena
señalar que los usuarios informaron que comparar pares de elementos les hizo
imaginar una clasificación de los elementos comparados y también sintieron que
la lista de recomendaciones generada por STS-RC era atractiva ya que estaba
cerca de su clasificación ideal de los elementos recomendados. Sin embargo,
debemos tener en cuenta que puede haber efectos de arrastre en la segunda
fase debido al uso de la aplicación en la primera fase; los usuarios podrían
haberse beneficiado en la segunda fase. Los experimentos futuros podrían
probarlo con un diseño de experimento diferente. Sin embargo, este efecto es
independiente de la variante utilizada por el usuario, por lo que no influye en la
observación de que STS-RC mejoró más la calidad de la recomendación que
STS-R cuando el objetivo de la recomendación es más específico.
Además, recordamos que hemos pedido a cada usuario, al final de la
segunda fase, que marque una sugerencia que crea que se ajusta a sus
preferencias. Luego medimos el error de clasificación del sistema utilizando la
clasificación recíproca media (MRR) [38] suponiendo que este elemento marcado
es el relevante. MRR calcula, para cada usuario, el inverso de la posición de
rango en la lista recomendada, del elemento marcado (los valores MRR más
altos son mejores). Encontramos que el MRR de STS-RC es 0,271 y es
estadísticamente significativamente más alto que el MRR de STS-R, que es
0,210 (p = 0,039). Estos resultados apoyan la tercera hipótesis (H3) que hicimos,
es decir, las preferencias elicitadas en forma de preferencias por pares mejoran
más la precisión y calidad de la recomendación, cuando hay un objetivo claro
para las recomendaciones.
Finalmente, también observamos el número de preferencias ingresadas
en las dos variantes en las dos fases experimentales. En el primero, en
promedio por usuario, se proporcionaron 9.37 calificaciones y 13.44
preferencias por pares en STS-R y STS-RC, respectivamente. En la segunda
fase, en promedio por usuario, los usuarios que utilizaron STS-R y STS-RC
proporcionaron 12,65 calificaciones y 15,24 preferencias por pares6, respectivamente.
En este trabajo nos propusimos comprender cuándo es significativo y benéfico
6
Además de las preferencias por pares, los usuarios de STS-RC ingresaron muy pocas calificaciones, 28.
335
RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá
Para nosotros, ambos sistemas recogieron más preferencias en la segunda
fase en comparación con la primera fase. También observamos que los
usuarios ingresaron más preferencias al usar STS-RC que al usar STS-R en
ambas fases del experimento, aunque la diferencia no es estadísticamente significativa.
5.4 Impacto de la personalidad del usuario
Finalmente, queríamos entender si existe alguna dependencia entre la
personalidad del usuario con la usabilidad percibida del sistema y la
evaluación del usuario para el procedimiento de elicitación de preferencias.
Recordamos que cada usuario, cuando se registró en el sistema (tanto STS
R como STS-RC), llenó el cuestionario FIPI, utilizado para evaluar los cinco
grandes rasgos de personalidad: apertura, escrupulosidad, extroversión,
amabilidad, neuroticismo. Los usuarios respondieron en una escala de Likert de
siete puntos que va desde "totalmente en desacuerdo" (1) hasta "totalmente de acuerdo" (7).
En investigaciones anteriores, se demostró que existe una relación entre la
personalidad del usuario y: los métodos de elicitación de preferencias [20], el
comportamiento del usuario en línea y las redes sociales [27]. Por lo tanto,
tratamos de identificar si existe alguna dependencia entre los rasgos de
personalidad del usuario y las puntuaciones SUS o PE. Las tablas 6 y 7 muestran
las puntuaciones medias de PE y SUS de usuarios con rasgos de personalidad
bajos y altos en los sistemas STS-R y STS-RC. Utilizamos una división mediana
para dividir a los usuarios en grupos de rasgos de personalidad bajos (usuarios
con una puntuación de rasgos de personalidad inferior a la mediana) y altos
(usuarios con una puntuación de rasgos de personalidad igual o superior a la
mediana). Luego verificamos dos veces si hay alguna diferencia significativa en
las puntuaciones SUS o PE entre los grupos de rasgos de personalidad bajos y altos.
Observando las Tablas 6 y 7, podemos afirmar que a los usuarios que poseen
alta extroversión les suele gustar más el procedimiento de elicitación basado en
rating que a los usuarios que poseen baja extroversión (p = 0,043). Esto significa
que a los extrovertidos altos, que son socialmente más activos, enérgicos y
comunicativos, les gusta más usar las calificaciones para expresar sus
preferencias en comparación con los usuarios que poseen una extroversión baja.
Los extrovertidos altos tienden a ser buenos para juzgar y tomar decisiones [41]
y, posiblemente, este comportamiento asertivo los hace sentir cómodos para
hacer evaluaciones de calificación más que aquellos que no son extrovertidos.
También podemos observar que a los usuarios que poseen una gran simpatía
tiende a gustarles más el mecanismo de elicitación de preferencias basado en
la preferencia por parejas que a los usuarios que poseen una simpatía baja (p =
0,016). Además, los usuarios que poseen una amabilidad alta tienden a otorgar
puntajes de usabilidad significativamente más altos en comparación con los
usuarios que poseen una amabilidad baja (p = 0,027).
usuarios
Esto muy
significa
agradables
que los ,
que son amables, simpáticos y cálidos por naturaleza, expresan sus preferencias
utilizando preferencias por pares y usan más RS basadas en preferencias por
pares en comparación con los usuarios que poseen poca amabilidad. También
realizamos análisis de correlación entre la personalidad del usuario de ambos
sistemas y la puntuación SUS o puntuaciones PE. Encontramos que entre los
usuarios de STS-RC, la amabilidad tiene una correlación significativamente
positiva con la usabilidad percibida del sistema (coeficiente de correlación de
rangos de Spearman = 0,413, p=0,02) y el procedimiento de elicitación de
preferencias (coeficiente de correlación de rangos de Spearman = 0,429,
p=0,026) . Este resultado respalda aún más las observaciones anteriores
realizadas para las comparaciones por parejas y la personalidad.
6. CONCLUSIONES
obtener preferencias por parejas y, más en general, cuándo
Machine Translated by Google

RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá Saikishore Kalloori, Francesco Ricci y Rosella Gennar

Tabla 6: Comparación de puntajes de PE entre los dos grupos de usuarios con puntajes bajos y altos para la personalidad fipi ve
rasgos (un asterisco significa p < 0,05). Los dos sistemas, STS-R y STS-RC, se consideran por separado.

STS-RC STS-R

Bajo valor Alto valor Bajo valor Alto valor

Franqueza 61.78 58.82 49.99 53.74

Escrupulosidad 57.46 61.39 51.33 56.53

Extroversión 56.86 61.59 48.19 57,84ÿ

simpatía 50.58 67,97ÿ 51.47 55.74

neuroticismo 61.49 58.49 53.43 55.36

Tabla 7: Comparación de puntajes SUS entre los dos grupos de usuarios con puntajes bajos y altos para la personalidad ve FIPI
rasgos (un asterisco significa p < 0,05). Los dos sistemas, STS-R y STS-RC, se consideran por separado.

STS-RC STS-R

Bajo valor Alto valor Bajo valor Alto valor

Franqueza 75.62 72.72 71.25 68.52

Escrupulosidad 77.50 74.84 70.00 72.63

Extroversión 74.37 77.21 71.13 71.94

simpatía 71.25 79,55ÿ 72.18 69.18

neuroticismo 63.87 62.86 71.25 71.91

proporcionando una con rmación empírica de que los RS basados en pares
preferencias ofrecen una alternativa válida a los sistemas tradicionales basados en
calificaciones
Mediante la realización de un test A/B, hemos demostrado que, cuando el usuario
está buscando una recomendación especí ca, los RS con preferencias por pares
pueden desempeñarse igual o mejor que la calificación de vanguardia
soluciones basadas. En general, nuestros resultados con rman nuestra principal
hipótesis de investigación: las preferencias por parejas son un enfoque viable de la preferencia. han diseñado dos sistemas que solicitan al usuario que califique o
elicitación en RS; especialmente en situaciones y escenarios donde un
usuario tiene un objetivo claro, un sistema que utiliza preferencias por pares puede
ofrecer una mejor experiencia de recomendación al usuario.
En particular, hemos demostrado que las preferencias por pares pueden conducir
a una mayor usabilidad de la RS y también a una mayor satisfacción del usuario
para el procedimiento de elicitación de preferencia, cuando el usuario se está enfocando
en una necesidad especí ca de información y, en consecuencia, la elección
establecido para tomar la decisión es pequeño. Además, hemos mostrado
que las preferencias por pares hacen que los usuarios se sientan más felices de usar el RS
en comparación con las calificaciones, y el RS usando preferencias por pares
es capaz de recopilar más preferencias de este tipo que calificaciones. También tenemos
demostrado que existe una dependencia entre la personalidad del usuario,
y la usabilidad del sistema y la evaluación del usuario por la preferencia
proceso de elicitación. Esto sugiere que la personalidad de los usuarios puede ser
útil para decidir qué tipo de elicitación de preferencia se puede utilizar,
y al hacerlo, uno puede recopilar más preferencias, lo que a su vez
puede conducir a mejores recomendaciones y una mayor usabilidad de la RS.
Destacamos que hemos obtenido estos resultados desarrollando
técnicas novedosas para implementar efectivamente un RS que combina
Preferencias y valoraciones por pares: una nueva estrategia de aprendizaje activo
para la elicitación de preferencias por pares, algoritmo de clasificación novedoso y un
GUI específicamente diseñado.
También reconocemos las limitaciones del trabajo presentado. Primero de
todos, notamos que hemos considerado un solo ejemplo de centrado
buscar, es decir, buscar un tipo especí co de recomendaciones de artículos
(restaurante). De hecho, muchas de estas situaciones pueden identificarse durante la
interacción del usuario con el RS en su uso diario. Además, nosotros
comparar. Pero los dos enfoques pueden ser mixtos. Por ejemplo,
imagine que se recomienda un artículo al usuario y el usuario tiene
experimentado. es con el fin de obtener conocimiento adicional sobre las preferencias del
usuario, puede ser útil entender si calificar esto
el artículo es efectivo o sería mejor pedirle al usuario que lo compare
a otros similares experimentados anteriormente.
Nuestros resultados también sugieren otras futuras líneas de investigación. Para
ejemplo, un análisis de las personalidades de los usuarios y si son
objetivo dirigido en su búsqueda podría ayudar a decidir sobre el mecanismo de
recomendación relacionado, por ejemplo, esto podría basarse en pares
preferencias si los usuarios son muy agradables o están orientados a objetivos. Futuro
El trabajo también intentará ampliar nuestros hallazgos sobre la personalidad.
rasgos y preferencias por los mecanismos de recomendación.
Finalmente, planeamos explorar los datos de la sesión y usarlos en nuestro
modelos De hecho, las preferencias por pares, que se obtienen en el
presencia de un objetivo de usuario, puede contener información que puede ser útil
por un corto tiempo, es decir, recomendaciones basadas en sesiones. En ese sentido,
se necesita más trabajo para profundizar en cómo explorar los datos de sesión y
incorporarlos a nuestros modelos y mejorar las recomendaciones.

336
Machine Translated by Google

Obtención de preferencias por pares en sistemas de recomendación RecSys '18, del 2 al 7 de octubre de 2018, Vancouver, BC, Canadá

REFERENCIAS
[1] Dan Arieli. 2009. Predeciblemente irracional. HarperCollins Nueva York.
[2] Linas Baltrunas, Bernd Ludwig, Stefan Peer y Francesco Ricci. 2012. Evaluación y
explotación de la relevancia del contexto en sistemas de recomendación móvil.
Informática personal y ubicua 16, 5 (2012), 507–526.
[3] Aaron Bangor, Philip T Kortum y James T Miller. 2008. Una evaluación empírica de la escala de usabilidad
del sistema. internacional Revista de interacción humano-computadora 24, 6 (2008), 574–594.
[4] Henry Blanco y Francesco Ricci. 2013. Adquisición de perfiles de usuario a partir de comentarios
implícitos en un sistema de recomendación conversacional. En Actas de la 7.ª conferencia ACM sobre
sistemas de recomendación. ACM, 307–310.
´ ´
[5] Laura Bledaite y Francesco Ricci. 2015. Obtención y explotación de preferencias por parejas para filtrado
[25] Saikishore Kalloori, Francesco Ricci y Marko Tkalcic. 2016. Factorización matricial basada en preferencias
por pares y técnicas de recomendación del vecino más cercano. En Actas de la 10.ª Conferencia ACM
sobre sistemas de recomendación.
ACM, 143–146.
[26] Bart P Knijnenburg, Martijn C Willemsen, Zeno Gantner, Hakan Soncu y Chris Newell. 2012.
Explicando la experiencia del usuario de los sistemas de recomendación.
Modelado de usuario e interacción adaptada al usuario 22, 4-5 (2012), 441–504.
[27] Michal Kosinski, Yoram Bachrach, Pushmeet Kohli, David Stillwell y ore Graepel. 2014. Manifestaciones
de la personalidad del usuario en la elección de sitios web y comportamiento en las redes sociales
online. Aprendizaje automático 95, 3 (2014), 357–380. [28] uy Ngoc Nguyen y Francesco Ricci. 2017.
Un sistema de recomendación grupal basado en chat para turismo. En Tecnologías de la información y la
comunicación en el turismo 2017. Springer, 17–30.

colaborativo conversacional. En Actas de la 26ª Conferencia ACM sobre Hipertexto y Medios Sociales.
ACM, 231–236.
[6] Mahias Braunhofer, Mehdi Elahi y Francesco Ricci. 2014. STS: Un Sistema Móvil de
Recomendación Consciente del Contexto para Lugares de Interés. En Talleres UMAP.
[7] Mahias Braunhofer, Mehdi Elahi y Francesco Ricci. 2014. Evaluación de la usabilidad
de un sistema de recomendación móvil basado en la personalidad y el contexto. En
Congreso internacional sobre comercio electrónico y tecnologías web. Saltador,
77–88.
[8] Mahias Braunhofer, Mehdi Elahi y Francesco Ricci. 2015. Personalidad del usuario y el nuevo problema
del usuario en un sistema de recomendación de puntos de interés consciente del contexto . En
Tecnologías de la Información y la Comunicación en el Turismo 2015. Springer,
537–549.
[29] Tien T Nguyen, Daniel Kluver, Ting-Yu Wang, Pik-Mai Hui, Michael D Ekstrand, Martijn C Willemsen y
John Riedl. 2013. Interfaces de soporte de calificación para mejorar la experiencia del usuario y la
precisión del recomendador. En Actas de la 7.ª conferencia ACM sobre sistemas de recomendación.
ACM, 149–156.
[30] Syavash Nobarany, Louise Oram, Vasanth Kumar Rajendran, Chi-Hsiang Chen, Joanna
McGrenere y Tamara Munzner. 2012. Espacio de diseño electrónico
mediciónde delas interfaces de
opinión:
exploración del soporte de recuperación para calificación y clasificación. En Actas de la
Conferencia SIGCHI sobre factores humanos en sistemas informáticos.
MCA, 2035–2044.
[31] Francesco Ricci, Lior Rokach y Bracha Shapira. 2015. Sistemas de recomendación: Introducción y
desafíos. En Manual de sistemas de recomendación. Saltador.

[9] Pero hias Braunhofer, Mehdi Elahi, Francesco Ricci y omas Schievenin.
2013. Sugerencia de puntos de interés sensibles al contexto con gestión dinámica de
datos meteorológicos. En Tecnologías de la información y la comunicación en el turismo 2014.
Springer, 87–100.
[10] Derek Bridge y Francesco Ricci. 2007. Apoyo a la selección de productos con recomendaciones de
edición de consultas. En Actas de la conferencia ACM de 2007 sobre sistemas de recomendación.
ACM, 65–72.
[11] Armelle Brun, Ahmad Hamad, Olivier Bu et y Anne Boyer. 2010. Hacia las relaciones de preferencia en
los sistemas de recomendación. En Workshop on Preference Learning, European Conference on
Machine Learning y Principle and Practice of Knowledge Discovery in Databases (ECML-PKDD 2010).
Citeseer.
, Estadísticas para la investigación de usuarios. Morgan Kaufman.
[12] Ben Cartere e, Paul N Benne David Maxwell Chickering y Susan T Du mais. 2008. Aquí o allá: juicios de
preferencia por relevancia. En Avances en la Recuperación de Información 2008. Springer, 16–27.
[32] Silvia Rossi, Francesco Barile, Sergio Di Martino y Davide Improta. 2017. Una comparación de dos
enfoques de obtención de preferencias para las recomendaciones de museos . Concurrencia y
Cómputo: Práctica y Experiencia 29, 11 (2017).
[33] Neil Rubens, Mehdi Elahi, Masashi Sugiyama y Dain Kaplan. 2015. Aprendizaje activo
en sistemas de recomendación. En Manual de sistemas de recomendación. Saltador,
809–846.
omas l saaty. 2008. Toma de decisiones con el proceso de jerarquía analítica.
[34]
Revista internacional de ciencias de los servicios 1, 1 (2008), 83–98.
[35] Je Sauro. 2011. Medición de la usabilidad con la escala de usabilidad del sistema (SUS),
hp://www.measuringusability.com/sus.php. (2011).
[36] Je Sauro y James R. Lewis. 2016. anticipándose a la experiencia del usuario: Práctica
[37] Michael Scholz. 2008. De las preferencias del consumidor a las decisiones de compra. 21st Bled
eConference eCollaboration: Overcoming Boundaries rough Multi-Channel Interaction (2008), 223–235.

[13] Maunendra Sankar Desarkar y Sudeshna Sarkar. 2012. Predicción de rating usando factorización matricial ¨
[38] Hinrich Schutze, Christopher D. Manning y Prabhakar Raghavan. 2008
basada en relaciones de preferencia. En Talleres UMAP. Citeseer. Introducción a la recuperación de información. vol. 39. Prensa de la Universidad de Cambridge.
[14] Maunendra Sankar Desarkar, Roopam Saxena y Sudeshna Sarkar. 2012. Factorización matricial basada
[39] Loren Terveen Shuo Chang, F. Maxwell Harper. 2015. Uso de grupos de elementos para obtener
en relaciones de preferencia para sistemas de recomendación. En Conferencia internacional sobre
preferencias en sistemas de recomendación. En CSCW '15 Actas de la 18.ª Conferencia de la ACM
modelado, adaptación y personalización de usuarios. Springer, 63–75.
sobre trabajo cooperativo asistido por computadora e informática social (2015-03-11). ACM, 1258–
1269. hp://dl.acm.org/citation.cfm?id= 2675210
[15] Mehdi Elahi, Francesco Ricci y Neil Rubens. 2016. Una encuesta de aprendizaje activo en sistemas de
recomendación de filtrado colaborativo. Revisión de Ciencias de la Computación 20 (2016), 29–50.
[40] Paul Slovic y Sarah Lichtenstein. 1983. Reversiones de preferencias: una perspectiva más amplia. e
American Economic Review 73, 4 (1983), 596–605.
[16] David F. Gleich y Lek-heng Lim. 2011. Agregación de rangos a través de la minimización de normas
[41] Joshua Wilt y William Revelle. 2009. Extraversión. (2009).
nucleares. En Actas de la 17.ª conferencia internacional ACM SIGKDD sobre descubrimiento de
conocimiento y minería de datos. ACM, 60–68.
[17] Samuel D. Gosling, Peter J. Rentfrow y William B. Swann. 2003. Una medida muy breve de los cinco
grandes dominios de la personalidad. Revista de Investigación en personalidad 37, 6 (2003), 504–528.

[18] Mark P Graus y Martijn C Willemsen. 2015. Mejora de la experiencia del usuario durante el arranque en
frío a través de la obtención de preferencias basadas en elecciones. En Actas de la 9.ª Conferencia
ACM sobre sistemas de recomendación. ACM, 273–276.
[19] Sandra Heldsinger y Stephen Humphry. 2010. Uso del método de comparación por pares para obtener
evaluaciones docentes confiables. e Australian Educational Researcher 37, 2 (2010), 1–19.

[20] Rong Hu y Pearl Pu. 2009. Un estudio comparativo de usuarios sobre la calificación frente a los métodos
de obtención de preferencias basados en cuestionarios de personalidad. En Actas de la 14ª conferencia
internacional sobre interfaces de usuario inteligentes. ACM, 367–372.
[21] Ian Jones y Lara Alcock. 2014. Evaluación por pares sin criterios de evaluación.
Estudios de Educación Superior 39, 10 (2014), 1774–1787.
[22] Nicolás Jones, Armelle Brun y Anne Boyer. 2011. Comparaciones en lugar de calificaciones: Hacia
preferencias más estables. En Web Intelligence and Intelligent Agent Technology (WI-IAT), Conferencia
internacional IEEE/WIC/ACM de 2011, vol. 1.IEEE, 451–456.

[23] Saikishore Kalloori. 2017. Preferencias por parejas y sistemas de recomendación. En Actas de la 22ª
Conferencia Internacional sobre Interfaces de Usuario Inteligentes Companion. ACM, 169–172.

[24] Saikishore Kalloori y Francesco Ricci. 2017. Mejora de la recomendación de arranque en frío mediante
la asignación de preferencias basadas en funciones a las comparaciones de artículos. En Actas de las
25 Jornadas sobre Modelado, Adaptación y Personalización de Usuarios. ACM, 289–293.

337