Los sistemas recomendadores basan su efectividad en métricas tales como la precisión, recall, serendepity, novedad, entre otras. Sin embargo, hay ocasiones en que estas métricas dependen de la experiencia del usuario y de sus elecciones. Una situación como esta es el caso de los carruseles, espacio desafiante ya que existen muchos usuarios con numerosos items y variadas preferencias.
En este paper, se evalúa la implementación de un carrusel basado en múltiples sistemas recomendadores para entregar a los usuarios álbumes, artistas y playlists. Este carrusel presenta K espacios para mostrar elementos, sin embargo solo L son vistos por el usuario en primer lugar. Cada vez que se revisa o clickea una tarjeta dentro de las L que se pueden ver se le asigna un valor 1 con una probabilidad _-p. Esto hace referencia a las tarjetas que el usuario tiene interés. El usuario no puede ver todas las tarjetas y tampoco se sabe exactamente cuales se ven. Entonces se puede considerar que las tarjetas presentadas no son de interés del usuario pero si pide más significa que vió hasta el máximo de tarjetas entregadas.
Los sistemas con múltiples brazos o sistemas recomendadores basan su efectividad en el feedback del usuario que de forma adaptativa mejora las recomendaciones entregadas en un experimento online, es decir, en vivo. Sin embargo, se realizan entrenamientos iniciales para poder configurar el perfil del usuario. Entre los métodos utilizados se encuentra la semi-personalización con KNN o clústers de usuarios. En este caso, usuarios del mismo grupo tienen gustos musicales similares. Este método es rápido pero depende de la calidad de los clústers. También se encuentra el "Contextual Multi-Armed Bandits", semejante a SVD con factores latentes. Acá los vectores generados buscan resumir las preferencias del usuario en la plataforma. Para poder realizar esta experimentación se utilizó el algoritmo ts-seg-pessimistic, que maneja de forma eficiente la información explosiva de los sistemas recomendadores y los rankea de acuerdo a las preferencias del usuario y a resultados o usos anteriores.
Este tipo de modelos representan una diferencia en comparación con los modelos de ensamble comúnes. En particular, ahora no se mezclan o ponderar los resultados de los distintos modelos sino que se efectú un ranking de ellos a partir de probabilidades de éxito, clicks, visualizaciones, entre otros factores. Para poder evaluar esto realizó un experimento offline y luego un experimento online, basado en A/B test, para validar los resultados del experimento offline. El experimento offline estaba conformado por KNN de usuarios y SVD para obtener sus vectores de perfil.
En conclusión, los modelos basados en múltiples sistemas recomendadores pueden utilizarse bajo el concepto de carruseles con múltiples brazos donde las recomendaciones se priorizan y ordenan en base a un comportamiento adaptativo del usuario y por ende, afectando en tiempo real la probabilidad de recomendación por un sistema recomendador. Este tipo de experimentos se podría desarrollar en áreas donde el usuario tenga una gran variedad de elementos o tipos de items por escoger, como lo es el caso de un supermercado o centro comercial. De esta manera, este enfoque podría permitir que los usuarios obtengan recomendaciones diferentes y novedosas, variadas en tipo y útiles para el usuario según sus propios gustos y los de los demás.
Ignacio Contreras