Avaliao e Testes em Sistemas de Recomendao"

Brje Karlsson & Francimar Maciel

Recomendao

Personalizao"
Otimizao de Tempo Servio especcos Contedo de interesse Contedos" relevantes Conana e relacionamento

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Quem Recomenda

Voc, seus amigos, sua famlia etc

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Sistema de Recomendao
Personalizao Automtica
Usurio diferente, experincia diferente Precisa de dados do usurio

Recomendaes por contexto

Consulta Recomendaes
Dados usurioitemcontexto tempo, lugar, atividade, papel

Itens! Produtos: websites, blogs, notcias, msicas, livros,

Recomendaes por contedo

Metadados de usurio (demogrcos) Metadata dos itens (catlogo)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Dados e Uso

Compilar grandes Pessoas que gostam Histrico de quantidades de disto tambm acessos, consumo, dados e mostrar contatos e Agregar dados tendncias compartilhamento de comportamentais personalizadas contedo para realizar que agreguem recomendaes valor ao usurio
Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Amazon.com
3!

1!

2!

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Netix
3! 1!

2!

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Last.fm
1! 2! 3!

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Em Ambientes Mveis

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Tambm em Propaganda Personalizada

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

O Que um Recomendador?
1. Coleta de 2. Treinamento do Modelo dados Aprende ao processar os dados
3. Gerador de Recomendaes

gostos!

Pers dos itens!

recomenda! casa!

constri!
Azul! Crculos! Tringulos!

Perl do usurio!
Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Como se Testa um SR?

Testes funcionais Testes do algoritmo de recomendao Teste da experincia do usurio

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Avaliao do Algoritmo
Avaliaes geralmente oine" Comparao de predies com notas"
Root-mean-square error (RMSE)"

Correlaes"

Modelo 0/1 (Interessante / No interessante)" Cobertura"

Deveria comparar alternativas!"

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Contexto
Contexto qualquer informao que pode ser utilizada para caracterizar a situao de uma entidade (A. K. Dey et al., Understanding and using context, 2001)

No caso de Sistemas de Recomendao:

- Contexto de usabilidade (pessoa) - Contexto para recomendao (sistema)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

User Experience "

Momentary, primarily evaluative feeling (good-bad) while interacting with a product or service. (Hassenzahl 2008 apud Knijnenburg et al 2012) Experience is a very dynamic, complex and subjective phenomenon. It depends of upon the perception of multiple sensory qualities f a design, interpreted through lters relating to contextual factors (Buxton, 2007)
Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Experincia de Uso (UX) & Sistema de Recomendao" (Aspectos subjetivos) + (Algoritmos de aprendizado)" !

Componentes da UX"
Diculdade! Esforo! Conforto! Contexto!

Estes fatores no tem recebido a devida ateno

(Knijnenburg et al 2012)

Satisfaco com a escolha! Ecincia percebida do sistema!

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

User Experience "

Contedo Processo Flexibilidade Controle Rapidez Sugestes Explorar Compartilhar Intuitividade Quantidade Disponibilidade Custo x Benefcio Necessidades Expectativas Semntica Barreiras

A good experience varies from person to person, product to product, and task to task, but a good general denition is to dene something as usable if it is funcional, efcient and desirable to its intend audience. (Kuniavsky, 2003)
Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Framework para Avaliao de Sistemas de Recomendao (Knijnenburg et al 2012)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Framework para Avaliao de Sistemas de Recomendao (Knijnenburg et al 2012)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Framework para Avaliao de Sistemas de Recomendao (Knijnenburg et al 2012)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Entrevistas, Grupos de Foco, Pesquisa Contextual, Questionrios Observao Participativa, Testes de Usabilidade.
Recrutamento Criao de tarefas especcas Observao e registro ferramentas e meios utilizados, sequncias de aes, mtodos de organizao, como so as interaes. Transferncias e compartilhamento de conhecimento
Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Escalas de Avaliao

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Escalas de Avaliao

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Escalas de Avaliao

NPS no celular

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Contexto para Recomendao

Comportamento + Ambiente + Interaes Informao uindo dos, e para os, usurios:
extrada do contedo; inferida das atividades; sensorial; explcita (comentrios, bookmarks, etc.)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Contexto para Recomendao

Microphone" Camera" GPS"

WLAN positioning"

Accelerometer"

Camera"

Databases" Maps"

Time table"

Documents" Websites " Wikipedia"

Music Catalogue"

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Modelos de Contexto
Requisitos" Usabilidade do Formalismo de Modelagem"

Lidar com Imperfeies"

Provisionamento Eciente do Contexto"

Raciocnio" Relacionamentos e Dependncias" Timeliness" Heterogeneidade"

(Bettini et al., A Survey of Context Modeling and Reasoning Techniques, 2009)!

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Contexto Ambiente Conhecimento Atitudes Familiaridade

Framework para Avaliao de Sistemas de Recomendao (Knijnenburg et al 2012)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Nveis de Inteligncia Contextual

From Xerox PARC!

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Compreenso do Processo
No em detalhes Etapas em alto nvel !

Stern, Herbrich, Graepel 2009!

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Music Intelligence Spearhead (MIS)

- Dispositivos mveis esto sempre com os usurios - Ouvir msica bastante pessoal e situacional

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Music Intelligence Spearhead (MIS)

Podemos usar Contexto para melhorar recomendaes de msica?
A aplicao deveria just work
coletar dados contextuais; entender o contexto do usurio; recomendar quando e o que tocar.!

Arquitetura e sistema capaz de suportar futuras pesquisas. Testes com usurios em quatro pases.

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Music Intelligence Spearhead (MIS)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Avaliao
10 Usurios de msica no celular | 18-32 anos Entrevistas em profundidade Cada usurio, 1 semana de uso Lista de tarefas acompanhadas e orientadas de forma presencial e via SMS Cada usurio recebeu 80 libras como estmulo para experimentar e comprar novas msicas.

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Avaliao
Procedimentos iniciais Tranferncia de 200 msicas Lista de tarefas para estimular o uso do aplicativo e familiarizao com as telas (Percepo inicial) Instruo sobre os prximos passos da avaliao

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Resultados

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Resultados
A recomendao deveria ser mais rpida. A recomendao no foi relevante. Gostei! Mas eu no compraria. Queria entender como isso funciona. Eu gostei, mas no recomendaria para meu amigo.
Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Resultados
Eu gostei mas gostaria de receber mais contedos de um gnero especco. Superou minhas expectativas Interessante, mas gostaria de receber as msicas de acordo com o gnero que estou escutando naquele determinado momento.

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Resultados

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Resultados

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

MIS - Aprendizados
Quanto mais testes melhor. Recompensas e Bnus no foram estmulos signicativos. O que realmente importou? Receber o contedo de interesse. ! A pesquisa deve ser Qualitativa e Quantitativa Maior alinhamento com a equipe de software e desenvolvimento para melhorias contnuas e maior controle durante a avaliao destes sistemas.
Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

So, if we decide that we want to strive for a comparable standard of experience in the products that we are designing, and therefore adopt an appropriate process for doing so, what might that process be? Making a contribution toward answering this question is at heart of what follows. Bill Buxton (Sketching User Experience)

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Referncias
KNIJNENBURG, B. P.; WILLEMSEN, M. C.; GARTNER, Z.; SONCU, H.; NEWELL, C. Explaining the user experience of recommender systems. User Modeling and UserAdapted Interaction. October 2012, Volume 22, Issue 4-5. pp 441-504. Disponvel em:< http://www.usabart.nl/portfolio/KnijnenburgWillemsen-UMUAI2011_UIRecSy.pdf>. REICHHELD, F. F. A pergunta denitiva 2.0. Como as empresas que implementam o net promoter score prosperam em um mundo voltado aos clientes. Rio de Janeiro: Elsevier, 2011. BUXTON, B. Sketching User Experiences, getting the design right and the right design. San Francisco: Elsevier, 2007. KUNIAVSKY, M. Observing the user experience. San Francisco: Morgan Kaufmann Publishers, 2003. KNIJNENBURG, B. P.; WILLEMSEN, M. C.; KOBSA, A. A Pragmatic Procedure to Support the User-Centric Evaluation of Recommender Systems. Proceedings of the fth ACM conference on Recommender systems. Chicago, IL, 2011. Disponvel em: < http:// www.ics.uci.edu/~kobsa/papers/2011-RecSys-kobsa.pdf>.

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Avaliao e testes em Sistemas de Recomendao | Brje Karlsson & Francimar Maciel"

Brje:" !@tellarin!

Fran:" !@narf2916!