In Collective Choice: Rating Systems I discuss ratings scales of various sorts, from ebay’s 3-point scale to Rpgnet’s double 5-point scale, and BoardGame Geek’s 10-point scale.
das várias escalas de classificação, as escalas de 5 pontos são provavelmente as mais comuns na Internet. Você pode encontrá-los não apenas em meu próprio RPGnet, mas também na Amazon, Netflix e iTunes, bem como muitos outros sites e serviços. Infelizmente, escalas de classificação de 5 pontos também enfrentam muitos desafios no seu uso, e diferentes estudos sugerem diferentes falhas com esta metodologia particular.
primeiro, um estudo usando dados da Amazon mostrou que muitas classificações não enviadas (onde o rater não é necessário para adicionar qualquer informação adicional além da classificação que eles selecionam) mostram uma distribuição bimodal. Em outras palavras, a distribuição das classificações tende a aglomerar-se em torno de dois números diferentes (por exemplo, 1 e 5) em vez de oferecer uma distribuição normal, onde as classificações de cluster em torno de uma única altura (por exemplo, 3). Assim, a mediana destas notações não é um reflexo exacto da qualidade do produto, mas sim uma declaração de opiniões contraditórias.
Em segundo lugar, o nosso próprio estudo usando dados do RPGnet mostrou que muitas classificações detalhadas (onde o rater adiciona informações adicionais, neste caso uma revisão completa) oferecem distribuições normais, no entanto, é tendenciosa para o extremo superior da escala. No RPGnet, por exemplo, descobrimos que 90% desse sistema de classificação de 5 pontos era 3 ou mais, com uma média de cerca de 4.
Randy Agricultor do Yahoo sugere que esta escala limitação é particularmente problemático para o fã-base de classificações, tais como aqueles encontrados em episódios de TV locais:
Só os fãs de um show avaliar os episódios, e sendo fãs, nunca vai classificar um episódio de uma ou duas estrelas, nunca. Eu já vi esta tentativa vezes sem conta na net com os mesmos resultados Todas as vezes: cada episódio de um show é de 4 estrelas +/ -.5 estrelas. Isto vai até ao site Babylon-5, provavelmente a primeira fonte para este tipo de dados.
(e de fato, o episódio de TV TKO, da Primeira Temporada da Babylon 5, é considerado um episódio totalmente atroz por até mesmo os fãs. No entanto, tem uma classificação de 6.1 de 10 “justo” em tv.com.)
assim, mesmo quando uma distribuição bimodal não é um problema, em uma escala de 5 pontos o viés ascendente geralmente resulta em apenas 2 ou 3 pontos de dados significativos. Isto é problemático porque minimiza a diferenciação. Em muitos casos, um sistema de classificação de 5 estrelas onde a maioria das classificações são 3 ou 4 não é melhor do que apenas um sistema de classificação de polegares para cima/polegares para baixo.
no entanto, dado que as escalas de 5 pontos estão provavelmente aqui para ficar, somos forçados a fazer o melhor uso delas que pudermos.em primeiro lugar, temos de dar incentivos aos contribuintes, de modo a que proporcionem classificações significativas. Nós já vimos que isso pode ser feito solicitando Avaliações Detalhadas: quando uma pessoa toma o tempo para escrever texto, e sabe que seu nome será anexado a ele, ele geralmente faz um trabalho melhor em sua classificação. Existem também outras técnicas de incentivo possíveis, como o novo sistema XP da RPGnet.em segundo lugar, precisamos fornecer meios para uma escala de 5 pontos se tornar mais significativa, encorajando os raters a usar não apenas a metade superior da escala, mas também a metade inferior. Um método para conseguir isso é tornar as classificações distintas — como mencionei brevemente no meu artigo anterior sobre este tópico — e incentivar os padrões para que uma classificação “média” Seja 2 ou 3, NÃO 4.
Como um exemplo de como alcançar ambos os objetivos com escalas de classificação de 5 Pontos já existentes, eu detalhei minhas próprias experiências com o uso de classificações em dois serviços populares — iTunes e Amazon. Ao fornecer-me com incentivos e fazer meu uso de classificações muito distintivos, eu criei uma saída mais significativa e útil para mim mesmo.o software iTunes da Apple oferece a capacidade de classificar músicas individuais com uma classificação de 0-5 Estrelas. Se você usar o iTunes com um iPod, você pode alterar a classificação de uma música no seu iPod e a mudança será refletida no seu banco de dados do iTunes da próxima vez que você sincronizar o seu iPod. O recurso “Shuffle Songs” disponível em iPods mais modernos tem a opção de ter músicas com maior audiência serem tocadas mais frequentemente. Uma característica muito poderosa, listas de reprodução inteligentes, pode criar dinamicamente listas de reprodução sofisticadas baseadas em classificações. Tudo isso torna a classificação de Música no iTunes muito útil.depois de Shannon e eu Termos escrito nosso artigo sobre Sistemas de classificação, examinei as classificações no meu catálogo do iTunes. Usando a fabulosa ferramenta de estatísticas de classificação XLST iTunes do Alastair, descobri que as classificações que criei no iTunes eram claramente tendenciosas demais, coincidindo com o padrão que tínhamos descrito. Eu tinha demasiadas canções classificadas com 4 estrelas, e quase nada classificado como 1 ou 2. Isto tornou as minhas audiências menos úteis.
| Aqui estão algumas estatísticas da sua Biblioteca do iTunes: 4172 faixas, 412 (10%) classificação | |||||
| Cumulativa % da potência Nominal | |||||
|---|---|---|---|---|---|
| Número | % da potência nominal | Real | Destino | Insuficiência | |
| Faixas classificado como 5 estrelas: | 112 | 27 | 27 | 5 | -22 |
| Faixas de classificação de 4 estrelas: | 183 | 44 | 72 | 15 | -57 |
| Faixas de classificação: 3 estrelas: | 92 | 22 | 94 | 50 | -44 |
| Faixas de 2 estrelas: | 22 | 5 | 99 | 90 | -9 |
| Faixas de classificação de 1 estrelas: | 3 | 1 | 100 | ||
Então, nos últimos meses, eu já completamente renovada, meu iTunes avaliações. Como não posso mudar a interface do utilizador, mudei o meu comportamento. Também estou a aproveitar-me de outros dois campos.: “checked “que eu uso para dar mais distinção às minhas audiências, e” play count ” que mostra se eu ouvi ou não algo até o fim.
Aqui estão os critérios que eu usei:
avaliado 5 – exemplares 
: apenas as minhas canções mais favoritas são classificadas 5. Eles têm de cumprir os seguintes critérios: eles fazem-me sentir bem ou excitar-me não importa quantas vezes eu os ouço, eu posso normalmente ouvi-los muitas vezes sem ficar cansado deles, e eles são o melhor de seu gênero particular.
Rated 4 – Great 
: existe apenas uma pequena diferença entre uma canção que é classificada 4 e 5 na minha classificação — tipicamente não me excita ou me faz sorrir tanto, ou não é necessariamente um exemplo do seu género. No entanto, eu ainda posso normalmente ouvi-los muitas vezes sem ficar cansado deles. Itens que são classificados 4 e 5 são aqueles que eu carrego no meu iPod Shuffle.
noted 4-Great (Unchecked) 
: Há algumas músicas que eu considero ser grande, mas que eu só quero jogar quando estou no humor para eles, ou eu quero apenas jogar em uma ordem específica, ou “não jogar bem” com outras músicas. Por exemplo, eu amo a canção “The Highwayman” de Loreena McKennitt, no entanto, é mais de 10 minutos de duração e eu só não quero ouvir esse tipo de música a menos que eu estou no clima para isso. Outros exemplos são as 12 músicas que compõem “Pictures at an Exhibition” de Mussorgsky — eu quero que elas sejam tocadas em ordem quando eu as toco, e eu realmente não quero que elas sejam tocadas no meio de minhas outras músicas. Infelizmente, o iTunes não permite que você selecione apenas itens desligados, então eu não tenho uma lista de reprodução inteligente para estes; em vez disso, eu mantê-los em uma lista de reprodução regular.
noted 3 – Good 
: These are songs I like. Normalmente eu posso jogá-los regularmente, mas não muitas vezes. Songs rated 3-5 go on my iPod Nano.
noted 3 – Good (Unchecked)
: há muita música que eu acho que é boa, mas eu não quero tocar o tempo todo. Tenho um grande catálogo de faixas sonoras de filmes. Todas menos algumas dessas faixas estão nesta categoria. Mais uma vez, o iTunes não lhe permite seleccionar apenas itens não assinalados numa lista de reprodução inteligente, por isso tenho várias listas de reprodução regulares para estes itens.
Classificação 2 – Ok 
: eu tenho muito diversos gostos musicais, começando com o jazz, várias etnias e de música do mundo, e incluindo também um pouco de pop, rap, R&B, punk e metal que eu gosto. Eu não gosto deles o tempo todo — mas eu gosto que eles apareçam de vez em quando para a variedade. Classifico estes dois e deixo-os verificados. Eu tenho um iPod 40GB velho que eu faço em viagens longas, e armazena tudo o que eu tenho que é verificado e avaliado 2-5.
Rated 2 – Ok (Unchecked)
: algumas músicas estão OK, mas eu realmente tenho que estar no clima especificamente para essa música. Ouvir o “Margaritaville” de Jimmy Buffet pode ser um prazer culpado num dia de verão preguiçoso na praia, mas não é algo que eu queira ouvir regularmente. Tenho uma série de listas de músicas especiais para músicas deste tipo.
oted 1-Don’t Like 
: Estas são as músicas de que não gosto. Não são o meu estilo. Muitos ainda são Música de qualidade, eles simplesmente não funcionam para mim. Eu mantenho a maioria deles para completar — pode ser apenas uma ou duas músicas do álbum, e eu quero manter o álbum completo. Ou guardo-o para o caso dos meus gostos mudarem. Mas, de um modo geral, uma vez que algo é de primeira, provavelmente nunca mais vou ouvi-lo.
noted 1 – Trash (Unchecked)
: estas são canções que não só não gosto, como não são boas músicas. Não gosto da maioria da música rap, mas posso dizer que a maioria ainda é de qualidade. Alguns são lixo — estes eu classifico 1 e desconecto, e são candidatos para exclusão da próxima vez que eu purgar minha coleção.
sem classificação & Escutou 
, número de reproduções > 0: Se eu tenho escutado algo até o fim, mas ainda não avaliado ainda, mostra-se nesta lista de Reprodução Inteligente. Periodicamente eu verifico esta lista inteligente, Ordenando por contagem, e tento classificar tudo o que eu ouvi mais uma vez.
nrated & Unlistened, play count=0: Este é o padrão quando uma nova música é adicionada à Minha Biblioteca. Assim, qualquer música que não seja notada, assinalada e tenha uma contagem de reprodução de 0 aparece na Minha Lista de reprodução inteligente “não notada & não listada”. Quando estou com disposição para a variedade, passo por esta lista de músicas e avalio músicas.modificar o meu sistema de classificação desta forma fez com que a minha classificação média para a música mudasse de cerca de 4 para algo entre 2 e 3. Provavelmente, com o passar do tempo, tornar-se-á mais perto de 2 Como eu classifico mais de minha coleção. Isso me dá muita distinção para que eu possa criar listas inteligentes que funcionem bem para mim.
| Aqui estão algumas estatísticas da sua Biblioteca do iTunes: 6519 faixas, 726 (11%) classificação | |||||
| Cumulativa % da potência Nominal | |||||
|---|---|---|---|---|---|
| Número | % da potência nominal | Real | Destino | Insuficiência | |
| Faixas classificado como 5 estrelas: | 74 | 10 | 10 | 5 | -5 |
| Tracks rated 4 stars: | 144 | 20 | 30 | 15 | -15 |
| Tracks rated 3 stars: | 211 | 29 | 59 | 50 | -9 |
| Tracks rated 2 stars: | 270 | 37 | 96 | 90 | -6 |
| Tracks rated 1 stars: | 27 | 4 | 100 | ||
Obviamente classificação de uma grande coleção de música pode se tornar uma tarefa árdua — você não quer gastar o seu limitado tempo de audição de música sempre afinar suas classificações. Então, eu tenho algumas abordagens que tornam mais fácil para mim taxa de minha música com menos esforço:
-
Primeiro, separei os meus catálogo de meu velho classificações, modificada e tudo por 1, Começando com tudo nominal de 2 a tornar-se 1, 3 tornando-se 2, etc. Isto deu – me uma boa base para começar com
-
Next I criou listas de reprodução inteligentes para cada classificação, ou seja, “Rating 5-Exemplar” com “Match only checked songs” e “Live updating” verificados. Eu adicionei então “Contagem de jogo” como uma coluna à minha vista, e ordenada por ela. Isso me deu as músicas que eu tocava mais e menos, e ajustei algumas músicas para cima e para baixo de acordo. -
Então eu criei uma nova lista de Reprodução Inteligente que simplesmente reproduz músicas nominal de 3 a 5, limitando-se a lista para os primeiros 100 GB selecionado ao acaso (i.e. tudo o que é aleatório), e salvou esta lista de Reprodução Inteligente como “Joga Bem Com os Outros”. Toco isto de vez em quando ao fundo, e quando ouço algo que me ofende, sei que algo não está bem classificado. Assim, sem muito esforço, posso mudar as classificações para músicas que já não se encaixam na sua classificação, ou desmarcar itens onde a classificação era apropriada, mas que “não jogava bem com os outros”. -
tento estar ciente quando estou a usar o meu iPod do que é uma classificação de músicas, e alterá-lo se parecer errado. Da próxima vez que sincronizar o iPod, as minhas audiências serão ajustadas no meu catálogo do iTunes.
-
I also try to be aware of Play Count — this number only goes up if you play a song to the end. Então, mesmo que eu não seja capaz de dar uma olhada na classificação (por exemplo, quando estou em um carro), eu posso pelo menos avançar para a próxima música. Periodicamente eu revejo as contagens de músicas que eu avaliei e considero movê-las para cima e para baixo de acordo. Claro, isto significa que tenho de ter cuidado e não deixar o iPod continuar a correr quando não estou a ouvir.
Uma dica para aqueles de vocês que não colocar um monte de esforço em seu iTunes classificações: eu aprendi da maneira difícil, que ao contrário da maioria das informações sobre a música, a classificação NÃO está armazenado na música em si, então, se o seu iTunes banco de dados for corrompido, ou você mover sua música para outro servidor, você vai perder todas as suas classificações. Uma maneira de evitar isso é periodicamente fazer backup de suas avaliações em um campo que é armazenado na música em si. Eu pessoalmente uso o campo de ” agrupamento “como ele é raramente usado, selecionar todas as músicas com a mesma classificação e clicar em” Get Info”, e mudar o campo de agrupamento para”minha classificação: 5 estrelas”.
Eu só tenho 11% da minha coleção classificados até agora, mas usando este sistema eu estou achando muito mais fácil de gerenciar minhas classificações. Eu já estou recebendo muitos benefícios disso — eu estou tocando minha música mais frequentemente, meus iPods tipicamente têm a música que eu quero neles, e vários serviços de descoberta de música podem usar minhas avaliações para me ajudar a identificar novas músicas que eu possa desfrutar. Isto proporciona o incentivo para me manter a entrar em classificações significativas.Amazon também usa um sistema de classificação de 5 estrelas, e suas classificações podem ser usadas pela Amazon para ajudá-lo a encontrar livros que você possa gostar. Embora eu goste de apoiar as minhas livrarias locais, é Esta característica que me traz de volta à Amazon vezes sem conta. Sempre que eu navego pela Amazon e vejo um livro que eu já li eu tento tomar o tempo para atualizar minha classificação.
Amazon tem uma série de ferramentas diferentes para ajudá-lo em suas classificações. Se você é um cliente da Amazon, você pode ir melhorar suas recomendações: Edite itens que você possui e veja todos os livros que você comprou e rapidamente classificá-los com uma interface AJAX agradável. Você também pode rever itens que você já avaliou, se você possui ou não, para melhorar suas recomendações: editar itens que você já avaliou.
Amazon também adicionou recentemente um serviço web muito bom chamado sua biblioteca de mídia que pode ser usado para ajudar a gerenciar sua biblioteca de mídia de Livros, Música e dvds. Eu, pessoalmente, só o usei para gerenciar meus livros e dvds, como eu acho os álbuns de classificação inúteis — são músicas que eu prefiro classificar.
Depois de navegar pelas minhas classificações até à data, descobri as mesmas falhas que encontrei no iTunes — as minhas classificações tipicamente eram demasiado altas; a maioria era um 4. Isto é particularmente encorajado pelo popup quando seu cursor está sobre as estrelas “1-Eu odeio, 2 – Eu não gosto, 3 – está tudo bem, 4 – Eu gosto, e 5-Eu amo isso”. Eu suspeito que se eu usar o mesmo truque que eu uso para o iTunes de fazer uma classificação de 2 Estrelas significa “Ok” eu poderia potencialmente fazer com que o mecanismo de recomendação a ser menos eficaz (embora isso, possivelmente, poderia fazê-lo melhor, eu não sei). Então eu estou sendo muito mais brutal com minhas audiências e empurrando muitos mais para baixo para 3, de modo que minhas audiências de 4 e 5 têm mais significado.
5 Estrelas 
: Estes têm de ser exemplares — os melhores livros que eu já li, gostaria de ler novamente, iria ter orgulho de mostrar o meu melhor bookshelf, e vai comprar cópias extras para dar aos amigos.
4 Estrelas 
: Estes têm de ser realmente bons livros-a maioria deles eu estou disposto a ler de novo, e eu promovê-los, oferecendo para emprestar-lhes a minha mais exigente amigos. Embora possa tê-las na minha estante, Prefiro dá-las a um amigo e vendê-las numa livraria usada.
3 estrelas
: estes são livros são livros decentes, e eu os compartilho com meus vorazes amigos leitores. Mas eu não os empurro e é muito mais provável que os Venda numa livraria usada e depois mantê-los na minha prateleira. Esta é a classificação que eu significativamente, subutilizados anteriormente, e eu estou achando que a chave discriminador para mim até agora é o quanto eu me sinto como recomendar isso para amigos que são mais exigente leitores.
2 Estrelas 
: Esta classificação é onde a Amazônia sistema de classificação de falha mais — estes são suppost para ser livros que “eu não gosto”, no entanto, a maior parte do tempo eu não comprar livros que eu provavelmente não iria gostar, e muito menos lê-los, então eu tenho muito poucos nesta categoria. No entanto, decidi que esta categoria é para livros que não são muito bons o suficiente, ou são ligeiramente decepcionantes. Nada mau, ou não gostava, mas um pouco decepcionante.
1 Estrelas 
: É aqui que ponho os livros que não gosto, ou pior, odeio. Não há muitos aqui, mas estou disposto a arriscar mais do que muitas pessoas, por isso Tenho alguns. Também há livros que não se encaixam no meu interesse, como romances que me são recomendados porque gosto de autores de fantasia e romance.
desde que comecei a avaliar com mais precisão os meus livros na Amazon, descobri que as suas sugestões para que outros livros sejam lidos para serem mais precisos. Assim, estou a ganhar valor ao avaliar estes livros, e tenho incentivo para continuar a fazer o esforço.
conclusão
oferecer um incentivo para que as pessoas avaliem é importante para classificações de todos os tipos, sendo tanto o ganho individual como o reconhecimento do estatuto motivadores poderosos.
no entanto, a técnica mais fácil para tornar uma escala de classificação de 5 pontos mais útil é torná-la “distinta”. Se um usuário tiver um significado mais específico para cada classificação, as classificações Irão lentamente se estabelecer para uma média mais verdadeira, e assim mais de cada escala de classificação será usado. Nós também tentamos esta técnica recentemente em RPGnet, com o nosso novo índice de jogos; e até agora nossa nova escala de 10 pontos — que tem significados distintos para cada número — tem uma média de 7,27. Isso ainda é um montante justo acima da média real de 5,5, mas pelo menos é abaixo da classificação 8+ que a nossa antiga escala de 5 pontos duplo resultou.
muitas vezes você, como um consumidor de sistemas de classificação, estará fazendo uso de escalas de classificação projetadas por outros, em vez daqueles que você está projetando a si mesmo. Para esses casos, muitas vezes faz sentido projetar suas próprias regras para o que cada número significa, e fazê-lo de tal forma que sua mediana é a média da escala, em vez de em direção a um dos extremos. Quando você faz, mesmo que você esteja usando uma escala de 5 pontos apertado você vai acabar com diferenciação suficiente para que ele realmente seja mais significativo do que um polegar para cima ou um polegar para baixo.
artigos Relacionados do neste blog:
2005-12: Sistemas para a Escolha Coletiva 2005-12: Escolha Coletiva: Sistemas de Classificação 2006-01: Escolha Coletiva: Competitivo Sistemas de Ranking 2007-01: Experimentando com as Classificações
artigos Relacionados a partir de Shannon Appelcline Provações, Triunfos & Trivialidades:
#192: Gestão de utilizadores Criatividade, Parte de Um #193: Gestão de utilizadores Criatividade, Parte Dois #196: Escolha Coletiva: as Classificações, em Quem Você Confia?198: Collective Choice: More Thoughts About Ratings