Life With Alacrity

în Collective Choice: sisteme de Rating discut scale de rating de diferite tipuri, de la scala eBay de 3 puncte La Scala dublă de 5 puncte a RPGnet și scala de 10 puncte a boardgame Geek.

dintre diferitele scale de evaluare, scalele în 5 puncte sunt probabil cele mai frecvente pe Internet. Le puteți găsi nu doar în propriul meu RPGnet, ci și pe Amazon, Netflix și iTunes, precum și multe alte site-uri și servicii. Din păcate, scalele de evaluare în 5 puncte se confruntă, de asemenea, cu multe provocări în utilizarea lor, iar diferite studii sugerează diferite defecte cu această metodologie specială.

În primul rând, un studiu care utilizează date Amazon a arătat că multe evaluări nedetaliate (în care evaluatorul nu este obligat să adauge alte informații suplimentare decât ratingul pe care îl selectează) arată o distribuție bimodală. Cu alte cuvinte, distribuția ratingurilor tinde să se grupeze în jurul a două numere diferite (de exemplu, 1 și 5), mai degrabă decât să ofere o distribuție normală în care ratingurile se grupează în jurul unei singure înălțimi (de exemplu, 3). Astfel, mediana acestor evaluări nu este o reflectare exactă a calității produselor, ci este o declarație de opinii contradictorii.în al doilea rând, propriul nostru studiu folosind date RPGnet a arătat că multe evaluări detaliate (în cazul în care evaluatorul adaugă informații suplimentare, în acest caz o revizuire completă) oferă distribuții normale, totuși este părtinitoare spre capătul înalt al scalei. Pe RPGnet, de exemplu, am descoperit că 90% din acest sistem de rating de 5 puncte a fost de 3 sau mai mare, cu o medie în jur de 4.

Randy Farmer de la Yahoo sugerează că această limitare a scării este deosebit de supărătoare pentru evaluările bazate pe fani, cum ar fi cele găsite pe site-urile TV episodice:

doar fanii unui spectacol evaluează episoadele și, fiind fani, nu vor evalua niciodată un episod cu una sau două stele. Am văzut această încercare de peste si peste pe net cu aceleași rezultate de fiecare dată: fiecare episod al unui spectacol este de 4 stele+/ -.5 stele. Acest lucru merge tot drumul înapoi la Babylon-5 site-ul, probabil, prima sursă pentru acest tip de date.

(și într-adevăr, episodul TV TKO, din primul sezon al Babylon 5, este considerat un episod cu totul atroce chiar și de fani. Cu toate acestea, are un rating 6.1 de 10 „echitabil” pe tv.com.)

astfel, chiar și atunci când o distribuție bimodală nu este o problemă, pe o scară de 5 puncte tendința ascendentă duce adesea la doar 2 sau 3 puncte de date semnificative. Acest lucru este problematic, deoarece minimizează diferențierea. În multe cazuri, un sistem de rating de 5 stele în care majoritatea ratingurilor sunt fie 3, fie 4 nu este de fapt mai bun decât doar un sistem de rating thumbs-up/thumbs-down.

cu toate acestea, având în vedere că scalele de 5 puncte sunt probabil aici pentru a rămâne, suntem obligați să le folosim cât mai bine.

În primul rând, trebuie să oferim evaluatorilor stimulente, astfel încât să ofere ratinguri semnificative. Am văzut deja că acest lucru se poate face solicitând evaluări detaliate: atunci când o persoană își face timp să scrie text și știe că numele său îi va fi atașat, în general face o treabă mai bună în ratingul său. Există și alte tehnici posibile de stimulare, cum ar fi noul sistem XP al RPGnet.în al doilea rând, trebuie să oferim mijloace pentru ca o scară de 5 puncte să devină mai semnificativă, încurajând evaluatorii să folosească nu doar jumătatea superioară a scalei, ci și jumătatea inferioară. O metodă pentru a realiza acest lucru este de a face evaluări distincte-așa cum am menționat Pe scurt în articolul meu anterior pe acest subiect-și să încurajeze standardele, astfel încât un rating „mediu” este 2 sau 3, nu 4.

ca un exemplu de modul de a realiza ambele aceste obiective cu scale de rating de 5 puncte deja existente, am detaliat propriile mele experiențe cu utilizarea evaluări pe două servicii populare-iTunes și Amazon. Oferindu-mi stimulente și făcând utilizarea ratingurilor foarte distinctivă, am creat o ieșire mai semnificativă și mai utilă pentru mine.

Music Ratings – iTunes

software-ul Apple iTunes vă oferă posibilitatea de a evalua melodii individuale cu un rating de 0-5 Stele. Dacă utilizați iTunes cu un iPod, puteți modifica evaluarea unei melodii de pe iPod, iar modificarea va fi reflectată în baza de date iTunes data viitoare când vă sincronizați iPod-ul. Funcția” Shuffle Songs ” disponibilă pe iPod-uri mai moderne are opțiunea de a reda mai des melodii cu ratinguri mai mari. O caracteristică foarte puternică, listele de redare inteligente, poate crea dinamic liste de redare sofisticate bazate pe evaluări. Toate acestea fac ca muzica de rating pe iTunes să fie foarte utilă.

după ce Shannon și cu mine am scris articolul nostru despre sistemele de Rating, am examinat evaluările din catalogul meu iTunes. Folosind fabulosul instrument Alastair xlst iTunes rating statistics, am descoperit că evaluările pe care le-am creat în iTunes erau în mod clar părtinitoare prea mari, potrivindu-se modelului pe care l-am descris. Am avut prea multe melodii evaluat cu 4 stele, și aproape nimic evaluat 1 sau 2. Acest lucru a făcut ca evaluările mele să fie mai puțin utile.

iată câteva statistici din biblioteca iTunes: 4172 piese, 412 (10%) evaluat
			% cumulat din nominal
	număr	% din nominal	real	țintă	deficit
piese cu 5 stele:	112	27	27	5	-22
piese evaluat 4 stele:	183	44	72	15	-57
piese evaluat 3 stele:	92	22	94	50	-44
piese cu 2 stele:	22	5	99	90	-9
piese evaluat 1 Stele:	3	1	100

deci, în ultimele câteva luni am complet revamped meu iTunes evaluări. Din moment ce nu pot schimba interfața cu utilizatorul, mi-am schimbat comportamentul. Sunt, de asemenea, profitând de alte două domenii: „verificat „pe care îl folosesc pentru a da mai multă distincție ratingurilor mele și” play count ” care arată dacă am ascultat sau nu ceva până la sfârșit.

iată criteriile pe care le – am folosit:

evaluat cu 5 exemplare: doar melodiile mele cele mai preferate sunt evaluate cu 5. Trebuie să îndeplinească următoarele criterii: mă fac să mă simt bine sau mă excită indiferent cât de des îi ascult, de obicei îi pot asculta des fără să mă obosesc de ei și sunt cei mai buni din genul lor particular.

Rated 4 – Great: există doar o mică diferență între o melodie care este evaluată cu 4 și 5 în evaluările mele-de obicei nu mă excită sau mă face să zâmbesc la fel de mult sau nu este neapărat un exemplu al genului său. Cu toate acestea, încă mai pot asculta de multe ori fără să mă obosesc de ele. Elementele care sunt evaluate 4 și 5 sunt cele pe care le port pe iPod Shuffle.

evaluat 4-Mare (necontrolat) : Există câteva melodii pe care le consider grozave, dar pe care vreau să le cânt doar atunci când am chef de ele sau vreau să cânt doar într-o anumită ordine sau „nu se joacă bine” cu altă muzică. De exemplu, îmi place piesa „The Highwayman” de Loreena McKennitt, in orice caz, este de peste 10 minute lungi și eu doar nu vreau să aud acest tip de cântec dacă nu sunt în starea de spirit pentru ea. Alte exemple sunt cele 12 melodii care alcătuiesc „Pictures at an Exhibition” de Mussorgsky — vreau să fie cântate în ordine când le cânt, și chiar nu vreau să fie cântate în mijlocul celorlalte cântece ale mele. Din păcate, iTunes nu vă permite să selectați doar articole necontrolate, așa că nu am o listă de redare inteligentă pentru acestea; în schimb, le păstrez într-o listă de redare obișnuită.

evaluat 3 – Bun: acestea sunt melodii care îmi plac. De obicei le pot juca în mod regulat, dar nu prea des. Melodii evaluat 3-5 merge pe iPod-ul meu Nano.

evaluat 3 – Bun (necontrolat): există o mulțime de muzică care cred că este bună, dar nu vreau să cânt tot timpul. Am un catalog mare de piese sonore din filme. Toate, dar câteva dintre aceste piese sunt în această categorie. Din nou, iTunes nu vă permite să selectați doar articole necontrolate într-o listă de redare inteligentă, așa că am mai multe liste de redare obișnuite pentru aceste articole.

evaluat 2 – Ok: am gusturi muzicale foarte diverse, începând cu jazz, diverse muzică etnică și mondială și, de asemenea, incluzând destul de mult pop, rap, R&B, punk și metal care îmi plac. Nu mă bucur de ele tot timpul-dar îmi place să apară din când în când pentru varietate. Așa că evaluez aceste 2 și le las verificate. Am un iPod vechi de 40 GB pe care îl iau în călătorii lungi și stochează tot ce am verificat și evaluat 2-5.

evaluat 2 – Ok (debifat): unele melodii Sunt OK, dar chiar trebuie să am chef special pentru acea melodie. Ascultarea lui Jimmy Buffet „Margaritaville” poate fi o plăcere vinovată într-o zi leneșă de vară la plajă, dar nu este ceva ce vreau să ascult în mod regulat. Am o serie de liste de redare speciale pentru melodii evaluate astfel.

evaluat 1-nu-mi place : Acestea sunt cântecele care nu-mi plac. Nu sunt stilul meu. Mulți sunt încă muzică de calitate, pur și simplu nu funcționează pentru mine. Păstrez cele mai multe dintre acestea pentru completitudine-ar putea fi doar una sau două melodii de pe album și vreau să păstrez albumul complet. Sau o păstrez în caz că gusturile mele se schimbă. Dar, în general, odată ce ceva este rata de 1 stea, probabil că nu voi asculta din nou.

evaluat 1-Trash (necontrolat): acestea sunt melodii care nu numai că nu-mi plac, ci doar nu sunt muzică bună. Nu-mi place muzica rap, dar pot spune că majoritatea sunt încă de calitate. Unele sunt junk-acestea am rata 1 și debifați, și sunt candidați pentru ștergerea data viitoare când am purge colecția mea.

Neevaluat& ascultat, playcount> 0: dacă am ascultat ceva până la sfârșit, dar nu l-am evaluat încă, apare în această listă de redare inteligentă. Periodic verific această listă de redare inteligentă, sortez după playcount și încerc să evaluez tot ce am ascultat de mai multe ori.

Neevaluat& Nelistat, redare count=0: Aceasta este valoarea implicită atunci când o melodie nouă este adăugată la biblioteca mea. Deci, orice melodie care este NeEvaluată, bifată și are un număr de redare de 0 apare în lista mea De redare inteligentă „Neevaluată & nelistată”. Când am chef de varietate, trec prin această listă de redare și evaluez melodiile.

modificarea sistemului meu de rating în acest fel a făcut ca evaluarea mea medie pentru muzică să se schimbe de la aproximativ 4 la undeva între 2 și 3. Probabil că, în timp, va deveni mai aproape de 2 pe măsură ce evaluez mai mult din colecția mea. Acest lucru îmi oferă o mulțime de distinctivitate, astfel încât să pot crea liste de redare inteligente care funcționează bine pentru mine.

iată câteva statistici din biblioteca iTunes: 6519 piese, 726 (11%) evaluat
			% cumulat din nominal
	număr	% din nominal	real	țintă	deficit
piese cu 5 stele:	74	10	10	5	-5
Tracks rated 4 stars:	144	20	30	15	-15
Tracks rated 3 stars:	211	29	59	50	-9
Tracks rated 2 stars:	270	37	96	90	-6
Tracks rated 1 stars:	27	4	100

evident, evaluarea unei colecții mari de muzică poate deveni o corvoadă-nu doriți să vă petreceți timpul limitat de ascultare a muzicii, reglând întotdeauna evaluările. Așa că am câteva abordări care îmi fac mai ușor să-mi evaluez muzica cu mai puțin efort:

• În primul rând, mi-am sortat catalogul după vechile mele evaluări și am modificat totul cu 1, Începând cu tot ce a evaluat 2 devenind 1, 3 devenind 2 etc. Acest lucru mi – a dat o bază bună pentru a începe cu

• apoi am creat liste de redare inteligente pentru fiecare evaluare, adică „Rating 5-Exemplar” cu „Match only checked songs” și „Live Update” verificat. Apoi am adăugat „Play Count” ca o coloană la punctul meu de vedere, și sortate după ea. Acest lucru mi-a dat melodiile pe care le-am jucat cel mai mult și cel mai puțin și am ajustat câteva melodii în sus și în jos în consecință.

• apoi am creat o nouă listă de redare inteligentă care redă pur și simplu melodii clasificate de la 3 la 5, limitând lista la primele 100 GB selectate aleatoriu (adică totul aleatoriu) și am salvat această listă de redare inteligentă ca „joacă bine cu ceilalți”. Am juca acest lucru pe ocazie în fundal, și când am auzit ceva care borcane mine știu ceva nu este evaluat corect. Astfel, fără o mulțime de efort pot schimba rating pentru melodii care nu se mai potrivesc rating-ul lor, sau debifați elementele în cazul în care rating-ul a fost adecvat, dar „nu a jucat bine cu alții”.

• încerc să fiu conștient când folosesc iPod-ul meu de ceea ce este o evaluare a melodiilor și să o schimb dacă pare greșit. Data viitoare când sincronizez iPod-ul, evaluările mele vor fi ajustate în catalogul meu iTunes.

• de asemenea, încerc să fiu conștient de numărul de redare-acest număr crește doar dacă redați o melodie până la sfârșit. Deci, chiar dacă eu nu sunt în măsură să ia o privire la rating (de exemplu, atunci când sunt într-o mașină), eu pot cel puțin transmite la melodia următoare. Periodic revizuiesc numărul de piese pentru melodiile pe care le-am evaluat și iau în considerare mutarea lor în sus și în jos în consecință. Desigur, asta înseamnă că trebuie să fiu atent și să nu las iPod-ul să ruleze în continuare când nu ascult.

un sfat pentru cei dintre voi care pun mult efort în evaluările dvs. iTunes: am învățat greu că, spre deosebire de majoritatea informațiilor despre melodii, ratingul nu este stocat în melodia în sine, deci dacă baza de date iTunes este coruptă sau mutați muzica pe un alt server, veți pierde toate evaluările. O modalitate de a evita acest lucru este să faceți periodic backup pentru evaluările dvs. într-un câmp care este stocat în melodia în sine. Personal folosesc câmpul” grupare”, deoarece este rar folosit, selectez toate melodiile cu același rating și fac clic pe” Obțineți informații „și schimb câmpul de grupare în”evaluarea mea: 5 stele”.

am doar 11% din colecția mea evaluată până acum, dar folosind acest sistem mi se pare mult mai ușor să-mi gestionez evaluările. Primesc deja multe beneficii de la ea-îmi cânt muzica mai des, iPod-urile mele au de obicei muzica pe care o vreau pe ele și diverse servicii de descoperire a muzicii pot folosi evaluările mele pentru a mă ajuta să identific muzica nouă de care s-ar putea să mă bucur. Acest lucru oferă motivația de a mă menține să intru în ratinguri semnificative.

Book Ratings – Amazon

Amazon folosește, de asemenea, un sistem de rating de 5 stele, iar evaluările dvs. pot fi utilizate de Amazon pentru a vă ajuta să găsiți cărți care v-ar putea plăcea. Deși îmi place să susțin librăriile mele locale, Această caracteristică mă aduce înapoi la Amazon din când în când. Ori de câte ori navighez prin Amazon și văd o carte pe care am citit-o deja, încerc să-mi fac timp să-mi actualizez ratingul.

Amazon are o serie de instrumente diferite pentru a vă ajuta în evaluările dvs. Dacă sunteți client Amazon, puteți merge să vă îmbunătățiți recomandările: Editați elementele pe care le dețineți și vedeți toate cărțile pe care le-ați achiziționat și le evaluați rapid cu o interfață AJAX frumoasă. De asemenea, puteți examina elementele pe care le-ați evaluat deja, indiferent dacă le dețineți sau nu, la îmbunătățiți recomandările: editați elementele pe care le-ați evaluat.

Amazon a adăugat, de asemenea, recent un serviciu web foarte frumos numit biblioteca dvs. Media, care poate fi folosit pentru a vă ajuta să gestionați biblioteca media de cărți, muzică și DVD-uri. Eu personal l-am folosit doar pentru a-mi gestiona cărțile și DVD-urile, deoarece consider că albumele de rating sunt inutile-sunt melodii pe care prefer să le evaluez.

după ce am navigat prin evaluările mele până în prezent, am descoperit aceleași defecte pe care le-am găsit iTunes-evaluările mele erau de obicei prea mari; majoritatea erau un 4. Acest lucru este încurajat în special de fereastra pop – up atunci când cursorul dvs. este peste Stele „1 – urăsc, 2 – nu – mi place, 3 – este în regulă, 4-îmi place și 5-îmi place”. Bănuiesc că dacă folosesc același truc pe care îl folosesc pentru iTunes de a face un rating de 2 stele înseamnă „Ok”, aș putea determina motorul de recomandare să fie mai puțin eficient (deși ar putea face mai bine, nu știu). Așa că sunt mult mai brutal cu ratingurile mele și împingând multe altele până la 3, astfel încât ratingurile mele de 4 și 5 să aibă mai multă semnificație.

5 stele: acestea trebuie să fie exemplarele-cele mai bune cărți pe care le-am citit vreodată, aș fi bucuros să le citesc din nou, aș fi mândru să mă prezint pe cel mai bun raft al meu și voi cumpăra copii suplimentare pentru a le oferi prietenilor.

4 stele : acestea trebuie să fie cărți foarte bune-majoritatea sunt dispus să le citesc din nou și le promovez oferindu-le să le împrumut prietenilor mei mai discriminatori. Deși le pot păstra pe raftul meu de cărți, aș prefera să le dau unui prieten, apoi să le vând la un magazin de cărți folosit.

3 Stele : acestea sunt cărți sunt Cărți decente, și eu le împărtășesc cu prietenii mei cititor vorace. Dar nu le împing și sunt mult mai probabil să le vând la o librărie uzată, apoi să le păstrez pe raftul meu. Acesta este ratingul pe care l-am subutilizat în mod semnificativ anterior și constat că discriminatorul cheie pentru mine până acum este cât de mult simt că recomand acest lucru prietenilor care sunt cititori mai discriminatori.

2 Stele : acest rating este locul în care sistemul de rating Amazon eșuează cel mai mult-acestea sunt suppost să fie cărți care” nu-mi plac”, cu toate acestea, de cele mai multe ori nu cumpăr cărți care probabil nu mi-ar plăcea, cu atât mai puțin le citesc, așa că am foarte puține în această categorie. Cu toate acestea, am decis că această categorie este pentru cărți care nu sunt suficient de bune sau sunt ușor dezamăgitoare. Nu este rău sau nu-i place, ci doar oarecum dezamăgitor.

1 Stele : Aici pun cărțile care nu-mi plac sau, mai rău, urăsc. Nu sunt mulți aici, dar sunt dispus să risc mai mult decât mulți oameni sunt așa că am ceva. De asemenea, merg aici cărți care pur și simplu nu se potrivesc interesului meu, cum ar fi romanele de dragoste care mi se recomandă pentru că îmi plac unii autori încrucișați de Fantezie-Romantism.

De când am început să-mi evaluez mai exact cărțile la Amazon, am constatat că sugestiile lor pentru alte cărți de citit sunt mai precise. Astfel, eu sunt obtinerea de valoare de rating aceste cărți, și am stimulent pentru a continua să facă efortul.

concluzie

oferirea unui stimulent pentru ca oamenii să evalueze este importantă pentru evaluări de tot felul, atât câștigul individual, cât și recunoașterea statutului fiind motivatori puternici.cu toate acestea, cea mai ușoară tehnică pentru a face o scară de rating de 5 puncte mai utilă este de a o face „distinctă”. Dacă un utilizator are o semnificație mai specifică pentru fiecare evaluare, evaluările se vor situa încet spre o medie mai adevărată și, astfel, vor fi utilizate mai multe din fiecare scară de evaluare. De asemenea, am încercat această tehnică recent pe RPGnet, cu noul nostru Index de jocuri; și până acum noua noastră scară de 10 puncte – care are semnificații distincte pentru fiecare număr – are o medie de 7,27. Aceasta este încă o sumă echitabilă peste media reală a 5.5, dar cel puțin este sub ratingul 8+ pe care a rezultat vechea noastră scară dublă de 5 puncte.

de multe ori, ca un consumator de sisteme de rating, va fi utilizarea de scale de rating concepute de alții, mai degrabă decât cele pe care le proiectarea-te. Pentru aceste cazuri, este adesea logic să vă proiectați propriile reguli pentru ceea ce înseamnă fiecare număr și să faceți acest lucru în așa fel încât mediana dvs. să fie Media scalei, mai degrabă decât spre una dintre extreme. Când o faceți, chiar dacă utilizați o scară strânsă de 5 puncte, veți ajunge la o diferențiere suficientă pentru ca aceasta să fie de fapt mai semnificativă decât degetele mari în sus sau în jos.

articole similare de pe acest blog:

2005-12: sisteme de alegere colectivă

2005-12: alegere colectivă: sisteme de Rating

2006-01: alegere colectivă: Sisteme de clasificare competitivă

2007-01: experimentarea cu evaluări

Articole înrudite din studiile lui Shannon Appelcline, triumfuri & trivialități:

#192: gestionarea creativității utilizatorilor, partea întâi

#193: gestionarea creativității utilizatorilor, partea a doua

#196: alegere colectivă: evaluări, în cine ai încredere?

#198: alegere colectivă: mai multe gânduri despre evaluări