Collective Choice:Rating Systemsでは、eBayの3ポイントスケールからRPGnetのダブル5ポイントスケール、BoardGame Geekの10ポイントスケールまで、様々な種類の評価スケールについて説明します。
さまざまな評価スケールのうち、5点スケールはおそらくインターネット上で最も一般的です。 あなたは私自身のRPGnetだけでなく、Amazon、Netflix、iTunesだけでなく、他の多くのサイトやサービスでもそれらを見つけることができます。 残念なことに、5点評価尺度は、その使用において多くの課題に直面しており、異なる研究は、この特定の方法論で異なる欠陥を示唆している。
まず、Amazonデータを使用したある調査では、多くの未確定の評価（評価者が選択した評価以外の追加情報を追加する必要がない場合）が二峰性分布を示 言い換えると、評価の分布は、評価が単一の高さ（例えば、3）の周りにクラスターする正規分布を提供するのではなく、二つの異なる数（例えば、1と5）の周りにクラスターする傾向があります。 したがって、これらの評価の中央値は、製品の品質を正確に反映したものではなく、相反する意見の声明です。
第二に、RPGnetデータを使用した私たち自身の研究では、多くの詳細な評価（評価者が追加情報を追加する場合、この場合は完全なレビュー）が正規分布を提供 例えば、RPGnetでは、この5点評価システムの90％が3以上で、平均は約4であることがわかりました。
Yahooのランディ-ファーマーは、この規模の制限は、エピソードのテレビサイトで見られるようなファンベースの評価のために特に面倒であることを示唆しています。
ショーのファンだけがエピソードを評価し、ファンであることは、エピソード一つまたは二つの星を評価することはありません。 私はこれが毎回同じ結果でネット上で何度も試みたのを見てきました：ショーの各エピソードは4つ星+/-です。5つ星。 これは、おそらくこの種のデータの最初のソースであるBabylon-5のwebサイトにまでさかのぼります。P>
（そして確かに、バビロン5の最初のシーズンからのテレビエピソードTKOは、ファンでさえ完全に凶悪なエピソードと考えられています。 しかし、それは6.1の10″公正な”評価を持っていますtv.com.)
したがって、二峰性分布が問題ではない場合でも、5点スケールでは、上向きバイアスはしばしば2または3の意味のあるデータ点のみになります。 これは、差別化を最小限に抑えるために問題があります。 多くの場合、評価のほとんどが3または4のいずれかである5つ星評価システムは、実際には親指アップ/親指ダウン評価システムよりも優れてい
しかし、5点スケールがおそらくここにとどまることを考えると、私たちはできる限りそれらを最大限に活用することを余儀なくされています。
まず、評価者にインセンティブを提供し、意味のある評価を提供する必要があります。 人がテキストを書くのに時間がかかり、彼の名前がそれに添付されることを知っているとき、彼は一般的に彼の評価でより良い仕事をします。 RPGnetの新しいXPシステムなど、他の可能なインセンティブ技術もあります。
次に、評価者にスケールの上半分だけでなく下半分も使用するよう奨励することによって、5点スケールがより意味のあるものになるための手段を提 これを達成する1つの方法は、このトピックに関する以前の記事で簡単に述べたように、評価を明確にし、「平均」評価が4ではなく2または3になるよ
既存の5ポイント評価尺度でこれらの目標の両方を達成する方法の例として、私はiTunesとAmazonの二つの人気のあるサービスで評価を使用して自分の経 インセンティブを自分自身に提供し、評価の私の使用を非常に独特にすることによって、私は自分自身のために、より意味のある、有用な出力を作
音楽評価-iTunes
AppleのiTunesソフトウェアは、0〜5つ星の評価で個々の曲を評価する機能を提供します。 IPodでiTunesを使用している場合は、iPodの曲の評価を変更することができ、その変更は次回iPodを同期するときにiTunesデータベースに反映されます。 より現代的なiPodで利用可能な「Shuffle Songs」機能には、より高い評価の曲をより頻繁に再生するオプションがあります。 非常に強力な機能、スマートプレイリストは、動的に評価に基づいて洗練されたプレイリストを作成することができます。 このすべては、iTunesで音楽を評価することを非常に便利にします。シャノンと私が評価システムの記事を書いた後、私は私のiTunesカタログの評価を調べました。
Alastairの素晴らしいXLST iTunes rating statisticsツールを使用して、iTunesで作成した評価が明らかに過度に高く偏っており、説明したパターンに一致していることがわかりました。 私は4つ星で評価されたあまりにも多くの曲を持っていたし、ほとんど何も1または2を評価し これは私の評価があまり有用になりました。
| iTunesライブラリからの統計は次のとおりです。4172トラック、412（10％）評価 | ||||||||||||||||||||||||||
| 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | /th> | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数 | 評価されたトラック数/td> | ||||||||
| 評価されたトラック4つ星： | 183 | 44 | 72 | 15 | -57 | |||||||||||||||||||||
| 評価されたトラック3つ星： | 183 | 44 | 72 | 15 | -57 | |||||||||||||||||||||
| 評価されたトラック3つ星: | ||||||||||||||||||||||||||
| 3 | 1 | 100 | ||||||||||||||||||||||||
だから、ここ数ヶ月で私は完全に私のitunesの評価を刷新しました。 私はユーザーインターフェイスを変更することはできませんので、私は自分の行動を変更しました。 私はまた、他の二つの分野を利用しています: 私は私の評価に多くの独自性を与えるために使用する”チェック”、そして私が最後まで何かを聞いたかどうかを示す”再生カウント”。私が使用した基準は次のとおりです。
Rated5-Exemplars
：私の最も好きな曲だけが5と評価されています。
Rated5-Exemplars： 彼らは次の基準を満たさなければなりません：彼らは私がそれらを聞く頻度に関係なく、私は通常、それらに飽きずに頻繁に聞くことができ、彼らは
Rated4-Great
：私の評価で4と5と評価されている曲の間には小さな違いがあります-通常、それは私を興奮させたり、私をかなり笑顔にさせたり、必ずしもそのジャンルの模範ではありません。 しかし、私はまだ一般的にそれらに飽きずに頻繁に聞くことができます。 4と5と評価されているアイテムは、私が私のiPod Shuffleに運ぶものです。
評価された4-偉大な（チェックされていない）
: 私は素晴らしいと考えている曲がいくつかありますが、私は彼らの気分になっているときにのみ演奏したい、または特定の順序でしか演奏したくな 例えば、私はLoreena McKennittの曲”The Highwayman”が大好きですが、それは10分以上の長さであり、私はそれの気分にならない限り、そのタイプの曲を聞きたくありません。 他の例は、ムソルグスキーの”展覧会での写真”を構成する12曲です-私はそれらを再生するときに順番に再生したい、と私は本当にそれらが私の他の曲の 残念ながら、iTunesはあなただけのチェックされていない項目を選択することはできませんので、私はこれらのためのスマートプレイリストを持ってい
評価された3-良い
：これらは私が好きな曲です。 通常、私は定期的にそれらを再生することができますが、あまりにも頻繁に 曲は私のiPod Nanoに行く3-5を評価しました。評価3-良い（チェックされていない）
：私は良いと思う音楽がたくさんありますが、私はすべての時間を再生したくありません。 私は映画のサウンドトラックの大規模なカタログを持っています。 これらのトラックのいくつかを除くすべてが、このカテゴリにあります。 繰り返しますが、iTunesでは、スマートプレイリスト内の未チェックの項目のみを選択することはできませんので、私はこれらの項目のためのいくつかの
評価2-Ok
:私は非常に多様な音楽の好みを持っています,ジャズから始まります,様々な民族や世界の音楽,また、ポップのかなりのビットを含む,ラップ,r&b,パンク,そして、私が楽しむメタル. 私はそれらをすべての時間を楽しんでいない-しかし、私は彼らが様々なためにたまにポップアップするのが好きです。 だから私はこれらの2を評価し、それらをチェックしたままにします。 私は長い旅行に取る古い40ギガバイトのiPodを持っており、それは私がチェックされ、2-5と評価されているすべてを格納します。
Rated2-Ok(Unchecked)
：いくつかの曲はOKですが、私は本当にその曲のために特別に気分にならなければなりません。 ジミー-ビュッフェの”Margaritaville”を聞くことは浜で不精な夏の日の罪がある喜びである場合もあるがそれは私が規則的に聞きたいと思う何かでない。 私はこのような定格の曲のための特別なプレイリストの数を持っています。
評価された1-好きではない
: これらは私が好きではない曲です。 彼らは私のスタイルではありません。 多くはまだ品質の音楽であり、彼らはちょうど私のために動作しません。 私は完全性のためにこれらのほとんどを保つん-それはちょうどアルバム上の一つまたは二つの曲かもしれない、と私はアルバムを完全に保ちたい。 または私は私の好みが変わった場合に備えてそれを保つ。 しかし、一般的には、何かがレート1つ星であれば、私はおそらく再びそれを聞くことはありませんよ。
Rated1-Trash(Unchecked)
:これらは私が好きではないだけでなく、彼らは良い音楽ではない曲です。:これらは私が好きではないだけでなく、曲です。:これらは私が好きではないだけでなく、彼らは良い音楽ではありません。 私はほとんどのラップ音楽が好きではないが、私はほとんどがまだ品質であることを伝えることができます。 いくつかはジャンクです-これらは私が1を評価し、チェックを外し、次回私のコレクションをパージするときに削除の候補です。P>
Unrated&Listened
,playcount>0：私は最後まで何かを聞いたが、まだそれを評価していない場合、それはこのスマートプレイリス 定期的に私は、このスマートプレイリストをチェックplaycountでソートし、私は一度以上に耳を傾けてきたすべてのものを評価しようとします。P>
Unrated&Unlistened,play count=0:これは、新しい曲が私のライブラリに追加されたときのデフォルトです。 だから、未評価、チェックされ、再生数が0の曲は、私の”Unrated&Unlistened”スマートプレイリストに表示されます。 私は様々な気分にいるとき、私はこのプレイリストとレートの曲を通過します。
このように私の評価システムを変更すると、音楽の平均評価が約4から2と3の間のどこかに変更されました。 私は私のコレクションの多くを評価するように、それはおそらく、時間をかけて、2に近づくだろう。 私は私のためによく働くスマートプレイリストを作成できるように、これは私に独自性の多くを与えます。
| iTunesライブラリからの統計は次のとおりです。6519トラック、726（11％）評価 | ||||||||||||||||||||||||||
| 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | 評価の累積％ | /th> | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 数字 | 評価の% | 実際 | ターゲット | 不足分 | ||||||||||||||||||||||
| 評価されたトラック5つ星: | 74 | 10 | 10 | 5 | -5 | |||||||||||||||||||||
| Tracks rated 4 stars: | 144 | 20 | 30 | 15 | -15 | |||||||||||||||||||||
| Tracks rated 3 stars: | 211 | 29 | 59 | 50 | -9 | |||||||||||||||||||||
| Tracks rated 2 stars: | 270 | 37 | 96 | 90 | -6 | |||||||||||||||||||||
| Tracks rated 1 stars: | 27 | 4 | 100 | |||||||||||||||||||||||
明らかに大規模な音楽コレクションを評価することは雑用になることができます-あなたは常に微 だから私はそれが簡単に私は少ない労力で私の音楽を評価するために作るいくつかのアプローチを持っています：
-
まず、私は私の古い評価で私のカ これは私に
-
次に、各評価のスマートプレイリスト、すなわち”Rating5-Exemplar”を作成し、”チェックされた曲だけに一致する”と”ライブ更新”をチェッ 次に、ビューの列として「再生回数」を追加し、それでソートしました。 これは私に私が最も少なく演奏曲を与え、私はそれに応じて上下にいくつかの曲を調整しました。 -
次に、リストをランダムで選択された最初の100GB（つまり、すべてランダム）に制限して、3〜5の曲を単純に再生する新しいスマートプレイリストを作成し、このスマートプレイリストを「他の人とうまく遊ぶ」として保存しました。 私はバックグラウンドで機会にこれを再生し、私は私を瓶何かを聞くとき、私は何かが右の評価されていない知っています。 このように多くの努力なしで、私はもはや彼らの評価に合わない曲の評価を変更したり、評価が適切だったが、それは”他の人とうまく再生されなかった”私は曲の評価が何であるかの私のiPodを使用しているときに注意してみて、それが間違っていると思われる場合は、それを変更してください。 -
私はiPodを同期次回は、私の評価は私のiTunesのカタログで調整されます。私はまた、再生数を認識しようとします-この数は、あなたが最後まで曲を再生する場合にのみ上がります。 だから私は（私が車にいるときなど）評価を見てみることができないよ場合でも、私は、少なくとも次の曲に転送することができます。 定期的に私は私が評価してきた曲の再生数を確認し、それに応じて上下にそれらを移動することを検討してください。 もちろん、これは私が注意しなければならないことを意味し、私が聞いていないときにiPodを走らせないようにしなければなりません。
あなたのiTunesの評価に多くの努力を置くあなたのそれらのためのヒント：私はほとんどの曲情報とは異なり、評価が曲自体に保存されていない これを回避する1つの方法は、定期的に曲自体に保存されているフィールドにあなたの評価をバックアップすることです。 それはめったに使用されないように私は個人的に”グループ化”フィールドを使用し、同じ評価ですべての曲を選択し、”情報を見る”をクリックし、”私の評価：5つ星”私はこれまでのところ私のコレクションの11％しか評価していませんが、このシステムを使用すると、私の評価を管理する方がはるかに簡単です。
私はすでにそれから多くの利点を得ている-私はより頻繁に私の音楽を演奏している、私のipodは、通常、私はそれらにしたい音楽を持っており、様々な音楽 これは私が意味のある評価に入ることを保つために刺激を提供する。
Book Ratings-Amazon
Amazonは5つ星の評価システムも使用しており、あなたの評価はAmazonがあなたが好きな本を見つけるのを助けるために使用するこ 私は私の地元の書店をサポートするのが好きですが、それは何度もAmazonに戻って私をもたらすこの機能です。 私はアマゾンを閲覧し、私はすでに読んだ本を見るたびに、私は私の評価を更新するために時間を取るしようとします。Amazonはあなたの評価であなたを支援するためのさまざまなツールの数を持っています。
あなたがAmazonの顧客であれば、あなたはあなたの推奨事項を改善するために行くことができます: あなたが所有している項目を編集し、購入したすべての本を見て、すぐに素敵なAJAXインターフェイスでそれらを評価します。 また、自分が所有しているかどうかにかかわらず、”おすすめの改善:評価したアイテムの編集”で、既に評価したアイテムを確認することもできます。
Amazonは最近、書籍、音楽、dvdのメディアライブラリの管理に役立つメディアライブラリと呼ばれる非常に優れたwebサー 私は個人的に唯一の私の本やdvdを管理するためにそれを使用している、私は役に立たない評価のアルバムを見つけるように-それは私が評価すること
これまでの私の評価を閲覧した後、私はiTunesを見つけたのと同じ欠陥を発見しました-私の評価は一般的に高すぎました;ほとんどは4でした。 これは、カーソルが星の上にあるときにポップアップによって特に奨励されます”1-私はそれを憎む、2-私はそれを好きではない、3-それはOkです、4-私はそれを好き、5-私はそれを愛しています”。 私は2つ星の評価を作るiTunesのために使用するのと同じトリックを使用する場合、私は潜在的に推奨エンジンがあまり効果的ではない可能性があ だから私は私の評価ではるかに残忍であり、3にもっと多くを押し下げているので、4と5の私の評価はより多くの意味を持っています。
5つ星
：これらは模範でなければなりません-私が今まで読んだ中で最高の本は、再び読んで喜んでいるだろう、私の最高の本棚
4つ星
：これらは本当に良い本でなければなりません-それらのほとんどは、私は再び読んで喜んでだと私は私のより差別的な友人 私は私の本棚にそれらを保つことができるが、私はむしろ友人にそれらを与え、古本屋でそれらを販売したいと思います。p>
3つ星
：これらは本がまともな本であり、私は私の貪欲な読者の友人とそれらを共有しています。 しかし、私はそれらをプッシュしないと私ははるかに可能性が高い中古書店でそれらを販売し、私の棚の上にそれらを維持しています。 これは私が以前にかなり過小評価していた評価であり、私はこれまでのところ私にとって重要な差別者は、読者を差別している友人にこれを推薦す
2つ星
：この評価は、Amazonの評価システムが最も失敗した場所です-これらは”私は好きではない”本であることを前提としていますが、ほとんどの時間は、私はおそらく好きではないだろう本を購入しない、はるかに少ないそれらを読んでいるので、私はこのカテゴリには非常に少数を持っています。 しかし、私はこのカテゴリが十分ではない、または少し残念な本のためのものであると判断しました。 悪くない、または嫌われていますが、やや残念です。p>
1つの星
: これは私が私が好まない、またはより悪い、私が憎む本を置くところである。 ここでは多くはありませんが、私はより多くの人々を危険にさらして喜んでいるので、私はいくつかを持っています。 また本は私があるクロスオーバーの想像ロマンスの著者を好むので私に推薦されて得るロマンスの小説のようなちょうど私の興味に合わないこ私はAmazonで私の本をより正確に評価し始めたので、私は他の本のための彼らの提案がより正確であることを読んでいることがわかりました。
したがって、私はこれらの本を評価することから価値を得ており、私は努力を続けていくインセンティブを持っています。
結論
人々が評価するインセンティブを提供することは、あらゆる種類の評価にとって重要であり、個々の利益と地位の認識の両方が強力な動しかし、5点評価尺度をより有用にするための最も簡単な手法は、それを”明確”にすることです。 ユーザーが各評価に対してより具体的な意味を持っている場合、評価はより真の平均に向かってゆっくりと定着するため、各評価尺度のより多くが使 私たちはまた、私たちの新しいゲームインデックスで、最近RPGnetでこの技術を試してみました; そして、これまでのところ、私たちの新しい10ポイントスケール-各数のための明確な意味を持っている-7.27を平均化しています。 それはまだ5.5の実際の平均を上回るかなりの量ですが、少なくとも8+私たちの古いダブル5ポイントスケールがもたらした評価を下回っています。
多くの場合、あなたは、評価システムの消費者として、あなた自身を設計しているものではなく、他の人が設計した評価尺度を利用することになり そのような場合には、各数値が何を意味するのかについて独自のルールを設計し、中央値が極端なものに向かってではなく、尺度の平均になるように あなたが行うとき、あなたはタイトな5点スケールを使用している場合でも、あなたはそれが実際に親指アップまたは親指ダウンよりも意味のあるp>
このブログの関連記事：
2005-12：集団選択のためのシステム 2005-12：集団選択：評価システム 2006-01：集団選択: 競争力のあるランキングシステム 2007-01：評価を試してみる
シャノン-アペルクラインの試練、勝利からの関連記事&Trivialities：
#192：ユーザーの創造性の管理、パートone #193：ユーザーの創造性を管理する、パート2 #196：集団選択：評価、あなたは誰を信頼していますか？ #198:集合的な選択:評価についてのより多くの考え