ランキングを作るという事

NHKのBSで放送された、アニメランキングの結果について、物議を醸しているようですね。

www.nhk.or.jp

私はこの種のランキング番組やその結果に余り関心が無くて、twitter上などでリアルタイムで話題になっていても特に追っていなかったのですが、こういうランキングでは、結果に物言いがついて議論になる場合を結構見ますし、人気や知名度を測るという観点からは興味深い対象ですので、今更ですが、ちょっと考えてみます。

どのように集計を取るかというのは、これはもうコンセプト次第と言えます。どういう人々の意見を反映させたいか。ですから、その設定によって、適切な指標は、DVDやBDソフトの売上となる場合もあるでしょうし、アンケートの投票結果のほうが良い場合もあるでしょう。
当該番組の場合は、WEBページ（検索 | 日本アニメ100 | NHK）に、検索ページが設定してあり、そこから投票出来るという形式です。よって、いわゆる商業的成功とは異なる結果が反映される事が推察されます。

投票形式を見ると、1日に3作品（同一作品は無効）の投票が可能です。との事で（検索 | 日本アニメ100 | NHK　※Wayback Machine）、日を跨げば、同じ人が同作品に、複数回投票する事が可能であったようです。ここから、この投票形式だと、次のような人々の投票に重み付けされる傾向が発生する可能性を考える事が出来ます。

番組の存在を知っている
WEBページで投票出来る事を知っている
複数回投票出来る事を認識している
複数回投票する手間を惜しまない
好みの作品を上位にしようとする動機づけがある

つまり、このような人々の意見が強く反映されるランキングになる可能性がある、という事です。
投票は、検索ページと兼ねられていて、10,000タイトル中、年代など色々の条件から検索して、ヒットした作品に投票する、という形式ですが（この検索ページは良く出来ていると思います）、そこで検索する人は、沢山の作品を知っていて選びかねている人かも知れません。逆に、そこまで知らないので取り敢えず自分の年代に近いものを調べよう、という場合もあるでしょう（強い関心を持っていない人がそういう手間を割くか、という所で、何らかの傾向が生まれるやも知れません）。そういう人よりも、初めから明確に好きな作品を持っている人のほうが投票しやすい、のもあるでしょう。

これは、良し悪しの問題では無く、単にそういう傾向になるであろう、という推測であって、その結果が妥当であったかの判断は、どのようなものを結果に反映させたいか、というコンセプト次第です。

このランキングに納得の行かない意見としては、いわゆる知名度、つまり、より広くの人に知られているかどうか、というのを重視する向きもあるようです。もしそういう所を反映させたいのであれば、今回の番組の集計方法は、適切では無いでしょう。まず、番組の存在を知っていて、更にWEB投票までする、という条件が必要ですので、その時点で、それが出来なかった人の意見が反映されなくなります。たとえば、私はアニメが好きで、よく観ますが（TOP50中36タイトルを観ています）、番組の存在を知ったのは、放送当日です。

もし、なるべく広い対象からまんべんなく意見を収集して、それを反映させたランキングを作りたいとすれば、次のような方法が考えられます。

WEB投票では無く、意見を採りに行く
対象は、アニメへの関心の度合いが影響しないように、全く同じ確率で対象が選ばれるように選ぶ
年代による人数の割合が影響しないように、各年代の人数を揃えるなどする
性別による傾向があると推測出来る場合には、性別の人数を揃えるなどする
質問の仕方は、出来るだけシンプルで、かつ明確にする

たとえばこのようにすれば、広い世代の意見がより反映されたらランキングが出来るでしょう。
しかし、これはあくまで、理想的に出来た場合であって、実際には、コストの問題があります。そもそも、WEB投票形式にしているのは、WEBページを設置して、希望者が投票していくようにしておけば、コストが低く抑えられる、という面もあるでしょう。これを、調査者が意見を採りに行く方式にすると、

知りたい対象全体の名簿（枠や台帳と言います）を用意する
名簿を構成する要素それぞれが、等しい確率で選ばれるようにする
選ばれた要素から、電話やメール、郵送などで意見を採る

このような作業が必要になり、膨大なコストがかかります。名簿の所は、電話番号を確率的に収集して電話をかける、などの、コストを抑えた方法もありますが、それでも、WEB投票方式に較べれば、コスト大でしょう。
ですのでこういうやり方は、社会的に大きな意義がある場合に、大きな費用を割いておこなわれます。たとえば、世論調査がそれに当たります。
その観点から言えば、一テレビ番組でアニメランキングを作成するのにそんなにコストをかけるのか、という話になります（かける意義が無いから当該の方法になっているのでしょう）。

このように、どのようにランキングを作るか、は、コンセプト次第です。ですから、やる側としては、どのようなコンセプトのもとでどのように集計するかを、きちんと明らかにしておくのが肝腎であると言えます。そうしておけば、このコンセプトのランキングには関心は無いな、とか、これはこれで面白い、などと、見る側も判断出来ます。そこを曖昧にして、ランキングの題や説明に、より一般的な文を使ったりすると、反発を受けるやも知れません。たとえば、人気アニメの頂点が決まる！、国民的アニメランキング決定！　みたいな。

何らかのランキングがある場合、これまで見てきたような事を念頭に置いておけば、冷静に評価出来ると思います。WEB投票方式に積極的に参加する人の意見が強く反映されるランキングなのだ、という観点からは、そういうラインナップになるのかもな、と見る事が出来るかも知れませんし、NHKが放送する番組でランキングを作るのだから、他のやり方は無かったのか、という見方をする人もいるでしょう。

───────────────────────────────

ここからは完全に余談。

私が好きなアニメ↓