ランキングを作るという事

NHKのBSで放送された、アニメランキングの結果について、物議を醸しているようですね。

www.nhk.or.jp

私はこの種のランキング番組やその結果に余り関心が無くて、twitter上などでリアルタイムで話題になっていても特に追っていなかったのですが、こういうランキングでは、結果に物言いがついて議論になる場合を結構見ますし、人気や知名度を測るという観点からは興味深い対象ですので、今更ですが、ちょっと考えてみます。

どのように集計を取るかというのは、これはもうコンセプト次第と言えます。どういう人々の意見を反映させたいか。ですから、その設定によって、適切な指標は、DVDやBDソフトの売上となる場合もあるでしょうし、アンケートの投票結果のほうが良い場合もあるでしょう。
当該番組の場合は、WEBページ（検索 | 日本アニメ100 | NHK）に、検索ページが設定してあり、そこから投票出来るという形式です。よって、いわゆる商業的成功とは異なる結果が反映される事が推察されます。

投票形式を見ると、1日に3作品（同一作品は無効）の投票が可能です。との事で（検索 | 日本アニメ100 | NHK　※Wayback Machine）、日を跨げば、同じ人が同作品に、複数回投票する事が可能であったようです。ここから、この投票形式だと、次のような人々の投票に重み付けされる傾向が発生する可能性を考える事が出来ます。

• 番組の存在を知っている
• WEBページで投票出来る事を知っている
• 複数回投票出来る事を認識している
• 複数回投票する手間を惜しまない
• 好みの作品を上位にしようとする動機づけがある

つまり、このような人々の意見が強く反映されるランキングになる可能性がある、という事です。
投票は、検索ページと兼ねられていて、10,000タイトル中、年代など色々の条件から検索して、ヒットした作品に投票する、という形式ですが（この検索ページは良く出来ていると思います）、そこで検索する人は、沢山の作品を知っていて選びかねている人かも知れません。逆に、そこまで知らないので取り敢えず自分の年代に近いものを調べよう、という場合もあるでしょう（強い関心を持っていない人がそういう手間を割くか、という所で、何らかの傾向が生まれるやも知れません）。そういう人よりも、初めから明確に好きな作品を持っている人のほうが投票しやすい、のもあるでしょう。

これは、良し悪しの問題では無く、単にそういう傾向になるであろう、という推測であって、その結果が妥当であったかの判断は、どのようなものを結果に反映させたいか、というコンセプト次第です。

このランキングに納得の行かない意見としては、いわゆる知名度、つまり、より広くの人に知られているかどうか、というのを重視する向きもあるようです。もしそういう所を反映させたいのであれば、今回の番組の集計方法は、適切では無いでしょう。まず、番組の存在を知っていて、更にWEB投票までする、という条件が必要ですので、その時点で、それが出来なかった人の意見が反映されなくなります。たとえば、私はアニメが好きで、よく観ますが（TOP50中36タイトルを観ています）、番組の存在を知ったのは、放送当日です。

もし、なるべく広い対象からまんべんなく意見を収集して、それを反映させたランキングを作りたいとすれば、次のような方法が考えられます。

• WEB投票では無く、意見を採りに行く
• 対象は、アニメへの関心の度合いが影響しないように、全く同じ確率で対象が選ばれるように選ぶ
• 年代による人数の割合が影響しないように、各年代の人数を揃えるなどする
• 性別による傾向があると推測出来る場合には、性別の人数を揃えるなどする
• 質問の仕方は、出来るだけシンプルで、かつ明確にする

たとえばこのようにすれば、広い世代の意見がより反映されたらランキングが出来るでしょう。
しかし、これはあくまで、理想的に出来た場合であって、実際には、コストの問題があります。そもそも、WEB投票形式にしているのは、WEBページを設置して、希望者が投票していくようにしておけば、コストが低く抑えられる、という面もあるでしょう。これを、調査者が意見を採りに行く方式にすると、

• 知りたい対象全体の名簿（枠や台帳と言います）を用意する
• 名簿を構成する要素それぞれが、等しい確率で選ばれるようにする
• 選ばれた要素から、電話やメール、郵送などで意見を採る

このような作業が必要になり、膨大なコストがかかります。名簿の所は、電話番号を確率的に収集して電話をかける、などの、コストを抑えた方法もありますが、それでも、WEB投票方式に較べれば、コスト大でしょう。
ですのでこういうやり方は、 社会的に大きな意義がある場合に、大きな費用を割いておこなわれます。たとえば、世論調査がそれに当たります。
その観点から言えば、一テレビ番組でアニメランキングを作成するのにそんなにコストをかけるのか、という話になります（かける意義が無いから当該の方法になっているのでしょう）。

このように、どのようにランキングを作るか、は、コンセプト次第です。ですから、やる側としては、どのようなコンセプトのもとでどのように集計するかを、きちんと明らかにしておくのが肝腎であると言えます。そうしておけば、このコンセプトのランキングには関心は無いな、とか、これはこれで面白い、などと、見る側も判断出来ます。そこを曖昧にして、ランキングの題や説明に、より一般的な文を使ったりすると、反発を受けるやも知れません。たとえば、人気アニメの頂点が決まる！、国民的アニメランキング決定！　みたいな。

何らかのランキングがある場合、これまで見てきたような事を念頭に置いておけば、冷静に評価出来ると思います。WEB投票方式に積極的に参加する人の意見が強く反映されるランキングなのだ、という観点からは、そういうラインナップになるのかもな、と見る事が出来るかも知れませんし、NHKが放送する番組でランキングを作るのだから、他のやり方は無かったのか、という見方をする人もいるでしょう。

───────────────────────────────

ここからは完全に余談。

私が好きなアニメ↓

機動戦士ガンダム0083 Blu-ray Box

銀河英雄伝説 Blu-ray BOX スタンダードエディション 1

TVアニメ『ちはやふる』 Blu-ray BOX【期間限定版】

検診をおこなうために必要とされる事2

interdisciplinary.hateblo.jp

昨日の続きです。

臨床疫学 EBM実践のための必須知識 第3版

この本（私が参照したのは初版）の183ページより引用します。

　二次予防の治療は一般的に，治療医学における治療と同じである．一次予防の介入のように，効能と効果がなければならない．もし早期治療が有効でなければ，どんなに簡単に発見できてもスクリーニングをする医学的問題としての価値はない．なぜなら，患者に何ら手助けしなければ早期発見は単に病気であるとわかった期間を引き延ばすにすぎないからである．
　二次予防の治療にとって別の重要な基準は，無症状でスクリーニング時に発見した場合には，症状が出現してから患者が医療機関を受診して発見された場合よりも患者の転帰はよくなければならないことである．もしこの2つの場合の転帰が同じなら，スクリーニングは不要である．

とても重要な事なので、よく弁えておくべきです。以下、この引用文を分解して見ていきます。

　二次予防の治療は一般的に，治療医学における治療と同じである．一次予防の介入のように，効能と効果がなければならない．

一次予防とは、病気にならないようにする予防の事で、二次予防は、病気の症状が出ておらず、軽い内に発見して、なるべく悪くならないように処置をおこなう、という予防の事です。前者は予防接種、後者は検診などが当てはまります。そして、二次予防についても、予防接種などと同じく、病気を無症状の内に見つけて、寿命を延ばすなどの効果が必要とされる、という訳です。

もし早期治療が有効でなければ，どんなに簡単に発見できてもスクリーニングをする医学的問題としての価値はない．なぜなら，患者に何ら手助けしなければ早期発見は単に病気であるとわかった期間を引き延ばすにすぎないからである．

早く見つけて治療出来たとしても、それによって延命したり、手術による身体への影響が小さくなる、というような効果が無いとすれば、その検診には意味がありません。病気であるとわかった期間の事を、リードタイムと言います。つまり、早く見つけても寿命を延ばしたり出来ないのに、病気であると分かる期間は延びる可能性があります。そうすると、自分が病気であると認識する事による心理的負担や、医療機関にかかる経済的負担、検査や処置に伴う身体的負担も、その分増してしまいます。

　二次予防の治療にとって別の重要な基準は，無症状でスクリーニング時に発見した場合には，症状が出現してから患者が医療機関を受診して発見された場合よりも患者の転帰はよくなければならないことである．もしこの2つの場合の転帰が同じなら，スクリーニングは不要である．

これは、再三言っている、効果があるかどうかという所です。症状に気づき、医療機関を受診してから何らかの処置を受けるのと、症状が無い段階で検診を受けて処置した場合の転帰に違いが無いのであれば、早く見つけて処置する事自体に意味がありません。そして、それを確かめる方法として、ある集団を、検診を受ける群と受けない群とにクジ引きで分け、その結果、両方の群で死亡の度合い等に違いがあるかを調べる、というものがあります（RCT: Randomized Controlled Trial）。それによって違いが見出されなければ、その検診に効果は無いと看做します。このようにして、検診の効果は測られるのです。