前置き
「ダメな科学」を見分けるための大まかな指針」のポスター - うさうさメモ
usausa1975さんによる、A Rough Guide to Spotting Bad Science | Compound Interestの訳文のポスターバージョンが完成したそうです。
この訳文は労作で、その内容は、巷にあふれる科学にまつわる情報を吟味するに有用な指針であり、参照する価値があると思います。usausa1975さんは、良い仕事をなさったと思います。
さて、有用な指針である「ダメな科学」を見分けるためのおおまかな指針
ですが、いくつか、これが初めから理解出来るならそもそも騙されにくいのではないかという意見や、これでもまだ難しいのではないだろうかといった指摘も見られました。確かに、盲検試験やサンプルサイズなどの見慣れない用語がタイトルに入っていたり、文章が簡潔であったりするので、不案内な人にとっては、今一つピンとこない、という事もあるやも知れません。尤も、これは、元々ある文を訳す、というコンセプトのもとで書かれた文章ですから、原文に従う、という制約がそもそもありますし、また、簡潔さを目指すとどうしても情報をある程度削らなくてはならない、という事情もあるでしょう。こういうのは、長ければ良いというものでも無いので、トレードオフな所があります（その辺りについての説明はこちらに⇒「ダメな科学」を見分けるためのおおまかな指針-訳文できました - うさうさメモ）。
そこで、僭越ながら、私が一つ、当該指針を、もうちょっとだけ噛み砕いて表現する事を試みてみます。元の文はちょっと難しいかな、という場合に、こういう表現ならどうだろう、と示す事で、理解の手助けになるかも知れない、と考えたからです。はしごを使って昇るのは大変だから、動く量は多くても、緩やかで疲れにくいスロープを作る、という感じでしょうか。
これだけではまだ難しいのではないか、と文句だけ言うより、じゃあこのように噛み砕いて表現する事が出来るのでは、と示した方が遥かに建設的なのではないか、と考えた次第です。
それではやってみます。以下、指針のタイトルを小見出しにて引用し、本文を引用した後で、私による表現を書きます。タイトルと本文を言い換えるとどうなるか、というような感じでやります。ある種の意訳、みたいなものですね。
1.扇情的な見出し
記事の見出しは往々にして、読者に「クリックしたい」「読みたい」と思わせるように作られています。研究結果が単純化されすぎているのはまだマシな方で、ひどい場合には、内容が誇張されていたり、歪められていたりします。
●おおげさでインパクトのあるタイトル
記事は本文を見てもらわなくてはどうしようも無いので、読者を惹きつけるために、元々の事実や本文の内容から離れた、おおげさな表現でタイトルが書かれる場合があります。実際は、なにがしかの傾向が見出されたという段階でしか無いのに、○○で痩せる事が証明！のようなタイトルがつけられたりします。
2.結果の曲解
意図的かどうかはともかく、ニュース記事では、「よくできた話」にするために、研究結果をねじ曲げたり、曲解したりしていることがあります。記事を鵜呑みにせず、できれば、研究内容の原典を読んでみましょう。
●変えられた事実
1とも関連しますが、タイトルや本文で、読者の関心を惹くために、事実よりも多くの事を語る事があります。○○で痩せる！ というのもそうです。まだ傾向が解ったくらいなのに、科学的に証明されたと言ってしまったりします。発表した人はそこまで言っていないかも知れませんので、可能であれば、その発表者の発言なりを直接参照しましょう。大学や企業に属する研究者なら、プレスリリースというかたちでWEB（インターネット）上で発信しますし、本人がブログやtwitterなどを使っている場合もあるでしょう。
3. 利益相反
多くの企業が、研究や論文発表のために科学者を雇っています。そういった研究が必ずしも無効であるとはいえませんが、分析する際にはそのことを念頭に置く必要があります。また、個人的または金銭的な利益のために、研究内容が偽って伝えられることもあります。
●利害のぶつかり合い
誰かの利益になる事が、別の誰かの不利益に繋がる、のは往々にしてあります。大学の研究者が企業に協力して研究を行う場合などに、物事の仕組みを明らかにしたい、という科学の考えと、営利を追求する企業の姿勢がぶつかってしまう時もあるでしょう。人間の意志はそんなに強く無いもので、公正でありたいと思っても、色々の事情により、それが出来なくなってしまうかも知れません。名誉・報酬・人間関係……等々。ですから、その人がどこに属しているかとか、その属する組織は何を追求するかとか、複数の組織に関わっていれば、その組織同士の関係とか、そういう所は気にしておいた方が良いでしょう。
4.相関関係と因果関係の混同
相関関係と因果関係を混同しないように注意しましょう。「二つの変数が相関関係ある」ことは、必ずしも「一方が他方の原因である」ことを示しません。地球温暖化は1800年代から進行しており、同時に海賊の数も減少していますが、海賊不足は地球温暖化の原因ではありません。
●「○○と△△が一緒に変わる」と「○○によって△△が変わる」をごっちゃにする
あるものが一緒に変わる事は、片方が変わった事によってもう片方が変わる、というのと同じではありません。温暖化と海賊数減少が一緒に起こっているからといって、海賊が減少したから温暖化が進んだ、とは言えませんよね。そうだとすれば、海賊を増やせば温暖化が抑えられる、という事になってしまいます。
5.推測表現
研究結果からの推測は、まさに、単なる推測でしかありません。「〜だろう」「〜かもしれない」「〜の可能性がある」等の言葉には警戒しましょう。このような表現が用いられている場合、その結論の確かな証拠が研究によって得られているとは考えにくいからです。
●思わせぶりな予測
この病気に効くかも知れない、これなら痩せるかも知れない、あの問題が解決する可能性がある……といったような言い方は、見聞きする人に希望を与えるものです。けれど、実際の研究では、まだ全然そんな事は言えない、という段階なのかも知れません。確かにその研究の延長線上にはそういった可能性はあるけれど、もう少し証拠が積み重ねられないとまだまだ何とも言えない、みたいな所に留まっているのかも知れないのです（もちろん、それ自体が大きな希望である訳ですが、それは希望の意味合いが異なっているのかも）。
6.小さすぎるサンプルサイズ
試験では、サンプルサイズが小さくなるほど、得られる結果の信頼性が低くなります。サンプルサイズが小さくなるのを避けられない場合もありますが、そこから導き出された結論については、上記のことを念頭に置いて検討するべきです。サンプルサイズを大きくすることが可能なのにそれを避けている場合には、疑念を抱く理由になるかもしれません。
●調べる量が少ない
私達は、何かについて知りたいと思います。あの国の人について知りたい、この性別全体ではどうなっているのだろうか、といった事ですね。そして、大概は、その何かの全体は、多過ぎて調べ切れません。と言うか、全部調べ切れるようなものを調べてもしょうが無い、という感じでしょうか。
で、全部は調べ切れないので、その内の一部を採ってきて調べます。という事は、一部を採ってきて調べ全体について推測するやり方を行っている訳です。そして、その知りたい全体を母集団と言い、調べる事の出来た一部を標本：サンプルと呼びます。
一部を採ってきて、それが入っている全体について知りたいのですから、ほんのちょっとだけ採ってきても、全体の正確な姿の推測が出来ない、というのはすぐに解ると思います。極端な話、ある国に住む人々の事を知りたいのに、そこに住む人を一人だけ調べて、その人の性質から、その国の人は同じような性質を概ね持っているのだろう、と結論したとしたら、いやちょっと待ってくれよ、となるでしょう。
ここで、採ってきた一部、つまりサンプル（標本）に入っているものの数の事を、サイズ（大きさ）と言います。これを合わせて、それが少ない事を、サンプル（標本の）サイズ（大きさ）が小さいと表現します。これは専門用語ですので、気をつけて使いましょう。
そのサンプルサイズがあまり小さいと、それを調べて得られた結果はあまり信用出来ない、と言えます。じゃあそれがどのくらいなら小さいか、どのくらいなら充分大きいと言えるのか、という事は、専門的な話になってきます。ですので、ほんとうを言えば、何を研究しているか、などを込みにして考えなければならない問題です。ここでは、人数なり個数なりの量がすごく大事だ、という所を意識しておく、と考えておきましょう。
ちなみに、サンプルというのは、採る量だけではなく、採り方も重要です。量を意識する人でも、こちらを忘れる場合がままあるので、気をつけて。
7.代表的でないサンプル
ヒトを対象とした試験において、研究者は、母集団を代表するような個人を抽出するように努めています。もしサンプルが母集団全体と異なるものであれば、試験の結論もたぶん異なってしまうでしょう。
●その一部は全体の模型か
あ、これが採り方の問題です。統計の話では、味噌汁のたとえが用いられます。味噌汁の味見をする時に、よくかき混ぜないと、極端に濃かったり薄かったりする所を掬ってしまって、そこの味を味噌汁全体の味だと勘違いしてしまうから、あらかじめ混ぜておいてから味見するのが良い、という事から、人間について調べる時なども同じようにするのが望ましい、という事が推察出来ます。もちろん、人間をかき混ぜる事なんて無理ですから（恐ろしいですね）、その人達に番号をつけて、その番号をかき混ぜる、というようなやり方をします。そうする事で、採ってきた一部が、それを含む全体に似てくるのです。そういう事を、サンプルが母集団を代表するなどと表現する訳です。たとえば、ある政治家に対する支持者の割合を知りたい、その全体は有権者全体である、といった時に、その政治家の地元の人にだけアンケートを採って、その結果を有権者全体に当てはめてはおかしな事になるのではないか、というのはすぐに解るだろうと思います。
8.対照群がない
臨床試験においては、試験の対象となる物質を投与した「実験群」と、投与しない「対照群」の結果を比較しなければなりません。また、実験群と対照群は、無作為に割り付けなければなりません。一般的な実験では、変数をすべて統制したものを対照実験とします。
●他の集団とちゃんと比較している？
○○を食べたら痩せた！ という話があったとします。調べてみると、確かに、それを食べた10人は、体重が減っていました。なるほど、じゃあ○○には痩せる効果が……。
ちょっと待って下さい。もう少し考えてみましょう。その人達は、本当に○○のお蔭で痩せたのでしょうか。もしかすると、同じ時期に、運動の量を増やしたのかも知れません。飲酒が減っていたのかも知れません。そこを明らかにするために、もうちょっとやり方に工夫は出来ないでしょうか。
このようなやり方はどうでしょう。つまり、何人かの人を集めて、それを2つのグループに分けます。そして、片方には○○を食べさせて、もう片方のグループには食べさせません。そして、それ以外の条件をなるだけ揃えましょう。そうする事で、異なった条件、つまり、○○を食べる/食べない という所の与える影響が、よりクリアになるのではないでしょうか。
この場合、何かを与えたグループを、実験群と言ったり処遇群と言ったり介入群と言ったりします。つまり、何かを与えたり処置を行ったりするグループ、という意味です。対して、何かを与えないグループや、比較のために他の何かを与えるグループの事を、統制群や対照群と言います。心理学方面では、特に何も与えないグループを統制群と表現する事が多い気がします。いずれにしても、単に1つの集団を見るだけでは無くて、いくつかのグループに分けて比較するのが肝腎、という事です。
ところで、グループを分けるといっても、ただ闇雲に分けてしまったのでは、たまたま何らかの性質に偏ってしまう可能性があります。たとえば、その与える何かは、性別や年代によって大きく効果が左右されるとします。そして、グループ分けの際に、偶然そういった性質に偏ってしまったとしたら、得られた結果は実態とかけ離れてしまうかも知れません。先に書いた、条件を揃えるというのは、ここら辺のバランスを取る事も含みます。最も単純には、1人1人にくじを引かせ、その結果によってグループを分ける、という方法があります。ここで、分ける事を割り付けと言い、出方が同じである事が期待されるようなくじに従ってグループ分けを決めるのを、無作為と言います。そして、それを合わせて、無作為割り付けと表現します。
9.盲検試験が行われていない
バイアスを排除するために、自分が実験群なのか対照群なのかを被験者に知らせてはいけません。二重盲検試験では、研究者でさえも、試験終了までは、どの被験者がどちらの群かを知りません。（注意）盲検試験が必ずしも実現可能、あるいは倫理的でないことがあります。
●自分がどっちか知っている？
これは頭痛に効く、と言って小麦粉製の錠剤を与えると、実際に頭痛が軽減された、といったような現象が起こり得るそうです。人間の心は不思議で、心と身体との関係も不思議なものです。
この話を踏まえましょう。この薬は病気に効く、と言われ、何かを与えられたとします。そして実際に、その病気が軽減されました。ではその何かが効いたのでしょうか……慌ててはいけません。さっきは、他の習慣なりが作用したのではないか、という話をしましたが、他にも、これが効くのかも知れないという心の働き自体が身体にも影響を及ぼし、実際に病気が軽減した、という可能性があります。という事は、他の色々の条件を、無作為割り付けによって揃えたとしても、あなたは薬を与えられていますよ、あなたは与えられていませんよ、という情報自体が、何か無視出来ない影響を与えるかも知れないではありませんか。つまり、そこが揃っていない訳です。
ではどうしましょうか。1つは、自分がどっちにいるか知らないようにする、というのがあります。つまり、あなたは薬を与えられていますよ、あなたは与えられていませんよ、とそれぞれのグループに前もって知らせておくのでは無く、両方ともに、あなたは薬を与えられていますよ、と言って、片方にはその薬を、もう片方には、効かないと判っているものを与えて比較するのです。そうすれば、両グループとも、薬を与えられているという思いになる、つまり、その部分が揃えられるのです。言い換えると、自分が薬を与えられているのか、それとも効かないものを与えられているのかを知らない状態、すなわち遮蔽されている状態、と言えます。これを、盲検法と言ったりします。
ところが、厳密に言えば、まだ揃えられそうな所があります。今は、参加者が、どちらのグループにいるかを知らない、という設定でしたが、当然、薬を与える側は、自分達がどちらのグループに接しているかを知っています。より厳密に見ると、その与える側の細かい挙動が、与えられる側に影響を与え、結果を左右する、という可能性が考えられるのです。
という事は、次には、与える側も、自分がどちらに接しているか解らないようにする、という揃え方が考えられます。つまり、遮蔽をもう1つ行う訳です。そうすると、与える側と与えられる側の二重の遮蔽が施される事となります。そしてこの全体を、二重盲検法と表現します。
尤もこれは、理想的にはこれが望ましい、という方法であって、（注意）
にもあるように、様々な理由から、この理想的な方法を行うのは困難になる場合があります。たとえば、参加者に害を与える可能性が初めから判っているとか（例：煙草の与える影響を調べる実験）、区別のつかない偽物を作るのが困難である場合とか（例：味やにおいが特徴的な食物の効果を確かめる実験）、です。必ずしも、これが出来なくてはならない、これで無くては意味が無い、というのでは無い事に注意しましょう。
10.結果のいいとこ取り
データの中から、結論を支持するようなものを採用し、そうでないものを無視するやりかたです。すべての結果ではなく、選択した結果から結論を導いている研究論文は、「いいとこ取り」をしているかもしれません。
●全体ではどう？
人間、自分の信じたい事を支持する所に注目するものです。意識するしないにかかわらず。それは、研究した人の場合もあるし、それを紹介する人の事もあるでしょう。なるほど、この部分は確かに興味深い、けれども他の部分ではその証拠を弱める結果が出ている、かも知れません。全体をよく吟味して、出されている結論について評価しても、遅くは無いでしょう。
11．結果に再現性がない
結果は独立した研究によって再現されなければなりません。また、一般性を保証するためには、（可能な範囲で）様々な条件で確認されなければなりません。途方もない主張には、それ相応の証拠が求められます−つまり、１つの研究だけでは、まったく不十分です！
●他の人は同じ結果？
人は間違え得ます。たまたま望ましい結果が出た、という場合もあります。ですので、科学では、他の人に確認してもらうという制度をとっています。専門家でも間違えるものなんだ、というのを初めから、前提をしている、とも言えます。だから、何か興味深い結果が少ない研究から見出されたとしても、そこからすぐに、じゃあそれが確実に言えるんだ、とは結論されません。おいおい本当か？ どこかに間違えがあるんじゃないか？ というのが標準、と言ってもいいかも知れません。そして、他に興味を持っている専門家が、同じような条件でやってみたり、少しずつ変えてみたりして、結果を積み重ねていくのです。そうして、どうもこれは成り立っていそうだ、となれば、いわゆる科学の知識として確立されるでしょうし、そうで無いものは、保留されたり、あるいは棄て去られたりする事でしょう（これは、その後に復活しない事を意味する訳ではありません）。
それから、科学は長年かけて、膨大な人達によって築き上げられてきたものですから、それに真っ向からぶつかるような説であったり理論であったりは、よほどしっかりした証拠が無いと、認められる事はありません。いずれにしても、ほんの数個の研究だけでは不充分という事です。
12.ジャーナルと引用数
主要なジャーナル（専門誌）に発表された研究は、査読の過程を経たものですが、それでもまだ不備がある可能性はありますから、このガイドラインに書かれている注意点を念頭に置いて評価しなければなりません。同様に、その研究の引用数が多いからといって、必ずしも高く評価されているとは言えないこともあります。
●ちゃんと審査された？ 他の人に参考にされている量は？
著名な専門誌には、専門家がその論文をチェックして、掲載するかどうかを決める、という仕組みがあります。これを査読と言います。そこで審査された上で掲載されたか、というのは一つの重要なポイントとなります。
もちろん、審査自体が甘いという可能性もあるし、審査した人の能力の問題もあるので、そこで通ったから充分、と言える訳ではありません。他の人も同じような結果を出したか、といった事が、ここで重要になってきます。また、他の専門家に参考にされた数がどのくらいあるか、というのも一つの指標です。もちろんこちらも、それが多いから良いのだ、とすぐに言えるのでもありません。結局、一つの指標だけでどうこう言うのでは無く、色々の面から慎重に見ていくのが重要だ、という事です。
まとめ
このような感じです。多少は、補足としての役割を果たす事が出来たでしょうか。そうであればありがたいな、と思います。
私は、いわゆるニセ科学の問題に関してちょっとした興味を持ち、ほんの少し勉強してきたので、指針の内容が、ある程度は理解出来ると思います。そういう立場の人間が、自分の言葉で、なるだけ噛み砕いた説明を心がけてみる、という事にも、多少は意味があるかな、と考えて書きました。何らかの参考になれば。
