研究と称するものがあった場合に着目すべき点

anond.hatelabo.jp
こういうのを見かけました。卒論でオタクを4,000人調べたら傾向が判ったそうで、それをオタクが嫌われる要因に結びつけている、という主張です。
書かれてある内容が少な過ぎて、信ぴょう性皆無のものですが、ちょうど良い機会ですので、こういった、研究したらこういう事が解った、といった主張や宣伝がなされた時に、具体的にどのような点に着目して考えれば良いかを、クリティカルシンキング―研究論文篇 から引用して挙げておきましょう（P163-164）。前のブログでも言及した事がある本です。

1. 研究上の問いは明確に述べられているか？
2. 導入，問題の陳述，文献の概観は，読み手に適切に設定されているか？　またこの題材は研究上の問いと一致しているか？
3. 研究上の問いや題材からみて，仮説は適切で，明確に述べられているか？
4. 鍵となる術語はきちんと定義されているか？
5. 独立変数はこの研究上の問いに適切か？　独立変数の水準は適切か？
6. 独立変数の基準や基準測度は適切か，妥当か，信頼性があるか？
7. 従属変数は，この研究にとって適切か？
8. 従属変数の基準や基準測度は適切か，妥当か，信頼性があるか？　得点化，評定，判定の手続きは妥当で信頼性があるか？　装置が用いられている場合，それは正確で信頼できるか？
9. 統制は適切か？　結果は統制されていない変数に影響される可能性がないか？　統制群や比較対照群がある場合，それは適切に選ばれているか？
10. 研究デザインは仮説の検証に適しているか，また研究上の問いに答えるものか？
11. 方法や手続きは理解され追試できるよう十分な詳細さをもって明瞭に記述されているか？　参加者は適切に方向づけられ，動機づけられているか？　彼らは課題をどのように理解しているのか？　教示は十分に明瞭で正確か？　参加者間のコミュニケーションが，結果への影響要因のひとつになっていな-いか？　デザイン，データ収集，査定，分析，報告の中に実験者バイアスの徴候はないか？
12. 参加者は適切に選ばれているか？　サンプルは対象をきちんと代表しており偏りがないか？　手続きは，実験参加者を保護するための指針を遵守しているか？　サンプルの人数（N）は適切か？　参加者をグループ，処理，あるいは条件に割り当てるのに適切な手続きが使われているか？　マッチング，均等化，ランダマイズのような群の等価性を確立するための適切な技法が使われているか？　参加者の欠落が生じているか？　また生じている場合，それはサンプルを偏らせていないか？
13. 統計的検定は適切か？　そして，その使用の前提条件に合っているか？　自由度は正しいか？　誤差の測度は妥当か？　計算や統計的な結果の表示に間違いがないか？
14. 表や図ははっきりと凡例がつけられ正しく表示されているか？
15. 結果は正しく解釈され，適切に報告され，意味づけられ，きちんと書かれているか？
16. 考察はデータの概観からみて適切か？
17. 結論はデータからみて妥当であり，データによって保証されるものか？
18. 結果の一般化は妥当か？
19. 引用文献は本文の中の引用と対応しているか？
20. 倫理的な基準は研究のすべての段階で遵守されているか？
21. この研究を改善し，再デザインするとしたらあなたはどうするか？

このように、様々な、見ておくべき点があります。
たとえば、4,000人調べた、という点だけ見ても、卒業研究でどうやって4,000人分もの回答を集めたのか、などの疑問が出ます。
また仮に、比較的に安価なWEB調査（マクロミルなどを利用したり）で実現出来たと想定しても、WEB調査ですから、標本に偏りが生ずる事を考慮しなければなりませんし（12番目）、質問内容が、きちんと専門的検討に耐えた（標準化された）ものであるのか、も念頭に置く必要があります（6番目）。
マスメディアの報道でも、何々が何々に効果をもたらす事が判った、とか、何々の悪影響が確かめられた、などといった内容のものが発表される場合がありますが、その際にも、すぐに、そうなのか、と納得するのでは無く、上に掲載したような要点をまず確認して、冷静に情報を吟味しておきたいものです。

クリティカルシンキング―研究論文篇