アンケートの見方

ニッポンのセックス
何やら話題になっているようで。重くてページが見られない状態です。性的なトピックというのは関心を呼ぶものなのでしょうか。
具体的な検討は、資料を参照出来ないので無理であるとして、この種の調査を見る際に考慮しておいた方が良さそうだ、と思う所をメモ。

調査日:2013年1月
調査対象:47都道府県 20〜60代男女
調査人数:14,100名(1都道府県300名、性年代均等割付)
(事前調査:29,315名)
調査方法:WEBアンケート調査

調査の概要はこう。WEBアンケートという事で、まずそこでバイアス(WEBを用いる環境にある者という)がかかっています。
で、サンプルサイズ(母数でも標本数でも無い)を見ると、14100人。半端な数字のようですが、これは、300*47=14100 と考えればピッタリです。なので、人数が揃うように操作して集めている訳ですね。つまり、無作為抽出では無い(有意選択、等と言う)。
て事はこれは、無作為標本(確率標本)を前提とした統計的推測がとてもむつかしくなるのを意味します。
14100人という数をもって、大規模な調査と見る向きもあるでしょうが、そもそもこの調査、知りたい対象(今日本に住む20代-60代の人、といった所)全体の人数は数千万にのぼるでしょうから、それを分母として考えれば、14000人程度の人数、恐ろしく小さいとも言えます。多分、分母がどれほど大きかろうが、数千から数万集めれば母集団の様子がある程度正確に解る、という意見もあるでしょうけれど、それは標本の無作為性が確保されていた場合の話であって、それがなされた場合に初めて、標本が大きければ精度が高くなる、つまり誤差が小さくなる、と考える事が出来ると言えるのですから、その前提条件が無い時に、単に14000という数値を大きいと評価する事は出来ないのではないかな、と思います。また、統計的推測に頼らずに、出来る限り多くの人について調べれば、そこから全体について色々考える事が出来るかも知れない、という見方もあるでしょうが、そうなると今度は(さっきも書いたように)、分母数千万に対して1万4000人という数字を考えると、それじゃ小さ過ぎる、となるかも知れません。
WEBアンケートであるからまずそこでバイアスがかかるだろうと書きましたが、他にはどのようなバイアスがかかりそうですかね。WEBでどのようにアンケートが募集されたのか、も重要に思います。アンケートサイトに登録している人にメールが送られたのか、とか。マクロミル辺りの大手のサイトもあります。で、そういうサイトは、回答する事によって謝礼が貰えるのですね(一定量で現金や商品に交換出来るポイント等)。そういうのがアンケート内容に関わりそうなバイアスをかけるのかどうか、等も考えておいて良いでしょう。
非無作為抽出なのであれば、アンケートで訊かれる内容に対する関心の度合いも、バイアスをかけてきそうな予感もします。ただ、それがどのように回答の仕方に響いてくるか、を考えるのはむつかしいですが。調査では社会的望ましさのバイアスなんかもありますけれど、今考えてるのだと、進んで答えているでしょうから、そういうのはあまり無さそうだな、とか。
これが、アンケートした対象を全体と考えてものを言う、という範囲に留まっているなら、別に構わないと思います。けれど、わざわざコストをかけて1万人以上の人にアンケートをとったのだから、それよりも大きな範囲について何か考えたい、というのがそもそもの調査の目的だろうとも考えます。14000人限定の話をして何になるの? みたいな。
そうすると、一般化したくなってくる。日本(で)はみたいな、ですね。でも、それが言えるためには、相当綿密に調査計画が立てられ、実行されなければなりません。標本の無作為性の確保、等は最重要です。ですから、この種の調査があった時は、まずそれから見る必要があります。無作為じゃ無いっぽいけど標本大きいから興味深いよね、では無いのです。人数が大規模かどうか、自体が、標本の採り方や分母の大きさ(前にも書いたように、分母――母集団の大きさ――が巨大な場合に分母を無視して話が展開出来るのは、無作為抽出の時)と絡んでくる事なので。