このような場面では、t値やF値を利用せず、p値をそのまま利用して多重比較を調整するBonferroni法、False Discovery Rate（FDR）法が利用しやすく、よく用いられています。
比較的簡単に運用できる多重比較なのですが、欠点もあることを認識しておく必要があります。実例を見ながら両者の特徴を見てみましょう。
目次
ごく単純にできるBonferroni法
Bonferroni法はごく単純で、検定数がNだった場合、有意水準αをα/Nに変えるだけ、というものです。例えば、有意水準を0.05に設定し、検定数が3つあった場合、Bonferroni法による調整を行う場合は、p値が0.05/3=0.017未満であれば帰無仮説が棄却される、と考えるわけです。少しの工夫でできるFDR法
FDR法（正確には、FDRを調整するためのBenjamini & Hochberg法（BH法））もBonferroni法ほど単純ではありませんが、それほど難しくなく可能です。検定数がN、有意水準がαの場合、基本的には以下のような手順です。- 1. N個の検定をp値が大きい順に並べる（pN > pN-1 > … > p1とします）
- 2. k=Nから順番にpkとα✕k/Nを比較する。
- 3. pk < α✕k/Nなら、pkより小さいp値の検定は全て有意なものとする
- 4. pk > α✕k/Nなら、次のpk-1に対して、2以降と同じように比較していく
説明しようとするとややこしく見えますが、実際にやってみればそれほど難しくありません。
7つの相関係数を調べる
それでは恒例のiPhoneヘルスケアアプリの歩行データを利用して、実際に多重比較をしてみたいと思います。今回は歩数とともに計測されている、1日あたり何階上り下りしたか、の記録を利用したいと思います。3ヶ月分の1日歩数・階数のデータを曜日毎に分割し、各曜日で歩数と階数が相関しているかを調べます。データはこんな感じです。
各曜日での歩数と階数の相関を見るのにピアソンの相関係数を7回検定してみます。すると、次のような結果になります。
有意水準α=0.05と設定すると、火・金・日曜日の3つの曜日で、歩数と階数に有意な相関が見られることになります。
しかし、今回は7回の検定を行っているので、全てのペアに有意差がなくても偶然p=0.05となる検定結果が少なくとも1つ出てしまう可能性は、
| 1-(1-0.05)7=0.30 |
ですので、多重比較を考慮しなければいけません。
実例：Bonferroni法による多重比較
Bonferroni法の場合は単純です。7つの検定が行われているので、有意水準α=0.05に対して、| 0.05/7=0.007 |
と各p値を比較すればいいわけです。すると、上の表より、金、日の有意差は残りますが、火曜日は有意水準を満たさなくなります。よって、Bonferroni法による多重比較を行った場合は、金、日曜日のみ有意に歩数と階数が相関することになります。
実例：FDR法による多重比較
次に、FDR法よる多重比較を行います。まず、7つの検定結果をp値が大きい順に並べることが必要でした。そして、大きいp値から順に、pkとα✕k/Nを比較していけばいいわけです。次のようにp値の大きい順に並び替えた表を作り、その横にそれぞれ比較すべき値を書いていくとわかりやすいです。
*p値の大きい順にデータを並び替える際は、エクセルのフィルター機能が便利です。
FDR法によると、1,2,3,4番目に大きいp値はいずれもFDR法で比較すべき値より大きいため、次の比較に移ります。
5番目に大きいp値となる火曜日は、FDR法で5番目に比較すべき有意水準である 0.05 ✕ 5/7 より小さい値になりましたので、この時点でこれ以下のp値を持つ残りの検定は全て有意水準を満たすと判断します。つまり、金、日のp値（p2とp1）がどのような値であっても、火曜日のp値（p3）より小さいので、FDR法では有意差があると判断します。
結果的に、今回はFDR法では、多重比較をせずに7回検定を繰り返しただけの時と同じく、3つの曜日で有意な相関が残ることになりました。
Bonferroni法とFDR法、どちらを用いる？
上述の通り、Bonferroni法とFDR法とで、多重比較を行った結果が変わってしまいました。どちらを行えばいいのでしょうか。基本的には、Bonferroni法は多重比較においてαエラー（実際には有意差がないのにあるとするエラー）を少なくするために非常に保守的であるため、βエラー（実際には有意差があるのにないとするエラー）が増えてしまうという問題点があります。そのため、Bonferroni法では、統計的有意差が出なかった場合に、「帰無仮説は棄却されない」ではなく、「帰無仮説の棄却は保留」と考えるべきだそうです。簡単な方法なので、多くの論文でも用いられていますが、この傾向は多重比較したい検定の数が増えるほど高くなるため、一般的に5つ以上の統計の繰り返しに対する多重比較にBonferroniは使わない方が良いと言われています。
そのため、今回の場合はFDR法を用いた結果の方が妥当と考えるべきなのでしょうね。
関連記事・参考文献
多重比較－なんのため、どんな時に行う？多重比較がなぜ必要か、どのような時に行うべきかについてまとめてみました。
多群間比較での多重比較－One-way ANOVA後のpost-hoc test
多重比較補正が必要であるという考え方を、最たる例である「3群以上の群間比較で、One-way ANOVAをした後に、post-hoc testを行う」という例を使って考えてみました。
http://www.med.osaka-u.ac.jp/pub/kid/clinicaljournalclub1.html
Bonferroni法、FDR法に加え、Holm法という多重比較についてもわかりやすく詳細に説明されています。
この記事へのコメント