HJKKSのメモ

前回（多重比較－なんのため、どんな時に行う？）の続き。

複数の検定を行う際には、FWE rateが上昇するため、多重比較を行う必要がありました。最も典型的なパターンが、3群以上の群間比較を行う場面です。

例えば、AとBとCの3群について、全ての2群の組合せで群間比較を行った場合、A vs B、B vs C、C vs Aという3回の統計を行うことになるため、仮に3群に有意差がなくてもこの3つの統計のうち少なくとも1つのp値が0.05となってしまう確率は、

3回検定を行い、少なくとも1つが偶然p=0.05となる確率
1-(1-0.05)3=0.14

と14%程度の確率で起こってしまうことになっていました。これを正しく有意水準0.05で抽出するために、多重比較を行う必要がありました。

今回は、このような多群比較を行う際によく用いられる、

One-way ANOVA後のpost-hoc testを行う

によって、多群における2群間比較を全てStudentのt検定で行った場合とどう結果が変わるかを見たいと思います。


スポンサーリンク

7群の多重比較をする–ANOVAからpost-hocへ

以前の相関係数についてのメモでも使った、iPhoneのヘルスケアアプリで蓄積される歩数データを今回も利用してみます。今回は3か月分の歩数データを曜日ごとに7群に分け、曜日間で平均歩数が異なるかを検定します。曜日ごとの歩数データの概略は下図の通りです。


7群の平均を比較するわけなので、

• one-way ANOVAでいずれかの群間に有意差があるか検定
• 有意差があればどの2群間であるのかpost-hoc testを行う

という手順がまっとうな多重比較となります。post-hoc testには、one-way ANOVA後によく用いられるTukey-Kramer法を用いてみます。有意水準はp < 0.05に設定し、統計解析にはJMPを用いました。

それではまずone-way ANOVAの結果です。


曜日による違いがF値5.7053、p < 0.001で有意となりましたので、どの2群間に違いがあるのか、Tukey-Kramer法を用いてpost-hoc testを行います。


すると、₇C₂=21個の曜日の組合せのうち、6つの組で統計学的有意差が検出されました。

21個の検定を個別にStudentのt検定で行うと

では今度は多重比較を意識せず、21組の検定を全てStudentのt検定で行った場合の結果です。


今度は10個の組で統計学的有意差が検出されました。しかし、これは多重比較を行っていないため、αエラーを含む可能性が高くなります。実際に、t検定を21回繰り返し、全ての群間に有意差がなかった場合でも、いずれかの検定でp < 0.05となる確率は

1-(1-0.05)21=0.66

と約66%に登ります。前述の多重比較を行った場合と比較すると、t検定で有意差のでた10個の組のうち、4つの結果がαエラーの可能性があるわけですね。

注意

*前回も記載しましたが、Tukey-Kramer法はF統計量を用いた多重比較ではないので、事前にANOVAを行う必要はない（というより、ANOVAで有意差が出なくてもTukey-Kramer法による多重比較で2群間に有意差が出ることもあるため、併用すべきではない）というのが実際のようですが、多くの論文や統計の教科書ではANOVA後のpost-hocにTukey-Kramerが用いられていますし、統計ソフトでもANOVAのpost-hocにTukey-Kramerを選択できます。
*本来one-way ANOVAは正規性の仮定が必要ですし、Tukey-Kramer法は各群のデータが正規分布し、等分散であることを前提とします。しかし、上図の各曜日の平均と標準偏差からもわかる通り、そうなってはいませんので、本来は不適切な解析です。その点はご了承ください。

スポンサーリンク

関連記事・参考文献

多重比較－なんのため、どんな時に行う？
多重比較がなぜ必要か、どのような時に行うべきかについてまとめてみました。

複数の相関を調べた時の多重比較－Bonferroni法とFDR法
多重比較補正でよく使われるボンフェローニ法とFDR法について、エクセルで実際に行う方法をまとめました。

多重比較
私のための統計処理－多重比較
どちらも、多くの多重比較の特性をまとめまとめられており、大変参考になるサイトです。