Fisher 正確検定の後に多重比較するな

井口豊（生物科学研究所，長野県岡谷市）
最終更新： 2022 年 10 月 26 日

1. はじめに

多数の群の平均（母平均）の差を比較するとき，まず全体の検定をやってから，その後，多重検定するのは適切ではない。そのことは，分散分析を例にして，以下のページでの解説した。

分散分析の下位に多重検定を置くな

このいわゆる下位検定や事後検定（post hoc test）の問題は，多数の群の比率（母比率）を比較するときにも生じてくる。それを考えずに，安易に，多重検定しているような場合もある。ここでは， Fisher 正確検定（直接確率検定とも呼ばれる）の事例をもとにして注意を促したい。

なお， Fisher 正確検定の代わりに，カイ二乗検定をやっても，同様な問題が生じる。

2. Fisher 正確検定の多重比較が問題となる例

Fisher 正確検定の多重比較として， R のパッケージ RVAideMemoire の中の fisher.multcomp 関数を利用し，多重比較法として， Bonferroni, Holm, Benjamini and Hochberg などの中から， Benjamini and Hochberg を指定した。。

まず表 1 のクロス集計された 3 群， A, B, C の男女別の人数データで， 男女比が等しいか検定する。

# 利用パッケージ
library(RVAideMemoire)

## データ
dat<- matrix(c(
  1,  8,
 15, 13,
  1,  8
), ncol=2, byrow=T)

## Fisher 正確検定（全体の検定）
fisher.test(dat)

## Fisher 正確検定の多重比較
fisher.multcomp(dat, p.method="BH")

結果は，以下のようになる（一部抜粋）。

## Fisher 正確検定（全体の検定）
p-value = 0.01302

## Fisher 正確検定の多重比較
        A     B
B 0.07517     -
C 1.00000  0.07517

P value adjustment method: BH

5% 水準で検定すると，全体として見ると有意差あり，しかし群ごとに多重比較すると，どこにも有意差なし，ということになる。これは矛盾ではないか，ということで，私は質問されたことがある。

次に，表 2 のクロス集計データを同様に検定する。

# 利用パッケージ
library(RVAideMemoire)

## データ
dat<- matrix(c(
  0,  8,
 10, 13,
 11, 14
), ncol=2, byrow=T)

## Fisher 正確検定（全体の検定）
fisher.test(dat)

## Fisher 正確検定の多重比較
fisher.multcomp(dat, p.method="BH")

結果は，以下のようになる（一部抜粋）。

## Fisher 正確検定（全体の検定）
p-value = 0.05872

## Fisher 正確検定の多重比較
        A     B
B 0.04757     -
C 1.00000  0.04757

P value adjustment method: BH

今度は，全体の p 値が，多重比較のどの p 値よりも大きくなり，全体として見ると有意差なし，しかし群ごとに多重比較すると， AB, BC それぞれの間に有意差あり，ということになる。これは矛盾ではないか，ということで，これまた私も質問されたことがある。

3. 全体検定と多重検定は目的が違う

以上の結果から分かるように，比率の差に関して，全体検定で有意であっても多重検定で有意でない場合があり，その逆もまたある。このことは，分散分析のページ分散分析の下位に多重検定を置くなでも述べた。

当然だが，比率の差の検定でも，下位検定（事後検定 post hoc test）が多重検定ではなく，全体の検定と多重比較検定は，それぞれ異なる目的で独立に検定されるのである。

ところが，学術論文を見ていると，全体の検定をまず行い，そこで有意だから多重検定する，という手順が非常に多い。しかも，そのような研究の考察を読んでも，多重検定の結果を解説することが目的であり，全体検定をやった意義（何のために，全体検定をやったのか）という説明が全くない，という論文も多々ある。つまり，そのような論文では，全体検定をやること自体に意味が見いだせないのである。

そのような点を考慮して， Silicone Breast Implant の回転について研究した以下の論文を読んでみる。

浜永真由子・森弘樹・植村法子・岡崎睦 (2017)
乳房インプラントの回転 エキスパンダー・インプラントの選択との関連性について
Oncoplastic Breast Surgery 2(3): 78-83.

この論文の図 1 では，最初から群間の多重検定（Fisher 正確検定， Bonferroni 補正）の結果だけ示し，有意差が無いことを記述している。また，表 1 でも，平均の比較で， Tukey 多重検定の結果だけ示している。 しかしながら，このような統計分析の手順は，むしろ少数派である。

関連ページ

• Fisher 正確検定の多重比較，R と EZR を例にして