logo
生物科学研究所 井口研究室
Laboratory of Biology, Okaya, Nagano, Japan
Home

Fisher 正確検定の後に多重比較するな

井口豊(生物科学研究所,長野県岡谷市)
最終更新: 2022 年 10 月 26 日

1. はじめに

多数の群の平均(母平均)の差を比較するとき,まず全体の検定をやってから,その後,多重検定するのは適切ではない。そのことは,分散分析を例にして,以下のページでの解説した。

  • 分散分析の下位に多重検定を置くな
  • このいわゆる下位検定や事後検定(post hoc test)の問題は,多数の群の比率(母比率)を比較するときにも生じてくる。それを考えずに,安易に,多重検定しているような場合もある。ここでは, Fisher 正確検定(直接確率検定とも呼ばれる)の事例をもとにして注意を促したい。

    なお, Fisher 正確検定の代わりに,カイ二乗検定をやっても,同様な問題が生じる。

    2. Fisher 正確検定の多重比較が問題となる例

    Fisher 正確検定の多重比較として, R のパッケージ RVAideMemoire の中の fisher.multcomp 関数を利用し,多重比較法として, Bonferroni, Holm, Benjamini and Hochberg などの中から, Benjamini and Hochberg を指定した。。

    まず表 1 のクロス集計された 3 群, A, B, C の男女別の人数データで, 男女比が等しいか検定する。

    表 1.3×2 分割表(3 群の男女別人数)
    A18
    B1513
    C18
    
    # 利用パッケージ
    library(RVAideMemoire)
    
    ## データ
    dat<- matrix(c(
      1,  8,
     15, 13,
      1,  8
    ), ncol=2, byrow=T)
    
    ## Fisher 正確検定(全体の検定)
    fisher.test(dat)
    
    ## Fisher 正確検定の多重比較
    fisher.multcomp(dat, p.method="BH")
    
    

    結果は,以下のようになる(一部抜粋)。

    ## Fisher 正確検定(全体の検定)
    p-value = 0.01302
    
    ## Fisher 正確検定の多重比較
            A     B
    B 0.07517     -
    C 1.00000  0.07517
    
    P value adjustment method: BH
    

    5% 水準で検定すると,全体として見ると有意差あり,しかし群ごとに多重比較すると,どこにも有意差なし,ということになる。これは矛盾ではないか,ということで,私は質問されたことがある。

    次に,表 2 のクロス集計データを同様に検定する。

    表 2.3×2 分割表(3 群の男女別人数)
    A08
    B1013
    C1114
    
    # 利用パッケージ
    library(RVAideMemoire)
    
    ## データ
    dat<- matrix(c(
      0,  8,
     10, 13,
     11, 14
    ), ncol=2, byrow=T)
    
    ## Fisher 正確検定(全体の検定)
    fisher.test(dat)
    
    ## Fisher 正確検定の多重比較
    fisher.multcomp(dat, p.method="BH")
    
    

    結果は,以下のようになる(一部抜粋)。

    ## Fisher 正確検定(全体の検定)
    p-value = 0.05872
    
    ## Fisher 正確検定の多重比較
            A     B
    B 0.04757     -
    C 1.00000  0.04757
    
    P value adjustment method: BH
    

    今度は,全体の p 値が,多重比較のどの p 値よりも大きくなり,全体として見ると有意差なし,しかし群ごとに多重比較すると, AB, BC それぞれの間に有意差あり,ということになる。これは矛盾ではないか,ということで,これまた私も質問されたことがある。

    3. 全体検定と多重検定は目的が違う

    以上の結果から分かるように,比率の差に関して,全体検定で有意であっても多重検定で有意でない場合があり,その逆もまたある。このことは,分散分析のページ分散分析の下位に多重検定を置くなでも述べた。

    当然だが,比率の差の検定でも,下位検定(事後検定 post hoc test)が多重検定ではなく,全体の検定と多重比較検定は,それぞれ異なる目的で独立に検定されるのである。

    ところが,学術論文を見ていると,全体の検定をまず行い,そこで有意だから多重検定する,という手順が非常に多い。しかも,そのような研究の考察を読んでも,多重検定の結果を解説することが目的であり,全体検定をやった意義(何のために,全体検定をやったのか)という説明が全くない,という論文も多々ある。つまり,そのような論文では,全体検定をやること自体に意味が見いだせないのである。

    そのような点を考慮して, Silicone Breast Implant の回転について研究した以下の論文を読んでみる。

    浜永真由子・森弘樹・植村法子・岡崎睦 (2017)
    乳房インプラントの回転 エキスパンダー・インプラントの選択との関連性について
    Oncoplastic Breast Surgery 2(3): 78-83.

    この論文の図 1 では,最初から群間の多重検定(Fisher 正確検定, Bonferroni 補正)の結果だけ示し,有意差が無いことを記述している。また,表 1 でも,平均の比較で, Tukey 多重検定の結果だけ示している。 しかしながら,このような統計分析の手順は,むしろ少数派である。

    関連ページ

    Home