有意差とは？p値・「有意差なし」・効果量の正しい読み方

有意差とは「偶然だけでは説明しにくい差」

p値と有意水準は役割が違う

有意水準は、差がないのに「差がある」と誤って判断する第一種の過誤を、どの程度まで許容するかという基準です。分析結果を見てから都合よく変えるのではなく、原則として検定前に決めます。研究や業務では5%がよく使われますが、目的や誤判断の影響に応じて1%などを採用することもあります。

p値は、帰無仮説と検定モデルの前提が成り立つとしたときに、観測結果以上に極端な結果が出る確率です。「帰無仮説が正しい確率」でも「今回の結果が偶然である確率」でもありません。

日本理学療法学会連合の用語集も、p値が定めた有意水準未満なら「有意差あり」とする一方、有意差は差の大きさを表さない点に注意を促しています。統計的仮説検定の流れは、総務省統計局の学習資料でも具体例とともに確認できます。

具体例：2つの授業法で平均点を比べる

授業法Aと授業法Bを受けた2群のテスト結果を比べ、平均点はAが72点、Bが76点だったとします。見た目には4点差がありますが、各群のばらつきや人数を考慮しなければ、その差が偶然の範囲かどうかは判断できません。

1. 仮説を置く：帰無仮説を「2つの授業法の母平均に差はない」とする。
2. 基準を決める：有意水準を0.05に設定する。
3. 検定を選ぶ：独立した2群の平均なら、通常はWelchのt検定を候補にする。
4. p値を計算する：たとえばp = 0.03なら、0.03 < 0.05なので帰無仮説を棄却する。
5. 差の意味を確認する：平均差4点の信頼区間や効果量、教育上の意味を確認する。

t検定計算ツールでは、2群の数値を入力するとt値、自由度、p値、平均差を確認できます。同じ対象を授業前後で測った場合は対応のあるt検定を使うなど、データの構造に合う検定を選ぶことが必要です。

有意差があっても「重要な差」とは限らない

有意差とは実務上の重要性を直接示す指標ではありません。サンプル数が非常に多いと、ごく小さな差でもp値が小さくなることがあります。反対に、実務上は大きく見える差でも、サンプル数が少なくばらつきが大きいと、有意差が出ないことがあります。統計的有意性と実質的な重要性は分けて考えなければなりません。

信頼区間計算ツールで推定の幅を確認し、検定結果と一緒に読むと、p値だけの場合より結果の不確かさを説明しやすくなります。

「有意差なし」は「同じ」の証明ではない

p値が有意水準以上だった場合に言えるのは、今回のデータでは帰無仮説を棄却できなかったということです。データ数が不足していた、ばらつきが大きかった、測定精度が低かった、検定の前提に合わなかったなど、差を検出できない理由はいくつも考えられます。

本当に「実質的に同じ」と示したい場合は、単に通常の検定で有意差が出なかったことを根拠にせず、許容できる差を先に定めた同等性検定など、目的に合う設計を検討します。

何の差を見るかで検定方法を選ぶ

「有意差検定」という1つの万能な手法があるわけではありません。数値の平均を比べるのか、カテゴリの件数を比べるのか、2群か3群以上か、同じ対象を繰り返し測ったかによって方法が変わります。

検定前には、観測値が独立か、期待度数は十分か、外れ値や強い偏りがないかなど、各手法の前提も確認してください。前提を満たさない場合は、別の検定や専門家への相談が必要になることがあります。

結果はp値だけでなく条件と大きさも報告する

結果を第三者が解釈できるように、比較した対象、サンプル数、代表値とばらつき、使用した検定、有意水準、検定統計量、自由度、正確なp値、効果量、信頼区間を、分野の報告規則に合わせて記載します。

p値を「p < 0.05」だけで終わらせず、可能なら正確な値を示すと、読者が結果の強さをより具体的に確認できます。探索的に多数の検定を行った場合は、多重比較による誤判定の増加にも注意が必要です。

有意差に関するよくある質問

参考になる公的・専門資料

• 総務省統計局「統計的推定と統計的仮説検定」：仮説、Z値、p値、有意水準を例題で解説。
• 日本理学療法学会連合「有意差」：有意差と差の大きさを区別するための用語解説。
• 野村総合研究所「P値」：p値の考え方と解釈上の注意を具体例で紹介。