くものしゅの日記

子育て中の ph. D.です。専門は確率統計.情報理論等

検定 その5:p値の意味と使い方。有意水準との違い

検定では
 帰無仮説対立仮説
 という2つの仮説があります。
 
得られている証拠をもとに、
いろいろな計算をして、
帰無仮説が棄却できるかどうかを判断します。
 
 帰無仮説が棄却できるかどうかを判断するために便利なものがあり、
それを「p値」といいます。
 
ここでp値の意味と使い方をまとめておきます。
今は読み飛ばしても良いです。
 
(ここから)
意味と使い方:
p値とは、
  • 仮に「帰無仮説が正しい」とき、「現実のデータと同じか、その値よりも対立仮説寄りなデータ」が得られる確率。
p値の使い方
  • p値が小さい ⇒ 帰無仮説を棄却する ⇒ 対立仮説を採択する
  • p値が大きい ⇒ 帰無仮説を棄却できない
実際には有意水準 α と比較して判断する。
  • p値 < α ⇒ 帰無仮説を棄却する ⇒ 対立仮説が採択される
  • p値 > α ⇒ 帰無仮説を棄却できない
(ここまで)
 
 
p値について理解するために、漢字検定を例に説明してみます。
 
例:ある人が漢字検定1級のテストを受験する場合。
1級の能力がない人でも、
ヤマが当たってラッキーで良い成績を取ることがありますよね。
 
そこで、「1級の能力がない人」が、
ある得点以上の成績になる確率について考えてみましょう。
(分かりやすくするためにテストは100点満点で考えるとします)
 
0点以上の成績になる確率は100%です。
逆に、100点満点になる確率は0%に近いでしょう。
まあ、なんとなくですけど
 
0点以上の確率は100%
10点以上の確率は高そう
80点以上の確率は低そう
100点以上の確率はかなり低そう
 
って感じですよね。ここで仮に、
 
  • 1級の能力が無い人が、ある得点以上を取る確率
 
が分かったとします。この確率をp値と呼ぶことにしましょう。
例えば、
1級の能力が無い人が60点以上の得点を取る確率が10%だとすると、
60点のp値は10%となります。
受験生の得点に応じてp値が割り振られます。
 
仮に、1級の能力が無い人が、
  • 0点以上の確率が100%
  • 20点以上の確率が90%
  • 40点以上の確率が50%
  • 60点以上の確率が10%
  • 80点以上の確率が 5%
  • 90点以上の確率が 1%
とします。この場合、
  • 0点のp値は100%
  • 20点のp値は90%
  • 40点のp値は50%
  • 60点のp値は10%
  • 80点のp値は 5%
  • 90点のp値は 1%
となります。
p値とは、1級の能力が無い人が、ある得点以上を取る確率と思ってください。
高得点になればなるほどp値は小さくなります。
 
  • p値が小さい(高得点) ⇒ 「1級の能力がない人」には無理っぽい。
  • p値が大きい(低得点) ⇒ 「1級の能力がない人」でも可能だろう。
 
という感じになります。
 
検定では、得られた証拠をもとに帰無仮説が棄却できるかどうかを判断します。
今回の例では、
テストの得点を証拠として、
 
帰無仮説:1級の能力なし
対立仮説:1級の能力あり
 
について判断します。基本的な考え方は
 
  • p値が小さい ⇒ 帰無仮説を棄却する ⇒ 対立仮説を採択する
  • p値が大きい ⇒ 帰無仮説を棄却できない
 
「対立仮説を採択する」とは、試験に合格して「1級の扱い」になる、ということです。
 
ところで、p値が大きい、小さいといってもあいまいですよね。
どの程度の大きさだと大きいといい、
どの程度の小ささだと小さいというのか、
その目安があると便利でしょう。
 
検定では、p値の大きさを判断する目安に名前がついており、
有意水準」と呼ばれています。
有意水準と書くと長いので  α と書くこともあります。
 
 α = 「有意水準
 
有意水準の使い方について説明します。
 
p値が有意水準 α よりも小さいかどうかで、
帰無仮説を棄却するかどうか決めます。
 
  • p値 < α ⇒ 帰無仮説を棄却する ⇒ 対立仮説が採択される
  • p値 > α ⇒ 帰無仮説を棄却できない
 
有意水準 α は判断の目安です。
 
今回の例では、
受験生の得点からp値が決まり、p値よりαが大きければ1 級合格になります。
αが大きいとき、合格しやすい簡単な試験になるのです。
αは試験の簡単さを表しているといえます。
 
p値は受験生の得点、
αは合格点に対応しています。
 
合格点が低いとき(例えば10点以上を合格とすると)、簡単な試験だからαの値は大きくなります。
合格点が高いとき(例えば90点以上を合格とすると)、難しい試験だからαの値は小さくなります。
 
ここで重要なポイント。
 
統計における検定では、αの値は自分で決めるものです。
 
今回の例でいうと、
αの値を自分で決めるとは、試験の難易度を決めるということであり、
試験を作成する側の仕事です。
 
では、どのようにαを決めればよいのか?
 
多くの人たちは有意水準として
 
α = 0.01
α = 0.05 
 
を使っています。
ですので、α は 0.01 か 0.05 のどちらかにする、と思っておけば良いでしょう。
(0.01 =1%、0.05 =5% と書くこともあります)
α を決めるのに、特に計算をする必要はありません。
1%か5%の好きな方を選べばいいのです。
 
先ほども書きましたけど、αが大きいとき、合格しやすい簡単な試験になります。
α=1%  と α=5% で比較すると、
 
α=1% は、かなり難しい(合格点は、かなり高い)
α=5% は、ちょっと難しい(合格点は、ちょっと高い)
 
となります。

α=5% とは具体的にどういうことか、ちょっと復習してみましょう。
 
まあ、有意水準 αとは、1級の能力がないのにラッキーで合格した人の割合だと思ってください。
 
α =5%のときとは、
100人中95人は実力通り不合格になったけど、5人はまぐれで合格してしまう、
って感じだと思えば大体OKでしょう。
1級の能力が無い人でも5%の確率で合格してしまうくらいの難易度の試験である、ということです。
 
 
今回の例は、得点というデータをもとに、
 
帰無仮説:1級の能力なし
対立仮説:1級の能力あり
 
について判断する、という話でした。
得点は高ければ高いほど、対立仮説寄りなデータと見なせることに注意してください。
 
p値とは
  • 「1級の能力が無い人」が「ある得点以上」を取る確率
と説明しましたが、より具体的に考えてみましょう。
 
Aさんが受験して、60点を取ったとします。
このとき、Aさんのp値は
 
  • 「1級の能力が無い人」が「60点以上」を取る確率
 
になります。つまり、
 
  • 「1級の能力が無い人」が「60点と同じか、60点よりも良い得点」を取る確率
 
になります。Aさんの得点である60点を「現実のデータ」として、
仮説という用語を使って書き直してみましょう。
 
p値とは
  • 仮に「帰無仮説が正しい」とき、「現実のデータと同じか、その値よりも対立仮説寄りなデータ」が得られる確率。
になります。
 
ところで、
p値はコンピュータで自動的に計算されることが多いですので、
p値の求め方についてはあまり気にしなくても良いです。
重要なのは、p値の意味と使い方です。
 
 
今回のまとめ
p値とは、
  • 仮に「帰無仮説が正しい」とき、「現実のデータと同じか、その値よりも対立仮説寄りなデータ」が得られる確率。
p値の使い方
  • p値が小さい ⇒ 帰無仮説を棄却する ⇒ 対立仮説を採択する
  • p値が大きい ⇒ 帰無仮説を棄却できない
 
実際には有意水準 α と比較して判断する。
  • p値 < α ⇒ 帰無仮説を棄却する ⇒ 対立仮説が採択される
  • p値 > α ⇒ 帰無仮説を棄却できない
 
質問などがありましたら、コメントお願いします。
 
検定の記事は一旦終了します。
 
過去記事もありますので、よろしければ見てくださいね↓