• S-value, Shannon information

$$ \log_{\frac{1}{2} } \left( \text{P-value} \right) $$

• P値は手元のデータと統計モデルの適合性の良さ compatiblity の程度を示す指標
  • P値が低いことは，手元のデータがP値計算に用いた「統計モデル」と相性が悪いことを意味する
    • P=1.00であれば perfect compatibility，P=0.00であれば perfect incompatibility
• P値は 0〜1 に収まる「確率」であるが，なかなかこの compatibility が「どのくらいモデルに適合しているか」という直感的解釈に落とし込むのは難しい
• たとえばP値がある統計モデルでは 0.05 になるが別の統計モデルでは 0.005 になるとき，この「変化の大きさ」を直感的に解釈することは難しい
  • そこで，P値を 1/2 の何乗か？という数値に落とし込む「S値」が提案されている¹⁾

• P=0.5 のとき S=1.0 となるが，これは1回のコイントスでオモテが出る確率と解釈できる
• P=0.05 のとき S=4.3 となるが，これはコイントスでオモテが連続4回ほど出る確率と解釈できる
• P=0.005 のとき S=7.6 となるが，これはコイントスでオモテが連続8回ほど出る確率と解釈できる

• S=5.0 以内かどうか（だいたい 97%信頼区間で解釈するのに等しい）が compatibility の指標によいかもしれないと提案されている
• S=0 が最低値（このとき P=1.00）

• 利点：P値を「だいたい1/2 の何乗なのか？」で判断できるため，その変化度を「直線的」に解釈できる
• 欠点：S値は「P値を直感的に解釈しやすくするために計算し直したもの」に過ぎない
  • 認知的な歪みを小さくするだけである

At best, a 95% confidence interval roughly indicates an entire region of high compatibility between the data and possible parameter values within a given model, as judged for example by having less than 4.3 bits of information against the values inside the interval (Using S-values, a simpler and arguably better range for claiming “high compatibility” would be a 5-bit interval (≈ 97% “confidence”.).

95%信頼区間は，せいぜいデータとモデル内のパラメータ値の適合性が高い領域全体を大まかに示すものである．例えば，区間内の値に対する情報が4.3ビット以下であることで判断される．S値を使えば「適合性が高い」と主張するより単純で良さそうな範囲は，5ビット区間（≒97%「信頼」区間に該当）であろう