検査の信頼性の評価
級内相関係数と一致係数の使い分け
ある検査の信頼性を評価するには、その検査の結果がどのような数値を取るか、評価者内での再現性と評価者間の信頼性のどちらを評価したいのかで、用いる検定が変わってきます。
検査の結果が取る数値が
連続尺度・・・エーベルの級内相関係数:ICC(Ebel's intraclass correlation coefficient)順序尺度・・・ケンドールの一致係数:W(Kendall's coefficient of concordance)名義尺度・・・コーヘンの一致係数:κ(Cohen's coefficient kappa)
さらにICCでは、評価者内信頼性(intra-rater reliability)か評価者間信頼性(inter-rater reliability)かで以下のように使い分けます。
1人の評価者が複数回評価した時の評価者内信頼性・・・ICC(1,1)1人の評価者が複数回評価した時の評価平均の信頼性・・・ICC(1,b)bは評価した回数複数の評価者が1回評価した時の評価者間信頼性(変量モデル)・・・ICC(2,1)複数の評価者が1回評価した時の評価平均の信頼性(変量モデル)・・・ICC(2,b)複数の評価者が1回評価した時の評価者間信頼性(母数モデル)・・・ICC(3,1)複数の評価者が1回評価した時の評価平均の信頼性(母数モデル)・・・ICC(3,b)bは評価者の人数
変量モデルは、多くの人間の中のたまたまb人を取り出して評価…