!COMET再測信度分析之歷程與結果

分析歷程 & 結果:
1. 共57位受測者完成初評與再評
2. 發現1位受試者於初評的答對率過低,可能為無效作答(該受試者都回答「厭惡」,且反應時間多為1秒),故予以刪除。
3. 發現4位受試者於初評與再評之「練習題」或「控制題(猜測照片中人物之是否超過40歲)」表現差異過大(正確率差異超過40%),顯示受試者作答狀況可能改變故予以刪除
4. 共52位受試者進行再測信度分析,結果如下:


此結果顯示COMET的再測信度大致介於可接受至良好的範圍 (ICC = 0.68~0.89)。
影響COMET再測信度之可能原因有三:
(1) 缺乏能力極好、差的受試者,可能低估個體間差異的程度,進而低估ICC數值。
(2) 部分情緒(如平靜)具低度練習效應,可能造成受試者於初、再評之分數不一致,進而降低再測信度。
(3) 部分題目之正確率過低(僅有11~13%的人答對),可能代表該題目易混淆受試者,進而增加其二次作答的不一致性。

上述問題的解決方法為:
(1) 增加樣本數,特別是能力極差、好的受試者。
(2) 於正式測驗前增加練習題數,以降低不熟悉等因素造成分數變化。
(3) 修改COMET,去除不適合之題目(如答對率過低),以提升測驗的精確性。

------------------
補充:7個情緒次量表與總分之Bland Altman Plot








 




留言

熱門文章