[紀錄] - CAT-SoFun分析遭遇之問題：信度下降 & 測驗終止條件之矛盾

摘要

CAT-SoFun之分析遭遇二個問題：

(一) 信度下降：模擬資料中發現部份受試者之信度隨施測題數增加而下降之狀況。具體發生原因不明。可能影響測驗終止條件之設計與選擇。

(二) 分析結果矛盾：測驗終止條件「信度 ≧ 0.90 或 LRI < 0.005」所呈現之信度超過0.9的人數比率，比單純「LRI < 0.005」所呈現之信度超過0.9的人數比率高（86%比60%）。然而，此結果違背常理（因單純使用「LRI < 0.005」所得的信度應比使用「信度 ≧ 0.90 或 LRI < 0.005」好）。上述問題在於語法撰寫時未考量受試者同時符合「信度 ≧ 0.90」及「LRI < 0.005」之條件，造成個案測驗停止時機之錯誤（原語法會先判斷信度是否超過0.9，若否，才判斷LRI是否符合標準。然而這樣的做法，會在受試者先達成LRI條件時發生問題：因LRI先符合終止條件，故理論上其所完成之題數應比信度超過0.9所需之題目少。但原語法優先判斷信數是否達0.9，造成受試者完成超過符合LRI終止條件所需的題目，進而造成約25%的個案信度超過0.9）。此問題已藉由修改測驗終止條件之語法獲得改善，語法撰寫 / 檢驗之邏輯補充於下方。

探索進度

信度下降

(分析所用之資料已核對其正確性)

分析結果發現約有一百多次信度下降之狀況，每個人發生1~6次。

其中有3位受試者發生頻率最高（6次），以下列出此三位個案之信度改變量、作答題號、作答反應、能力估計值完成該題後的能力變化量，以進行深入分析。

我們原本預期信度下降可能與個案之能力估計值大幅改變有關（如個案選擇不符model預期之選項）。由於信度估計受SE影響，而SE之估計亦受能力估計值影響，故若個案之能力估計值大幅改變，將影響信度估計的結果。然而，上述結果發現這些個案之「完成該題之能力變化量」並沒有特別大，且能力估計之變化方向（增加 / 減少）亦沒有改變。所以，能力改變量並非主要影響的原因。

由上表資訊中可發現，三位個案之作答反應都屬於極端（為1或5），且出現問題之題目集中於16、17、18、20、21、24等題，或許與這些題目本身不足有關。然而，目前我們尚未具體掌握造成信度下降之原因。也許未來有更多線索時，再繼續探究。

信度下降之狀況可能影響分析結果，甚至測驗終止條件之選擇。然而，有鑑於信度下降之幅度並不大，且發生之狀況仍屬相對少數。與業太請教後，其建議我們將信度下降之狀況（即LRI < 0）納入測驗終止條件之一，並且與其他測驗終止條件比較後選擇較佳者。因此，我們目前之分析將納入上述條件，以找到兼具信度與施測效率之測驗終止條件。

**備忘：如採用「改變量之絕對值符合LRI標準」或者「改變量為正且符合LRI標準」能否解決此問題？ 未來可嘗試之。

分析結果之矛盾

我原本預期分析結果矛盾之問題在於語法撰寫錯誤。但我自行調整並參考怡靜學姐所提供的原始語法後，並沒有發現原語法撰寫之問題。在業太協助下，我們發現原語法中並妥善區分同時符合二種測驗終止條件之個案，進而影響分析結果。有鑑於本次語法撰寫過程中花費大量時間釐清分類之邏輯，且多有自行無法偵測之錯誤。因此，我將於以下記錄語法撰寫之邏輯、目前使用之語法，以及語法檢察之方法、條件數增加時之拓展原則等，以供未來應用時參考。

如測驗終止條件有二（簡稱為A和B），則依據測驗終止條件之觸發與否，共可分為四種（2*2）狀況。

因此，對應之判別概念可為：

if A | B; %如果A或者B發生 if A & B; %如果A和B都發生 = (+,+) method (A & B); %則對應A和B都發生的處理方法 elseif A; %如果只有A發生 = (+,-) method (A); %則對應只有A發生的處理方法 else; %如果只有B發生 = (-,+) method (B); %則對應只有B發生的處理方法 end else; %如果A或B都沒有發生 = 非A亦非B的狀況 (-,-) method (A' & B'); %則對應非A亦非B的處理方法 end

同時也可以從語法中是否包含所有可能之狀況，以判斷語法之邏輯是否有問題。

相對的，我原本撰寫之語法如下：

if A; %如果A發生 (+,-) & (+,+) method (A); %則對應只有A發生的處理方法  elseif B; %如果B發生 (-,+) & (+,+) method (B); %則對應只有B發生的處理方法 else;  %如果A和B都沒有發生 method (A' & B'); %則對應非A亦非B的處理方法 end

從上述的語法中可發現某一條件同時包含二個類別，

故能進一步發現分類邏輯之錯誤。

本次分析中亦使用到第三種終止條件之狀況，以下一併記錄之。

如三種條件分別以代碼A、B和C表示，

則三種條件之可能性共有八種（2*2*2)。

對應之語法可為：

if A | B | C; %如果A或B或C其中一個發生 if A & B & C; %如果A和B和C都發生 = (+,+,+) method (A & B & C); %則對應A和B都發生的處理方法 elseif A & B; %如果A和B都發生 = (+,+,-) method (A & B); %則對應只有A和B發生的處理方法 elseif A & C; %如果A和C都發生 = (+,-,+) method (A & B); %則對應只有A和C發生的處理方法 elseif B & C; %如果B和C都發生 = (-,+,+) method (B & C); %則對應只有B和C發生的處理方法 elseif A; %如果只有A發生 = (+,-,-) method (A); %則對應只有A發生的處理方法 elseif B; %如果只有B發生 = (-,+,-) method (B); %則對應只有B發生的處理方法 elseif C; %如果只有C發生 = (-,-,+) method (C); %則對應只有C發生的處理方法 end else; %如果A或B或C都沒有發生 = 非A、非B亦非C的狀況 (-,-,-) method (A' & B' & C'); %則對應非A、非B亦非C的處理方法 end

本次語法都包含上述八種狀況，故結果應屬完整。