影響反應性之因素[討論]
[主題]
備反應性的前提是：良好的效度（單向度 & 區辨力）與信度（隨機測量誤差）。
1. 具備區辨力（無 floor & ceiling effects），可區辨不同（欲測量特質）能力者之差異
2. 上述的概念類似於評估工具對於不同能力者之測量標準誤(standard error of measurement)低
3. 評估之工具項目具備單向度
＊ 一般實驗室儀器，大多具備區辨力（尤其是對於特定能力階層者），然而其 SEM 大多不低（甚至很高），故反應性不佳。
＊ 一般量表大多藉由增加量尺或題目以期增加區辨力，然而必須確定各量尺或項目確能呼應個案之能力，而且未與其它項目或量尺重複，否則只是多餘。
有獎徵求圖示，以呈現上述概念！意者請恰老師，事先溝通一下。
from謝老師blog：http://atriptouq.blogspot.tw/2013/08/for.html
[問題與討論]
[內容]
反應性意指呈現個案變化之能力，需比較兩次測驗結果之間的變化，屬於longitudinal之比較，其受單向度、區辨力以及測量誤差影響：
單向度屬於效度之範疇，理論上為檢測題目與其建構之關聯性，概念上為影響題目之因素僅包含欲測量之特質(建構)與測量誤差，換言之，非單向度之題目，除欲測量之特質與測量誤差外，亦受其他特質影響結果。
區辨力屬於效度範疇，偏屬現代題目反應理論，重點為題目自簡單至困難應充分且具良好排列，各能力程度都具對應之題目以供檢測，得以充分區辨不同能力族群之個案，換言之，各能力程度之個案皆能列於適切的量尺位置上。
測量誤差可分為系統性誤差與隨機誤差，前者為因工具本身與程序造成每次檢測都會出現之誤差，後者則為非特定因素且隨機出現之誤差，此主要討論之主題為隨機誤差。隨機誤差可以測量標準誤(SEM)作為指標，基於誤差造成測驗結果分數落在一個區間，而非單一定點，如誤差大則區間範圍廣泛，容易造成測量結果之重疊，進而影響分數之判讀。
總結以上，如題目於內容方面具單向度特質，可確保分數直接反應為理論所欲測量之特質，而縮小測量誤差，可增加分數之精確性，有助於提升區辨力，進而得以將不同能力之對象給予良好之排序分別。
2013.09.06更新
備反應性的前提是：良好的效度（單向度 & 區辨力）與信度（隨機測量誤差）。
1. 具備區辨力（無 floor & ceiling effects），可區辨不同（欲測量特質）能力者之差異
2. 上述的概念類似於評估工具對於不同能力者之測量標準誤(standard error of measurement)低
3. 評估之工具項目具備單向度
＊ 一般實驗室儀器，大多具備區辨力（尤其是對於特定能力階層者），然而其 SEM 大多不低（甚至很高），故反應性不佳。
＊ 一般量表大多藉由增加量尺或題目以期增加區辨力，然而必須確定各量尺或項目確能呼應個案之能力，而且未與其它項目或量尺重複，否則只是多餘。
有獎徵求圖示，以呈現上述概念！意者請恰老師，事先溝通一下。
from謝老師blog：http://atriptouq.blogspot.tw/2013/08/for.html
[問題與討論]
- 內部一致性與單向度之異同：內部一致性屬於信度類別，原始概念為使用多道題目檢測同一建構，理論上應較使用單一題目檢測而有較高穩定性；單向度似歸類於效度，依reflective model而言，測驗之向度與其項目應基於相同建構，換言之，單一向度之內各項目應檢測相同內容，而各向度之間應收斂於同一建構之上，因此總分之高低可做為評量表現優劣之參考。則，此二者之差異為何？
- 資料整理：
- 內部一致性屬於信度範疇，檢驗各題目分數之間與總分之一致程度，以Cronbach's α方式檢驗，然影響α值之因素繁多，如題目數量夠多時，即便題目相關性低，亦呈現高α值之狀態，因此α值高並不代表內部一致性高。Cronbach's α之理想範圍 介於0.7~0.9，若 α >0.9則表示其題目重複，對於維持信度沒有幫助。
- 單向度則屬於效度範疇，討論的是各題目與其理論建構之關聯，換言之，影響題目分數之因素僅包含欲測量之特質及其測量誤差，不受其他因素影響。理論上具單向度特質之工具，其內部一致性應有一定水準，然具備內部一致性之工具，未必具有單向度特質。
- 於本模型中，反應性=效度+信度，其效度指區辨性之特質，而信度則為低隨機誤差，以SEM做為參考指標。
- 此工具之區辨性與工具之反應性之關聯為何？ 是否指可明確區辨兩不同族群，並可於重複測驗中呈現個案能力由 A族群轉移至B族群之過程，可視為其能力變化？
- 討論：反應性的概念在於比較兩次測量結果，得以呈現個案能力之變化，屬於longitudinal之比較；而區辨力偏屬現代題目反應性理論之概念，重視題目應具難度之區別，並於簡單到難間有良好排序，使各種能力皆有對應題目檢測，因而得以呈現區別兩個案之間的能力差異，屬於cross-section之比較。
- 試解釋後續實驗室儀器例子，基於上述模式，其應有嚴謹定義與充足題目，因而具有良好區辨性，但因其隨機誤差大，故難以解釋分數變化原因為誤差或者是個案能力轉變，故反應性差。此解釋方式是否正確，或者有所不足之處？
- 討論：於研究室儀器的例子而言，實驗室儀器通常將量尺切割細緻，使用小單位或者小量尺，可呈現細微變化，因而具有良好的敏感度，儘管切割細微與隨機誤差之間未必有直接關係，但通常容易造成隨機誤差之增加。隨機誤差為非特定因素且隨機出現之誤差，影響評估結果之呈現非單一點，而屬於一個範圍，通常以測量標準誤(SEM)之概念衡量，如工具具有較小的隨機誤差，則代表其分數範圍收斂於較小的範疇，因而數次測驗結果間分數的重疊可能性因而下降，因此可提升其反應性。
[內容]
反應性意指呈現個案變化之能力，需比較兩次測驗結果之間的變化，屬於longitudinal之比較，其受單向度、區辨力以及測量誤差影響：
單向度屬於效度之範疇，理論上為檢測題目與其建構之關聯性，概念上為影響題目之因素僅包含欲測量之特質(建構)與測量誤差，換言之，非單向度之題目，除欲測量之特質與測量誤差外，亦受其他特質影響結果。
區辨力屬於效度範疇，偏屬現代題目反應理論，重點為題目自簡單至困難應充分且具良好排列，各能力程度都具對應之題目以供檢測，得以充分區辨不同能力族群之個案，換言之，各能力程度之個案皆能列於適切的量尺位置上。
測量誤差可分為系統性誤差與隨機誤差，前者為因工具本身與程序造成每次檢測都會出現之誤差，後者則為非特定因素且隨機出現之誤差，此主要討論之主題為隨機誤差。隨機誤差可以測量標準誤(SEM)作為指標，基於誤差造成測驗結果分數落在一個區間，而非單一定點，如誤差大則區間範圍廣泛，容易造成測量結果之重疊，進而影響分數之判讀。
總結以上，如題目於內容方面具單向度特質，可確保分數直接反應為理論所欲測量之特質，而縮小測量誤差，可增加分數之精確性，有助於提升區辨力，進而得以將不同能力之對象給予良好之排序分別。
2013.09.06更新
以下幾點想跟您澄清：
回覆刪除1. 內部一致性屬於信度，故Cronbach's α數值可呈現各題目所得分數之一致程度，但無法呈現題目間是否測量相似「概念」。
2. Cronbach's α值易受題目數影響，並非易受樣本數影響。題目越多（例如>20題），即使題目間低相關，Cronbach's α值仍高。
3. 反應性為量表是否能呈現個案longitudinal變化之能力，與區辨效度相關，但概念不同，區辨效度為cross-sectional之怎間。建議修改您對於反應性之說明（[內容]第一段）
4.
4. 題目數量與量尺大小之判定，也依據評估目的而訂。若是篩檢工具，則題數與量尺不需太多，以省時且方便評分；若是評估工具，則題目與量尺須較多，以提升精確性與區辨力。
回覆刪除感謝回饋: )
刪除已經針對內容進行修改~~
以下是我對於單向度、區辨力及信度為什麼會影響反應性的看法：
回覆刪除單向度：單向度的評估工具其重複評估之結果應較為穩定。若一測驗為單向度測驗，此測驗之評估結果（理論上）僅受欲評估之特質及隨機測量誤差影響；然而測驗若非單向度（意即除欲評估之特質外，尚評估到其它的特質），則評估結果除受到欲評估之特質及隨機測量誤差影響外，尚會受到評估工具評估到的其它特質影響。
區辨力：區辨力指可以評估工具可區辨不同能力的個案之程度（cross-sectional之概念）。換言之若評估工具之區辨力不佳，則無論什麼程度的個案接受評估後的結果（分數）都差不多。如果評估工具具有區辨力，當個案之能力進步時（可想像成個案從某一族群提升至能力較好的族群，如從嚴重程度嚴重變成輕微），評估工具較可能偵測的到（反應性之概念）。
信度：評估工具若具有良好的信度，表示隨機測量誤差較小。若個案能力改變的量沒有超過評估工具的隨機測量誤差，則施測者無法藉由評估結果之改變判斷個案之能力是否「真的」有改變。因此隨機測量誤差較小的評估工具較有潛力可敏感地偵測到個案能力之改變（反應性之概念）。
感謝說明與比較，能更清楚掌過定義與作用影響。
刪除已經嘗試修改內容，將再斟酌調整: )