2014.09.29 心理測驗(五) 測驗編制與修改
題目撰寫與修改
- 文字流暢並兼具創意
- 建議不優先參考既有測驗，以免限縮創意
- 測驗編制注意事項
- 善用指導語：讓受試者可盡量配合，應避免：
- 不清楚的指導語
- 曖昧模糊的描述 (e.g. 我通常很早起床，個人對於"很早"、"通常"定義分歧)
- 無意間提供的提示 (e.g. an ; 一項 )
- 複雜語句
- 雙重否定：如"我不是不同意您的意見"
- 避免讓受試者有太多認知負擔，造成看錯題目、回答錯誤之狀況
- 複雜句型：如"我喜歡羽球和桌球"(則僅偏好其中一種如何作答?)
- 通常為單題中包含多個概念
- 單題應僅包含一個概念
- 詞彙應用之合適性：如"令堂"、"賤內"、"小犬"、"機車"
- 用詞、語句是否適用於特定族群
- 需呼應測驗主題與目標
- 敘述過長
- 受試者不易聚焦、了解題目意涵
- 正/反向題
- 主要為了避免受試者之作答傾向
- 重視題目所問之內容與整體測驗目標的一致性
- 而非單純題目有無否定意涵
- 務必記得反向計分
- 理想的測驗應包含正、反向題
note：然而部分研究指出，反向題並非單純的正向題之相反，可能表徵另外一種建構。 - 負面描述
- 因此受試者在面對負面敘述時需更多的認知程序
- 奇數/偶數選項
- 選用奇數點則允許受試者選擇中庸(不好不壞)之選項
- 選用偶數點迫使受試者必須做出正、負面之選擇
- 此選擇包含價值判斷，應呼應測試目標而來
- 文化偏差
- 題目可能受到文化、團體之差異引起作答之差別
- 偏鄉與都市兒童對於都市文化之熟悉度差異
- 避免歧視意涵
- 原住民 vs 山地人
- firefighter vs fireman
- 對隱私之侵犯
- 詢問與主題有關且必要之題目
- 如您是否曾罹患憂鬱症
- 翻譯為其他語言之可能
- 是否應翻譯成其它方言？
- 若不易翻譯，將造成不同語言族群之影響
- 友善排版
- 測驗版面是受試者直接接觸的媒介
- 如何使受試者易於作答、感受正面
- 選擇題注意事項
- 每個選項長度相仿
- 每個長度之描述相似
- 避免過多、過少人作答之選項
- 避免以上皆是、以上皆非的題目
- 因此類型之題目，答對與答錯之意涵不明(相較於具有明確建構者
- 避免冗詞贅字
- 由非參與編制人員協助校對
- 量尺評分之選擇
- 奇數點與偶數點的抉擇
- 錨點語詞之選用
note：曾有語詞研究，將詞庫中的描述經測驗平鋪於同一量尺上，後挑選近似等距的語詞作為測驗之用(符合interval之假設)
note2：也有研究指出，當二極端均有對應詞彙時，測驗之信度將較高 - 二階段作答：解決中間作答偏好之方法
- Direction：先選方向
- Intensity：再選強度
note：研究指出，二階段問法的較可能引出極端選擇
note2：此種方式較有利於長者作答 - 怪異題目：有助於判斷受試者之認真程度
- 避免過於唐突之題目：讓受試者難以認同(甚至懷疑施測者之正常性)
- 明顯對錯之題目：用以判斷受試者之作答認真程度，如"我有時會氣得想揍人"(如受試者一致否認，可能顯示受試者的不真誠或有其他因素干擾)
- 題目優劣：題目指標之判讀，必須與測驗目的相呼應
- 可信
- 有效
- 具鑑別力
- 客觀之發展者
- 項目分析：下列二個指標為測驗項目之信、效度，可協助我們選擇可提升效度之題目，而非整份測驗之信、效度
- item reliability index：與某一種信度相關
- item validity index：與某一種效度相關
審題：質的分析
- 專家：對此主題、相關領域者，針對內容進行評論
- 小樣本：受測對象，針對用語、題意及施測時間之預估
- 有時會選擇能力較預設目標為低的族群進行適用(如主要應用於國中，則找國小
- think aloud：請受試者實況報導出作答過程中的感受、思考歷程
- 施測使用者：施測、計分、結果解釋之難易？ 費用？
- 如治療師、老師進行試用
- 如三角立牌的施測模式，大幅減少施測者的負擔
預試：量的分析
- 樣本代表性與大小
- 具代表性，涵蓋欲測量母群之特質
- 樣本大小，主觀判斷(本課程則規定N≧100；題目≧20題)
- 施測情境(應與正式測驗一致)
- 指導語
- 時間限制
- 在預試時可能視狀況調整、延長施測，因需納入資料以利題目的項目分析(特別是限時測驗，越後面的題目越少人可以做到，造成分析資料不足
- 施測氛圍
項目分析(CTT or IRT) (略，參考：)
選題：綜合上述，挑選題
- 內部一致性(與所屬分量表之相關應高於與其它分量表之相關)
- 與作答虛飾傾向相關性低
- 因素分析
- 依內容與理論基礎而分類
信度研究
效度研究：近代測驗不僅討論測驗內的效度，也考慮測驗之後果(不期望任何測驗造成不必要之影響)
note："工作氣質測驗"，藉由比較工作滿意度與工作氣質相關之高低，並參考個職業熟練之時間，組成各職業之氣質組型。藉此方式建立氣質與工作滿意度之相關，作為其效度驗證。
e.g. 職業大客車(偏好單純 & 世故順從)
note："工作氣質測驗"，藉由比較工作滿意度與工作氣質相關之高低，並參考個職業熟練之時間，組成各職業之氣質組型。藉此方式建立氣質與工作滿意度之相關，作為其效度驗證。
e.g. 職業大客車(偏好單純 & 世故順從)
常模建立
指導手冊撰寫與測驗出版
- 使用者手冊：
- 測驗說明介紹
- 施測方式說明
- 測驗計分說明
- 測驗結果解釋說明
- 技術手冊：
- 統計與驗證資訊
- 通常具備use friendly之特質
後續研究資料累積與測驗編修
- 新的未必較好(視需求而定)
- 考慮內容時效性、使用頻率、受試者與使用者回饋等因素
留言
張貼留言