2014.12.1 心理測驗(十八) 效度
MTMM
- 使用多元相關矩陣呈現
- 對角線(測驗與本身的相關)，概念同再測信度
- 故曰測驗信度為測驗間相關的最大值
- 在MTMM中，假設每個測驗分數有二個來源：(1)測驗建構(trait) (2)測驗方法(method)
- 名詞解釋(僅限MTMM)
- 信度：測量相同特質且使用相同方法的測驗分數之相關，落在主對角線上，即為測驗相關的最大值
- 收斂效度：測量相同特質但使用不同方法的測驗分數之相關
- 發散效度：測量不同的特質，且不論測量的方法之相關
- Method bias：測驗信度與收斂效度相似程度高，則其偏差程度較小
- same pattern of inter-traits relationships
- 使用相同方法的結果，應較使用不同方法的結果來的更為相關
- 如有多組比較，這樣的特質應該穩定出現在所有比較中
- 舉例而言：
- 測驗建構：生活品質 & 社會功能
- 測驗方法：受試者自評(問卷) & 受訓評估者(performance-based)
- 上述的結構可以交織出四種測驗，依序為：
- 受試者自評的生活品質問卷
- 受訓評估者的生活品質測驗
- 受試者自評的社會功能問卷
- 受訓者評估的社會功能測驗
- 解由比較其相關矩陣，而能得到MTMM的比較結果，如信度、收斂/發散效度
- 注意事項：
- MTMM是收斂與發散效度定義的延伸，實為其中一種效度指標，而非絕對。 若需考慮收斂與發散效度，仍應使用原始概念
- 對於相同的測驗建構，至少需有二種以上的資料收集方式(如自評、他評、投射等)
- 備註：
- 收斂效度是採用不同方法測驗相同建構的測驗分數間之相關？
- No, 此定義僅限於MTMM方法中，且MTMM僅為其中一種驗證的方法。
- 收斂/發散效度的原始定義為「二個評估工具之間的相關性」，如智力測驗量表與憂鬱量表之間的相關性(應該低)。
- MTMM是1950年代發展，至今仍在討論的方法
- 但是使用率不高， 因收案成本甚高
- 現在的MTMM大多使用SEM的方法執行，因此學者聚焦討論如何建構其model以驗證之
- WAIS的分數與其他智力測驗分數相關係數高，則代表其具有效標關聯效度？ 收斂效度？ 或者其它？
- 此相關係數高，可以代表其具有效標關聯效度高，同時也表徵具有收斂效度高
- 同樣的，如與總分的相關性可做為鑑別度指標，也可做為內部一致性的指標
因素分析(factor analysis)：通常用在項目分析以及效度研究
- 應用
- 項目分析：選出合適(排除不合適)的題目
- 效度研究：驗證測驗的結果是否如原先設計具有相同的建構
- 發展者
- Charles Edward Spearman
- Louis Leon Thunstrom
- Spearman's two factor theory (用於智力測驗，認為測驗結果均與g-factor相關，而其線段間的關係則為因素負荷量)
- general factor
- specific factor
- 理論：解釋變項之間的相關
- 備註：(是否該去修一下FA跟SEM。。。)
- 轉軸
- 維持90度的轉軸(正交轉軸)
- 不維持90度的轉軸(斜交轉軸)
- 針對測驗之間的相關進行分析
- 起始狀態只要一組因素負荷量，即可在因素空間將變項定位
- 因素負荷量是單一因素對測驗表現之間的影響
- simple structure：期望負荷量大的就很大，小的很小，可以一目了然
- 轉來轉去可以有很多種轉法，但是有一種轉法可以把因素影響看得很清楚
- 因素負荷量≠變項與因素間的相關(只存在於變項與因素之間零相關時)
- 如果因素之間有更高階的概念存在，可用high-order FA
- 如在四個智力的次項度中加上一個普通智力的概念
逕路分析(path analysis)
- 可用以檢視依文獻建立的模型是否為真
- 檢視的重點為建構間的相關性
- 可用以驗證理論的位階
結構方程模型(Structural equation modeling)
- 是徑路分析與因素分析的結合體
- 發展者：Karl Gustav Joreskog (LISERL)
- 應用
- 驗證性因素分析(CFA)
- 圈圈：因素，潛在變項
- 框框：觀察變項
敏感性與特異性(sensitivity & specificity)
- 如MMSE常用以檢測失智(滿分30，cut-off point為26分)
- 屬於篩檢量表
- 為快速篩檢有問題者，因此設立切截分數(cut-off point)
- 名詞解釋
- 敏感性：篩檢工具判定有病的個體，實際上有病的百分比。
- 特異性：篩檢工具判定沒病的個體，實際上沒病的百分比。
- 切截分數的設定： 依目標而定(對於錯誤決定的代價有多高)
- 理想的切截分數應有較高的敏感性與特異性
- 這是效度研究的一種方式，但是不屬於相關的類別
項目指標 & 測驗信、效度指標
- item validity index ?
- 實際上是幫助挑選具有效標關聯效度的題目(因其計算公式展開即為相關性)
- 研究者可以自行決定是否使用這些項目指標
- 也包含使用那些效標作為參考基準
五四三&補充專區：
- 魯賓遜漂流記的作者Daniel Defoe談學習：
- 「叫不出課名」的老師，Rev.Charles Morton，認為
- "教育的目的是培養學生讀更多的書"
- a scholar V.S a man of learning ? What's the different?
- 較是不是販賣知識的地方，而是老師與學生組成教與學的舞台
- 效度之發展與內容
- 內容效度
- 概念於自於教育領域，教師須能判斷測驗的內容是否符合其所考驗的學生能力。 例如教師預測良學生對數學運算(加減)的程度，而須考慮題目是否只測驗到加減而沒有參雜其他要素。
- 內容效度是指測驗題目是否具有代表性，著重於題目內容本身，而非作答的型態。因此，雖然後續的建構效度有類似的概念(測驗是否測量到其欲測量的特質)，但那是依據作答反應而分析的結果。
- 效標關聯效度
- 拓展到企業使用，因此重點為選材，著重其績效表現。
- 效標關聯效度依據推測的績效表現，而可分為同時效度與預測效度。同時效度為與測驗同時的其他測驗之表現，而預測效度則為測驗可預測其他時間點的效標之表現。
- 具有同時效度的測驗，某種程度也可宣稱其具有收斂效度(依照理論測驗建構與其它建構之間的關係)
- 建構效度
- 後續心理學發展過程中重新重視效度的意義，認為效度研究應回歸效度的基本定義，即考驗測驗是否測量到其所欲測量的建構？
- 前述的內容效度與效標關聯效度，某種程度也間接地支持建構效度的驗證。
- 常用因素分析、收斂/發散效度或SEM等方式驗證
Summary
- 傳統的效度
- 內容
- 效標
- 建構
- 其他的效度議題
- 並非只考慮技術層面的運算
- 測驗情境與目的的媒合
- 測驗結果對個體的潛在影響與風險
- 五個效度驗證的來源
- 測驗內容 (內容)
- 反應過程：著重作答反應的歷程( 建構)
- 內部結構：題目內部之間的相似性(建構)
- 與其它變項的相關(效標關聯&建構效度中的收斂與發散)
- 測驗結果的影響
留言
張貼留言