2014.03.14 教育及心理統計(三) 多重比較

F檢定之後？

• 不顯著--保留虛無假設，結束。
• 顯著--拒絕虛無假設，得知其中至少一組與它組不同，進行多重假設分析。

多重比較 

• type of error rate : PC≦FW≦alpha
• error rate per comparison (PC)：個別比較的alpha，以a'描述之
• family error rate (FW)：整體之alpha，可理解為至少犯一個type I error的機率，計算方式為1-(1-a')^C，其中進行C次檢驗。
• 事前比較vs事後比較
• 事前比較：檢驗前已鎖定特定對象後，可能基於以往研究或經驗，進行比較並理解特定關係。
• 事後比較：檢驗後發現不同，從而檢視何者不同，屬於探索性的模式。

事前比較

• multiple t tests：最簡單，此作法的缺點為未能控制整體alpha。
• 變異數同質  因E(MSE)為o^2的不偏估計，並以MSE之df取得自由度。
• n相等
• n不等
• 變異數不同質  使用s當作分母處理之。
• n相等
• n不等（Welch法）
• linear contrasts： 
• linear combination 線性組合：將所有數值加總，呈現係數為1之線性組合。
• L=CX+CX+CX+CX...，則當C=1時，L為X之總和。
• 當C=1/J，則L為X之平均。
• linear contrasts 線性對比：於上述加總的狀態中，如係數總和為0的狀況，稱為linear contrasts，於線性對比的狀況下，依照各組係數之排列關係，可看出為何者之間的比較，如：
• 1 -1 0 0：為第一組與第二組的比較。
• -1 -1 1 1 ：為第一組與第二組，和第三組與第四組之比較。
• 1/3 1/3 1/3 -1：為第一組、第二組與第三組及第四組之比較。
• 其變異數：同樣L的狀態，因變異數為平方概念，將常數C提出後呈現平方狀態，而樣本平均數之抽樣分配依據CLT呈現o/n，因此描述為s^2/n。
• 其抽樣分配來源為常態分配，因常態分配的加減處理結果仍為常態。
• 假定F為t^2，則可將該式平方，其中MSE為SSE/df，分子可定義為SS/1，而此為卡方分配/卡方分配，因此得到F分配之對照。
• 總結而言，定義各組係數，取得其sum of square，並且計算F值並比較F分配，搭配虛無與對立假設之描述。
• 虛無假設可寫為L=0，或者(u1+u2+u3)/3-(u4+u5)/2=0
• Orthogonal contrasts 垂直(獨立)正交，為各SS之間的關係
• 當linear contrasts成立(係數總和為0)，且係數乘積總合為0者，稱為orthogonal contrasts，如：
  狀況一：1*1+1*(-1)+0*(-2)=0，符合
• 1 -1 0
• 1 1 -2
• 如Orthogonal contrasts成立，可將SS for between拆解成J-1部分(當自由度為J-1時)，概念上將大圓拆解成數個彼此不重疊的片段，並且將片段總和則同大圓。
• Bonferroni t (Dunn's test)
   除概念較簡單，且有現成表單可以查詢/整體概念為控制alpha rate。
• 基於Bonferoni inequality(不等式)：事件發生的機率，至多為所有事件機率之總和。
• FW≦a+a+a+a+a.......，表整體的alpha至多為個別比較之alpha加總。
• 當所有的alpha相等時，FW=ca(有c個alpha)，因此總出錯率為a/c。
• 基本上同F檢驗，只是會控制alpha，使用Dunn's table 查臨界值(以df和C,比較次數查表)。
• Dunn-Sidak tests (based on multiplicative inequality) P(FW)≦1-(1-a)^c
• a'=1-(1-a)^1/c
• 基本上Bonferroni的作法與Dunn-Sidak的作法結果相似，唯前者較簡易而廣為應用。

• Holm test
• 作法類似Bonfferoni，唯一差別在於其假定的alpha rate不同，Bronfferoni為平均分配並彼此相等，而Holm的做法則為各自不同，總和一致。
• 概念上，將t自小排列到大，並依序給予其alpha為a/1,a/2,a/3,a/4：
• 計算所有contrasts，依t'數值大小排列(無論正負，從小到大)，依序查表得出臨界值從而比較。
• 控制family error rate不超過alpha：
• 使用Bonferroni：查Dunn's table。
• 使用Holm：查Dunn's table。
• Holm法之CI比較窄，比較powerful。
• alpha大，表其臨界值小，信賴區間小，拒絕區域大，較容易拒絕虛無假設，比較powerful。
• Larzelere and Mulaik test： equivalent to Holm's test，但用在correlation coeffs可控制FW
• 重點為其適用於檢定相關，而非平均數假設檢定。
• 其針對不同比較對象，給予不同的alpha rate，其計算方式a'=a/(k-i+1)，其中k表示進行比較之次數，i表自大排到小的排序。
• 因此，總比較數大的時候，其a'數值會比較小。
• 排序較小者(表其相關性較大者)，其alpha較大；排序較大者(相關性較小者)，其alpha較小。
• 但使用Bonferroni則所有的alpha皆為a/k。

事後比較

• Fisher's Least Significant Difference (LSD) Procedure, Fisher's Protected t test
• 其檢驗公式與multiple t tests類似，然而其概念有所差異在於LSD需要顯著F之後才執行，且如果虛無假設為真，可保證其FW=alpha；但如果虛無假設不為真，則整體 F檢定無法確保其FW。
• 故有人不建議使用此法。
• (student) Newman-Keuls test：計算組間差別，並調整其自由度r=i-j+1，又稱為range或step，表其隨組數變化而來。(注意此r指自由度)。
• 此作法的缺點同LSD，無法妥善管理alpha rate。
• 定義W=q根號(MSE/n)，而q之r為(i-j+1)，表其受到其所在欄位影響，故可得數個W值。
• 將平均數依大小排序後，橫軸為i，縱軸為i，因此第一欄位的應該為2-1+1=2，同理。
• 第四行第二列的數字，應為4-2+1=3。
• 除傳統的星號表示方式，也可使用線段表示其差異(達顯著者為不同線段，不顯著者在同一線段)。
• Tukey's honestly significant difference (HSD) tests
• 如果所有比較都是pairwise，則可控制FW。
• 如果都用在pairwise comparisons，可使用Tkey's HSD tests。
• 其也可用在非pairwse comparisons，但此狀況比較適合使用Scheffe 法。
• 通常使用在樣本數相等的情況，如樣本數不同則稱為Tukey-Kramer procedure。
• D=HSD=q根號(MSE/N)，對n相等。
• Tukey-Kramer procedure因n不等，因此需要調整加權後再使用。
• Behrens-Fisher approach：當變異數不同質，修正其自由度後再查表。
• 此作法允許N與變異數不同之狀況。
• The Ryan Proceudre (REGWQ, Ryan/Einot/Gabriel /Welsch)：
• Tukey較複雜，但較能控制FW
• Newman較powerful，但無法妥善控制fW
• 其各自有不同的處理方式，但因計算之困難，因此多使用統計軟體執行。
• 
  

Studentized Range Statistic (q)

• q=(Xl-Xs)/根號MSE/n，其中Xl表最大平均數，Xs表最小平均數。
• 對照q之分配，考慮alpha, r df，其中r表組數。
• q與t的關係為，q=t根號2。
• 將公式移項調整後，可另D=最大最小平均數差=q根號(MSE/n)，其意義代表二組差異達顯著之最小值。