ROC曲線

ROC曲線又稱為接收者操作特徵(receiver operating characteristic,ROC curve)
是一以[(1-Specificity)*Sensitivity]為x-y軸的圖形,可選定切截分數(cut-off point)

1.以假陽性率(False Positive Rate, FPR)為X軸,代表在所有陰性相本中,被判斷為陽性(假陽性)的機率,又寫為(1-特異性)。
2.以真陽性率(True Positive Rate, TPR)為Y軸,代表在所有陽性樣本中,被判斷為陽性(真陽性)的機率,又稱為敏感性。
3.理想的區分者應盡量靠近(0,1)點,換言之,假陽性率越低、真陽性率越高的狀況,越接近此點越合適作為切截分數。

4.曲線下面積(Area Under Curve, AUC)為此篩檢方式性能優劣之指標,AUC越接近1,代表此篩檢方式效能越佳。指標可參考以下條件。
AUC數值
解釋
1
完美分類器,無論cut-off point如何設定都可正確預測。通常不存在
0.5<AUC<1
優於隨機,妥善設定可有預測價值
0.5
同隨機,預測訊息沒有價值
<0.5
低於隨機,雖預測不及隨機,但反向操作可即可*
5.特別值得注意的是,即便落在m=1的線段以下區域,只要做出鏡相(相反判斷),仍可做出具有判斷性的結果,異言之,越遠離m=1的線段,其區分性能越好。

名詞定義:
  • True positive (真陽性,TP):代表檢測出有,且實際上有的狀況。
  • False positive(假陽性,FP):代表檢測出有,而實際上沒有的狀況。
  • True negative(真陰性,TN):代表檢測出無,且實際上無的狀況。
  • False negative(假陰性,FN):代表檢測出無,而實際上有的狀況。
  • True positive rate(真陽性率,TPR):代表所有陽性樣本中,得以正確檢測出陽性結果的機率,以TP/(TP+FN)計算,又稱為敏感性 (sensitivity)。
  • True negative rate(真陰性率,TNR,SPC),代表所有陰性樣本中,得以正確檢測出陰性結果的機率,以TN/(FP+TN)計算,又稱為特異性 (specificity)。
  • False positive rate(假陽性率,FPR):代表所有陰性樣本中,檢測出假陽性的機率,以FP/(TN+FP)計算,常以(1-SPC)的方式呈現。
註:常見而易混淆之四種指標(敏感性、特異性、陽性預測率與陰性預測率),其實可依據解讀者之身分為粗分為二類:
1. 「使用者」或「病人」取向:主要關心如何解讀其所得之陽性或陰性結果。其對應指標為「陽性/陰性預測率」,代表所得之陽性/陰性檢查結果,實際上得病/沒病的機率有多少。
2. 「研究者」或「工具」取向:主要關心篩檢工具之效能好壞。其對應指標為「敏感性與特異性」,代表實際上有病/沒病的人,被工具正確篩檢出陽性/陰性結果的機率有多少。
此外,尚需注意「陽性/陰性預測率」之指標會受到疾病盛行率等因素影響;而「敏感性與特異性」則為相對穩定的數值。

概念澄清:
  • ROC curve之各點,可由同一族群,以工具之切分點(cut off)當作變數逐一點出而得。
  • 可視使用目的而選取最佳切分點,選取原則可依Swets (1996)的建議:
    • 避免「猜有實無(假陽性)」:認為假陽性的結果是最嚴重且需要避免的,期望為降低假陽性、增加真陰性的機率。
    • 避免「猜無實有(假陰性)」:認為假陰性的結果是最嚴重且需要避免的,期望為降低假陰性、增加真陽性的機率。
    • 認為兩種狀況均等重要者,則會試圖同時提高真陽性與真陰性的機率。 
      • 無論選用哪個取向,都需要於事前仔細妥善評估,並且選用最合適的結果。
  • 曲線下面積(area under curve,AUC)可協助判別工具的優劣,並有其標準可供參考, 其估計值約為1/2(sensitivity + specificity)。
  • 真陽性率(TPR)與陽性預測率(Positive Predictive Rate, PPR)為不同概念,重點在於二者分母不同。
    • TPR以所有陽性樣本為分母,代表陽性樣本被檢測為陽性之機率,可寫為a/a+c。
    • PPR以陽性檢測結果為分母,代表陽性檢測結果正確之機率,可寫為a/a+b。
      檢測\真實
      陽性樣本
      陰性樣本
      總數
      陽性結果
      a
      b
      a+b
      陰性結果
      c
      d
      c+d
      總數
      a+c
      b+d
      a+b+c+d=total
  • 相似比(Likelihood ratio)則比較正確或錯誤預測的機率。
    • LR(+)表正確辨識陽性樣本之機率:錯誤辨識陰性樣本之機率=真陽性率:假陽性率=(a/a+c):(b/b+d)
    • LR(-)表錯誤辨識陽性樣本之機率:正確辨識陰性樣本之機率=假陽性率/真陰性率=(c/a+c):(d/b+d)
            

留言

張貼留言

熱門文章