Clinical Journal Club 5. ROC曲線
ROC曲線(Receiver Operatorating Characteristic curve、受信者動作特性曲線)は、もともとレーダーシステムの通信工学理論として開発されたものであり、レーダー信号のノイズの中から敵機の存在を検出するための方法として開発された方法です。臨床研究では、連続変数である独立変数と二分変数であるアウトカムとの関係の強さを評価する方法として、しばしば診断検査の有用性を検討する手法として利用されています。
ROC解析を行う前提条件としては、独立変数が連続変数であり、アウトカムである従属変数が二分変数であるという事です。あくまでも単変量解析であり、多変量解析ではない事を認識しておきましょう。
一般には、複数の独立変数のアウトカムに対する予測能・診断能の比較や、アウトカムに対する独立変数のカットオフの設定をするために利用される方法です。
ROC曲線の描き方
山本等は、生体肝移植症例における移植後肝不全に対する血漿交換の有用性を検討した観察研究の中で、肝移植後の早期予後の予測因子の検討を行いました。(Yamamoto R. et al. Blood Purif 2009; 28: 40-46)
アウトカム： 肝移植後100日時点での入院治療の継続
独立変数： 肝移植前のMELDスコア (肝移植での一般的な予後予測因子)
MELDスコア = 3.8 X Log(総ビリルビン) + 9.6 X Log(Cr) + 11.2 X Log(PT-INR)
上記のアウトカムと独立変数の関係を評価するためにROC曲線を描く場合、まずは全てのMELDスコアの値における感度(陽性率)、特異度、偽陽性率(1-特異度)を求めなければなりません。下表は、その一部抜粋です。
| MELDスコア | 感度 (陽性率) |
特異度 | 偽陽性率 (1-特異度) |
|---|---|---|---|
| -5.9 | 1.000 | 0.000 | 1.000 |
| 4.8 | 0.938 | 0.300 | 0.700 |
| 9.0 | 0.750 | 0.500 | 0.500 |
| 10.2 | 0.625 | 0.600 | 0.400 |
| 12.3 | 0.438 | 0.700 | 0.300 |
| 20.9 | 0.375 | 0.900 | 0.100 |
| 26.8 | 0.188 | 0.967 | 0.033 |
| 35.0 | 0.000 | 1.000 | 0.000 |
MELDスコアが最低値-5.9の場合、当然ながら感度(陽性率)は1.000、特異度は0.000、偽陽性率(1-特異度)1.000です。MELDスコアが上昇するに従って、感度が低下します。また特異度が上昇するため、偽陽性率(1-特異度)は低下します。
上記の表に基づいて描いたROC曲線が下図です。アウトカムと独立変数の関係が完全に偶然だった場合、ROC曲線は右上から左下への斜点線になります。一方、感度1.00、特異度1.00の理想的な独立変数の場合、左上方に位置します。
MELDスコアのROC曲線は、斜点線よりも左上方に位置しており、ある程度アウトカムと関係がありそうです。この関係の度合いを評価するための指標が、ROC曲線下面積(AUC: area under the curve)であり、0.5 - 1.0の値をとります。一般的には、AUCの値に基づいて予測能・診断能を下記の様に判断します。
| AUC 0.9 - 1.0 | High accuracy |
|---|---|
| AUC 0.9 - 0.7 | Moderate accuracy |
| AUC 0.5 - 0.7 | Low accuracy |
本研究でのMELDスコアのAUCは0.642であり、予測能が高いとは言えません。
AUCを用いた予測能・診断能の比較
複数の独立変数のAUCを比較する事で、アウトカムとの関連性の強さを評価する事が可能です。AUCが高ければ高いほど、予測能・診断能が高いと判断できます。
肝移植前のMELDスコアと肝移植後28日以内の最大ビリルビン、最大PT-INR、最大ASTのROC曲線をまとめて表したのが下図です。肝移植後28日以内の総ビリルビンが、明らかに最も左上隅に近接しており、最もアウトカム予測能が高い事が、視覚的に理解できます。
各独立変数のAUCは下記の通りであり、肝移植後28日以内の最大総ビリルビン値が、PT-INRやASTよりも、アウトカム(肝移植後100日の入院治療継続)の予測能が高いと結論づける事ができます。肝移植前データよりも、肝移植後データの方がアウトカムを正確に予測できるのは当然ですが、肝移植後データの中でも総ビリルビンが最も正確にアウトカムを予測しているという事実に、本研究は注目しました。
| 独立変数 | AUC | P値 |
|---|---|---|
| 肝移植前のMELDスコア | 0.642 | reference |
| 肝移植後28日以内の最大AST | 0.764 | 0.256 |
| 肝移植後28日以内の最大PT-INR | 0.848 | 0.069 |
| 肝移植後28日以内の最大総ビリルビン | 0.906 | 0.002 |
最近では、多変量ロジスティック回帰モデルやCox比例ハザードモデルを用いて作成した多変量モデルのAUCを比較し、多変量モデルの臨床的妥当性を検討している論文が多い様です。(Robbins J et al. JAMA 2007;298:2389-2398, Shlipak MG et al. JAMA 2005;293:1737-1745)
ROC曲線におけるカットオフ値の決め方
肝移植後4週間以内の最大総ビリルビン値がアウトカムを最も正確に予測する事が分かりました。その次の疑問は、アウトカムを予測する総ビリルビンのカットオフ値をいくらにすれば、最もアウトカムを効率よく予測できるのかという事です。カットオフ値の決めるには様々な方法がありますが、感度と特異度のバランスから便宜的に決めてしまう代表的な方法を2種類紹介します。
(1) 左上隅からの距離を利用した方法
感度と特異度の優れた独立変数のROC曲線は、左上隅に近づいていくという事実から、この左上隅との距離が最小となる点をカットオフ値にするというのが、第1の方法です。ベストポイントに物理的に最も近いポイントを選択する方法と考えれば納得できるでしょう。
この方法を用いた場合、肝移植後4週間以内の最大総ビリルビン値のROC曲線におけるカットオフ値は13.1mg/dLであり、この時の感度は0.938、特異度は0.767(偽陽性率0.233)でした。
(2) Youden indexを用いた方法
Youden indexを用いた方法は、(1)の方法とは逆の発想に基づいています。最も予測能・診断能が低い独立変数のROC曲線、すなわちAUC = 0.500となる斜点線から最も離れたポイントをカットオフ値にする方法です。すなわち、(感度+特異度-1)を計算して、その最大値となるポイントをカットオフ値にするという方法です。この(感度+特異度-1)が最大値となるポイントをYouden indexと呼びます。
Youden indexを用いた場合でも、肝移植後4週間以内の最大総ビリルビン値のROC曲線におけるカットオフ値は13.1mg/dLであり、(1)と全く同じ結果でした。
参考文献
Akobeng AK: Understanding diagnostic tests 3: Receiver operating characteristic curves. Acta Paediatr 2007;96:644-647