ひとことで言うと
生成AIは診療録から臨床研究の適格性を一定の精度で分類できたが、記載されていない陰性所見や数値判定を正しく扱う点に課題が残った。
Keywords
AI（機械学習）、EHR、自然言語処理、医療従事者支援、臨床研究
なぜこの研究をしたのか
臨床研究では、参加適格者や不適格者を診療録から確認する作業が必要であり、研究開発の効率化が課題となっている。生成AIの活用により、臨床研究に関連する作業や医療従事者の負担軽減が期待される一方で、ハルシネーションや判定の誤りなどのリスクがあるため、診療録を用いた医学的分類能力を検証する必要があった。
どう調べたか
2015年1月から2023年12月までに大阪大学医学部附属病院に入院歴のある患者のうち、進行胃癌、造血幹細胞移植既往、重症腎不全、慢性心不全の急性増悪、コントロール不良な糖尿病、重症肺線維症・活動性間質性肺炎に該当する各10例、計60症例の入院時診療録を用いた。
生成AIにはAWS東京リージョン上のClaude 2.1を使用し、臨床試験を想定した適格基準5項目と除外基準9項目、計14項目について、Yes、No、NS（not specified）の3分類で判定させた。各判定では、診療録からの判断根拠も出力するよう指示した。性能評価には正解率、適合率、再現率、F1値を用いた。
何がわかったか
Yes、No、NSを区別した14項目の平均正解率は81.8±13.9%であった。一方、NoとNSを同一として扱う2分類評価では、平均正解率は95.8±7.4%に上昇した。
生成AIは記載のある陽性所見については比較的高い精度で判定できたが、記載のない陰性所見をNSとして扱うことには課題があった。また、血算値正常の判定では、一般的基準値に基づく誤判定、診療録情報の不正確な読解、数値基準の誤認による判定ミスが確認された。
なぜ大事なのか
診療録から臨床研究の適格性を抽出・分類する作業に生成AIを使える可能性が示された。一方で、記載されていない情報を「ない」とみなすのか、「判断不能」とみなすのかを区別することは、臨床研究や診療応用では重要であり、生成AIの出力をそのまま利用するには注意が必要である。
また、数値データの大小判定が必要な項目では精度が低下する場合があり、構造化データが利用できる場合には、生成AIだけでなく明示的な判定ロジックを組み合わせる必要性が示唆された。
次に目指すこと
本研究は60症例を対象とした小規模な検証であり、今後は評価用データセットを整備し、対象とする下流タスクに対して生成AIがどの程度の性能を発揮するかを直接評価する必要がある。
また、プロンプトの調整や新しい生成AIモデルで精度が改善する可能性があり、判断根拠の確認を含めて、生成AI利用時の留意点をさらに検討することが次の課題である。