ひとことで言うと
医薬品安全性監視における問い合わせ文書から、MedDRA/J検索に有用なクエリ候補を抽出するAIモデルを開発し、強化学習と知識蒸留によって検索精度と推論速度の両立を検証した研究です。
Keywords
医薬品安全性監視、MedDRA/J、医療従事者支援、AI（機械学習）、臨床研究支援
なぜこの研究をしたのか
医薬品安全性監視では、コールセンターなどに寄せられた自由記載の問い合わせ内容を、MedDRA/Jの標準用語に対応づける作業が必要です。
しかし、問い合わせ文書は口語的で、症状の表現ゆれや文脈依存の表現を多く含みます。さらに、有害事象だけでなく、妊娠・授乳中曝露、過量投与、誤投与、適応外使用などの特殊状況も同時に含まれることがあります。
そのため、単に症状名を抽出するだけでなく、MedDRA/J検索で正解コードを上位に表示できる「検索に効くクエリ候補」を抽出する支援技術が求められていました。
どう調べたか
塩野義製薬株式会社内データベースにおいて、問い合わせ文書とMedDRAコードが紐付けられた5,539事例を対象としました。強化学習の最適化に適さない極端な長さの文書や、LLTコード数が多い事例を除外し、最終的に5,219事例を解析に用いました。
データは時系列で分割し、2020年以前を学習用、2020年を開発用、2021年をテスト用としました。テストセットは848文書で、有害事象のみ、特殊状況のみ、有害事象と特殊状況の両方を含む文書から構成されました。
比較したモデルは、以下の4種類です。
- Base：MedGemma-4B
- Base Large：MedGemma-27B
- PEFT-RL：MedGemma-4BにQLoRAとGRPOによる強化学習を適用したモデル
- Distill KPE：PEFT-RLの出力を教師データとして学習した軽量な知識蒸留モデル
評価では、モデルが抽出したクエリ候補をMedDRA/J最近傍検索に入力し、正解LLTが検索結果の上位20件にどの程度含まれるかを調べました。主要評価指標はnDCG@20とRecall@20です。
また、軽量なDistill KPEがPEFT-RLに対して十分な検索性能を維持しているかを、事前に定義した非劣性マージンに基づいて検証しました。
何がわかったか
PEFT-RLは、BaseやBase Largeと比較して高い検索性能を示しました。テストセット全体でのnDCG@20は、Baseが0.209、Base Largeが0.605、PEFT-RLが0.693でした。これは、単にモデルサイズを大きくするだけでなく、検索指標に合うように強化学習することが有効であることを示しています。
一方、軽量なDistill KPEのnDCG@20は0.688で、PEFT-RLとほぼ同等でした。非劣性評価でも、Distill KPEは主要指標であるnDCG@20について、PEFT-RLに対する非劣性を満たしました。
ただし、Recall@20ではPEFT-RLが0.868、Distill KPEが0.834であり、軽量化によって上位20件以内に正解を含める能力はやや低下しました。特に特殊状況では、有害事象に比べて検索性能が低い傾向がみられました。
推論時間では、Distill KPEがGPUで0.025秒/文書、CPUで0.060秒/文書と、LLMベースのモデルより大幅に高速でした。
なぜ大事なのか
この研究は、医薬品安全性監視におけるMedDRA/Jコーディング支援を、スパン抽出の正確さではなく、実際の検索結果の有用性で評価した点に特徴があります。
現場では、自由記載から標準用語へ接続する作業に正確さだけでなく、応答速度や確認しやすさも求められます。PEFT-RLは検索性能を高める方法として有効であり、Distill KPEは推論コストを大きく下げながら主要なランキング品質を維持できる可能性を示しました。
これにより、医薬品安全性監視業務において、人が確認しやすい候補提示を高速に行う支援システムの実現に近づくことが期待されます。
次に目指すこと
今後は、単一企業のデータに基づく評価にとどまらず、他施設・他組織のデータでも同様の性能が得られるかを検証する必要があります。
また、特殊状況ではRecall@20の低下が目立ったため、妊娠・授乳中曝露、過量投与、誤投与、適応外使用など、特殊状況の下位分類ごとに失敗傾向を分析し、改善することが次の課題です。
さらに、検索性能だけでなく、実際の担当者が候補を確認する際の負荷や使いやすさも含めて評価することで、業務導入に向けた実用性を検討していく必要があります。