ひとことで言うと
製薬企業の問い合わせ記録から医薬品・有害事象表現を自動抽出し、類似度計算を用いてMedDRA/Jコード候補を提示する支援ツールを開発した研究。
Keywords
自然言語処理、AI（機械学習）、有害事象、MedDRA/Jコーディング、ファーマコビジランス
なぜこの研究をしたのか
製薬企業では、コールセンターに寄せられる医療従事者や一般消費者からの問い合わせ記録をもとに、有害事象の抽出、MedDRA/Jコードの付与、因果関係の判定を行い、規制当局への報告につなげている。この作業には多くのリソースが必要であり、自動化による効率化と精度向上が期待されている。特に、コールセンター記録は会話を文字起こしした口語表現であり、既存研究が多く対象としてきた医療記録の文語表現とは異なるため、本研究が行われた。
どう調べたか
2021年1月から2022年3月に塩野義製薬株式会社で収集された問い合わせ記録のうち、安全管理部で処理されたトリアージ情報1195件を用いた。このうち有害事象を含む447件の文書に対して手作業でアノテーションを行い、症状・兆候に関する表現3017個、医薬品に関する表現2726個を同定した。
モデルは、固有表現抽出で医薬品と症状表現を抽出し、さらに医薬品と症状表現の関係抽出によって有害事象かどうかを判定する構成とした。モデル構築では文書単位で学習データと評価データを分割し、5分割交差検証を行った。
MedDRA/Jコード提案ツールは、まずMedDRA/J辞書との完全一致を検索し、次に過去事例との完全一致を検索し、いずれにも一致しない場合は文字列類似度を用いて候補コードを提示する3段階の仕組みとした。文字列類似度にはJaro-Winkler distanceとコサイン類似度を比較し、コサイン類似度の計算にはGLuCoSE-base-Japaneseを用いた。
何がわかったか
医薬品の文字列抽出精度はF1値96.1%と高かった一方、有害事象の抽出精度はNER + Relation ExtractionモデルでF1値77.9%、再現率71.2%、適合率85.9%であった。NER単体モデルの有害事象抽出F1値70.0%と比べると、医薬品との関係抽出を組み合わせることで精度が向上した。
MedDRA/Jコード提案では、類似度計算部分についてコサイン類似度がJaro-Winkler distanceより正解率で優れていた。実務での使用を想定し、候補数と精度のバランスから、Top K=7、Threshold=0.5を選択し、この条件で正解率81.5%、average MRR 0.17となった。
なぜ大事なのか
有害事象の抽出とMedDRA/Jコーディングは、製薬企業の安全管理業務において重要だが、手作業では多くのリソースを要する。本研究の支援ツールを実務に導入することで、問い合わせ記録からの有害事象抽出とMedDRA/Jコーディングの効率化が期待される。
次に目指すこと
今回の報告では、NLPモデルとMedDRA/Jコード提案ツールそれぞれの構築および仕様検討までが行われた。今後は、モデル全体を通した精度評価を実施する予定である。また、過去事例を参照データに加える3段階モデルでは、ツール上で処理した有害事象文字列とMedDRAコードの割り当てが蓄積されるため、使用経験の蓄積によるさらなる精度向上が期待される。