ひとことで言うと
医療分野の文章データが少ない場合でも、専門コーパスをオーバーサンプリングして一般コーパスとバランスよく事前学習させることで、実用的な医療BERTを構築できることを示した研究です。
Keywords
自然言語処理、AI（機械学習）、医学知識、BERT、医療テキストマイニング
なぜこの研究をしたのか
BERTなどの言語モデルは、大量の文章で事前学習することで、医療文書からの情報抽出や分類に役立ちます。しかし、英語以外の言語や特定の医療領域では、高品質で大規模な公開コーパスを集めることが難しく、十分な性能を持つ医療向けモデルを作りにくいという課題がありました。
どう調べたか
研究チームは、小規模な医療・生物医学コーパスを繰り返し使う「オーバーサンプリング」により、一般コーパスとの量的な偏りを補正しながら同時に事前学習する方法を提案しました。
この方法を用いて、次の3つの実験を行いました。
- 小規模な英語生物医学コーパスから英語Biomedical BERTを作成
- 小規模な日本語医療コーパスから日本語Medical BERTを作成
- PubMed抄録全体を使い、疾患関連抄録をバランスよく強調した強化版Biomedical BERTを作成
そのうえで、従来の事前学習法や既存のBERTモデルと、BLUE benchmarkや日本語医療タスクで性能を比較しました。
何がわかったか
小規模な医療コーパスを使った場合でも、提案手法による英語BERTはBLUE benchmarkで実用的な性能を示し、同じコーパスサイズの従来法より高いスコアを示しました。
日本語医療BERTでも、提案手法で作成したモデルは、医療文書分類や医療テキスト処理タスクの多くで従来モデルを上回りました。さらに、PubMed抄録を使った強化版Biomedical BERTでは、臨床ノートを使わずに臨床タスクと生物医学タスクの両方でスコア改善が確認されました。
なぜ大事なのか
医療AIの性能は、利用できる医療テキストデータの量と質に大きく左右されます。この研究は、データが限られる日本語医療分野や専門領域でも、コーパス設計と事前学習方法を工夫することで、高性能な言語モデルを構築できる可能性を示しています。
これは、診療録、医学文献、医療文書分類、固有表現抽出など、医療現場の自然言語処理を進めるうえで重要な知見です。
次に目指すこと
本研究では、日本語タスクの数が限られていたこと、BERT以外のモデル構造では検証されていないこと、オーバーサンプリング比率が主に1対1で検討されたことが限界として挙げられます。
今後は、より多様な日本語医療タスク、長い臨床文書、BERT以外の大規模言語モデル、PubMedとMIMIC-IIIのような臨床・生物医学データの組み合わせに対して、最適な事前学習バランスを検証することが期待されます。