ISSEY SUKEDA

医療LLM

医療AI・医療LLMの研究開発：これまでの自身の取り組み

[実績]

  1. EQUES | 経産省NEDO　GENIAC「薬学分野・製薬業務に特化したLLMの開発」
  2. 岡山大学AI研究会
  3. 東大松尾研LLM講座
  4. 覚醒プロジェクト | 7B パラメタの日本語医療LLMの作成, NeurIPS WS 2024
  5. 覚醒プロジェクト | 医療LLMのベンチマークの作成
  6. 東大病院 | 70Bパラメタの日本語医療LLM開発
  7. 東大病院 | OpenCALM(7B)・Llama2(70B)の日本語医療適応, NeurIPS WS 2023
  8. 東大病院 | 心電図から心疾患や年齢予測を行うAIモデル, NeurIPS WS 2022

医療LLMやデータセットの一覧作成（随時更新）

主要なLLMリリースの最新ニュースをまとめた一覧表の公開. 主に性能が良いとされているものや将来性がありそうなモデルを取り上げている.
  1. JMedData4LLM:Curation of Japanese Medical Data Sources for LLM development
  2. Awesome latest LLMs
    • ページ後半に医療ドメイン特化について記載しています.
  3. SpeakerDeck「医療分野に特化したLLM　研究紹介」

（関連）経産省NEDO　GENIAC「薬学分野・製薬業務に特化したLLMの開発」

株式会社EQUESの事業として、国内初（世界でも事例わずか）の製薬領域に特化したLLMの開発に挑戦しました。本事業の一環で、特化モデルだけではなく、薬剤師国家試験・名寄せ・齟齬点検の３種類のベンチマークを独自に構築しました。成果の大部分はパブリックに公開し、GENIACコミュニティおよびライフサイエンス業界の発展に貢献していきます。本プロジェクトはNEDOの支援を受けています。
  1. 学習済みモデル（huggingface）
  2. 登壇

岡山大学AI研究会 招待講演

医療LLMの研究動向や自身の取り組みについて紹介させていただきました。

東大松尾研LLM講座 医療LLM回 担当講師

医療LLM関連の研究について講義を行いました。

7B パラメタの日本語医療LLMの作成

最新のベースモデルを利用し, 日本語医療テキストを用いた学習を施した7BパラメタLLMの作成.    
本取り組みは産総研「覚醒プロジェクト」の支援を受けています.
  1. 論文：Development and bilingual evaluation of Japanese medical large language model within reasonably low computational resources

医療LLMのベンチマークの作成

医療LLMのベンチマーク評価プログラムとリーダーボードの作成. 日英対訳の医学質問応答の正答率を評価する目的. プロンプトで容易に出力や精度が変化したりすることもあり, フェアな評価手法については議論の余地が多分にあります. 
本取り組みは産総研「覚醒プロジェクト」の支援を受けています.

論点
・Q&Aの５択問題を解かせるので良いのか. 国家試験でいいのか.
・Q&Aの５択問題の正解率を評価するにはどうするのが良いか. ← 最近はhuggingface等を通して統一的になりつつある.

  1. 医療LLM評価用ベンチマーク / Japanese Medical Language Model Evaluation Harness
    • 特徴１：推論にvllmを利用し高速化を図る
    • 特徴２：プロンプトテンプレートをオプションで指定できる
    • 特徴３：回答と正答のゲシュタルト距離をもとに選択肢を１つ選んだと"みなす"

70B パラメタの日本語医療LLM開発

東工大よりリリースされた日本語70BモデルであるSwallowの医療チューニング. 結果, 日本医師国家試験の正答率が50%近くまで到達. 一方で, GPT-4は8~9割正答できるという報告があり, まだまだ発展の余地しかない状況.
  1. 学習済みモデル(huggingface)
  2. 論文：70B-parameter large language models in Japanese medical question-answering

OpenCALM(7B)・Llama2(70B)の日本語医療適応

2023年の取り組み. 日本で初めてLLMの医療チューニングへの挑戦.
  1. 学習済みモデル(huggingface)
  2. 論文：JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning
  3. 言語処理学会：JMedLoRA:Instruction-tuning による日本語大規模モデルの医療ドメイン適用
  4. 論文：Development and analysis of medical instruction-tuning for Japanese large language models

心電図から心疾患や年齢予測を行うAIモデル

12誘導心電図を入力とし症状の有無を判定する分類器の作成. 東大病院の患者約13万件の心電図データでMasked AutoEncoderの事前学習も実施しました. 今回, 左室収縮機能障害は心エコーにおけるEF値の低下と定義しています. このように, 心電図を入力, 心エコー所見を出力として学習することで, より手軽な心電図検査のみで症状有無の予測が可能となることを目指しています.
  1. Masked Autoencoder-Based Self-Supervised Learning for Electrocardiograms to Detect Left Ventricular Systolic Dysfunction
  2. Age prediction from coronary angiography using a deep neural network: Age as a potential label to extract prognosis-related imaging features