日本語金融文書のための多モーダル基盤モデルの段階的継続適応 (Staged Continual Adaptation)
CATS Workshop @ ICML 2026 採択論文。8.4Bパラメータの多モーダルモデルを、未ファインチューン時のベースライン（Phase 0）から3つの学習フェーズを経て日本語金融開示文書に適応させ、各ベンチマークが異なるフェーズでピークに達することを示した。つまり最適チェックポイントはタスク依存である。本記事はCompassプロジェクトの最新版であり、FT-LLM 2026コンペティションに向けた以前のバージョンは旧版として保存されている。
Sections:
はじめに
アーキテクチャ
政府PDFからのデータ生成
三段階の継続適応
実験結果
外部モデルとの比較
考察
制約
まとめ
謝辞
参考文献
Read more →