大規模モデルのポストトレーニングになぜ既存の共有データ基盤が存在しないのか

大規模言語モデルのポストトレーニングでは、静的なドキュメントではなく実行環境を備えた構造化タスクを消費するため、インターネット上の既存のナレッジコモンズを直接流用できず、現在深刻なデータ不足に直面している。ソフトウェアエンジニアリングを例にとると、オープンソースのリポジトリを基に検証可能なSWE-bench形式のタスクを構築しても、適格率や実行成功率は極めて低い。他の実務分野におけるワークフローのタスク化はさらに難度が高い。筆者は、最先端エージェントのトレーニング能力が一部のクローズドソース大手に独占されるのを防ぐため、オープンソースコミュニティが公開型のポストトレーニング環境とタスクコモンズを体系的に整備するよう呼びかけている。