AITNT · AI头条(网页)·· 4 時間前厳選AI スコア78
上海創智学院と新序智能、事前学習RSIモデル「801-30B」および技術レポートを公開
全球公开做预训练RSI的仅两家:一家在40亿美元公司,一家在801教室
AI ガイド
上海創智学院と新序智能は、事前学習レベルの再帰的自己改善(RSI)に関する初の公開技術レポートを共同発表し、ベースモデル「801-30B」および軽量なSFTデータをオープンソース化した。同アプローチは、後戻りができない事前学習の大きなループを「デバッグ」「潜在力」「経験の定量化」という3つの完結可能な小さなループに分解し、マルチエージェントを活用してハイパーパラメータ、コード、データパイプライン間の異常を検知・調査する。13項目の基礎能力評価において、801-30Bベースモデルは平均スコア73.13を記録し、軽量なファインチューニング後にはコードおよびエージェント評価で優れた性能を示した。
推薦理由
開発チームは、1回あたりのコストが極めて高い事前学習プロセスに再帰的自己改善を導入し、小さなループと組織的な記憶(ナレッジの蓄積)によってトレーニングのトラブルシューティング効率を向上させる手法を実証した。
出典:AITNT · AI头条(网页) · aitntnews.com