株式会社ずんだもん技術室AI放送局 podcast 20261013

youtube版(スライド付き) 関連リンク

• Multi-Agent Self-Supervision (MASS)

Sakana AIが発表した「MASS（Multi-Agent Self-Supervision）」は、AIモデルが自身の能力を自律的に向上させる再帰的自己改善（RSI）の新しいフレームワークです。フロンティアモデルの進化が進むと、人間が正解を検証することが困難になる非検証的なタスクが増加するため、AI自身が評価者、最適化者、実行者のすべての役割を担うホモジニアス（同質的）なループを構築する必要があります。MASSは、マルチエージェントシステムの集合知を活用し、チームの協調作業の経験を共有モデルの自己教師あり学習のシグナルとして蒸留します。

MASSのプロセスは、大きく「内側ループ」と「外側ループ」の2つに分かれます。内側ループでは、モデルの重みを固定した状態で、評価者のフィードバックをもとにオプティマイザがエージェント間のワークフロー（役割、指示、契約、手順）を探索・最適化します。ここでは、各サブエージェント間でやり取りされるデータやチェック項目を定めた「契約（Contract）」と「呼び出し順序（Hop）」が情報流を最大化する鍵となります。外側ループでは、最適化されたワークフローを用いて複数回実行を行い、生成された軌跡（メッセージやツールコールの履歴）をモデル自身が評価・ランク付けします。高水準な軌跡を抽出してLoRAを用いてモデルをファインチューニングすることで、チームの経験を共通の重みに統合します。

Qwen3.6-27Bをベースモデルとした実験では、2ラウンドの学習を経て、外部評価者によるベースモデルとの勝率がテストタスクで69.9%に向上し、MLR-Benchなどの公開ベンチマークでもトークンあたりのスコアが1.2〜1.6倍に改善しました。さらに、タスク解決の軌跡のみで学習を行ったにもかかわらず、ワークフローオプティマイザやワークスペース評価者の性能も同時に向上する「役割の汎化」が確認されました。また、単一エージェントの軌跡と比較して、マルチエージェントの軌跡はより濃い学習シグナルを提供し、少ない学習トークンで効率的な性能向上が得られることが示されています。

本研究の重要な発見として、自己改善ループにおけるボトルネックは評価者ではなくオプティマイザ側にあることが挙げられます。強力なオプティマイザを組み合わせることで効率的な探索が可能になりますが、テキスト空間でのワークフロー探索には変動やノイズも伴います。著者らは、人間による完全な検証が難しい領域においてAIが自律的な学習を進める「Odyssean moment（オデュッセウスの瞬間）」を見据えつつ、共通の盲点が誤った改善を固定化してしまうリスクや安全性・監視の重要性についても警鐘を鳴らしています。新人エンジニアの視点では、マルチエージェントの協調設計や、エージェントシステムの体験データをモデルの強化学習やファインチューニングに還元する最先端の学習パイプラインの仕組みを深く学べる内容となっています。

引用元: https://pub.sakana.ai/mass/

• Muse Wonder: A Frontier Model For Personal & Professional AI Agents

Meta AI Researchは、個人およびプロフェッショナル向けの次世代エージェントモデルシリーズ「Muse Wonder」および「Muse Wonder Full」を発表しました。これらは、事前学習と強化学習の予測可能かつ厳密なスケーリングアプローチに基づいて開発された、Metaのこれまでで最も高性能なフラグシップモデルです。巨大なPrometheusデータセンターで訓練され、個人用スーパーインテリジェンスの実現に向けた大きなマイルストーンとなるモデルとして位置づけられています。

Muse Wonderシリーズの最大の特徴は、「Active Memory（アクティブメモリ）」と「Active Focus（アクティブフォーカス）」という2つの核心的機能を統合している点です。Active Memoryにより、モデルは会話をまたいでユーザーに関する重要な文脈を保持し、目の前のタスクに関連する詳細を自律的かつ継続的に検索・維持することが可能になります。また、Active Focusにより、長期にわたる挑戦的な目標に対して代替アプローチを試行し、ブロッカーを解消しながら、新しい情報に適応して粘り強く作業を継続できます。重要なアクションを実行する前にはユーザーに確認や明確化を求めるなど、実用的なエージェントとしての動作を実現しています。

専門領域のタスクにおいては、法律、金融、健康などの分野で優れた専門知識を発揮します。例えば、法務分野におけるHarveyのLegal Agent Benchmarkや、金融分野のVals Finance Agent V2などにおいて、ソースドキュメントを正確に扱い詳細な指示に従う高度な処理能力を示しています。さらに、コーディング分野でも最先端のパフォーマンスを発揮し、小規模なアプリケーションから、コードベース全体の変更やテスト・修正の繰り返しを伴う長期的なソフトウェアエンジニアリングプロジェクトまで幅広くサポートします。

評価と汎用性の面では、トレーニング時に想定していなかった未知のタスク（アウト・オブ・ディストリビューション）に対しても優れた適応力を示しています。テスト時の計算量をスケーリングする実験において、強力なベースモデルを土台に持つMuse Wonder Fullは、特有のトレーニングを行っていない未知のタスクに対しても予測以上の高いパフォーマンスと頑健性を発揮することが確認されています。これにより、ユーザーの多種多様な目標、ツール、制約が絡み合う複雑な状況に対応できる高い汎用性が確保されています。

安全性とアライメント（整合性）の面でも大きな進歩を遂げています。個人情報やプライベートな文書、メッセージ、カレンダーなどを扱う個人エージェントには高度な機密保持と悪用に対する耐性が求められます。Muse Wonderシリーズは、不正なコード実行の防止や個人情報の慎重な取り扱いの面で優れた性能を示しています。さらに、化学・生物・放射線・核（CBRN）およびサイバー関連の悪用に対する厳格なセーフガードを備えつつ、防御目的での最先端サイバー機能へのアクセスを維持するなど、Metaのスーパーインテリジェンス・スケーリング・フレームワークに準拠した強固な安全対策が施されています。

提供面では、「Muse Wonder」がMeta Model APIやMuse Codeを通じて本日から利用可能となっており、「Muse Wonder Full」もMuse Codeの登録者向けに提供が開始されています。今後は「Muse」アプリ内の各種機能の基盤としても順次導入される予定であり、AIエンジニアや開発者にとって今後のエージェント開発や応用を考える上で非常に重要な最新モデルとなっています。

引用元: https://research.meta.ai/blog/muse-wonder

• Retrofitting language models to operate over bytes

この記事では、既存のサブワードベースの大規模言語モデル（LLM）を、文字（UTF-8バイト）単位で効率的に動作するように改造・再学習させる新技術「バイトフィケーション（Byteification）」について解説しています。

現代の主要なLLMは、テキストを直接処理せず、事前に「サブワード（単語の断片）」の単位に分割（トークナイゼーション）してから処理を行っています。このサブワード方式には、文字レベルの細かいニュアンスの理解が難しいことや、プロンプトの切り方によって生成結果が偏る、多言語対応における英語への過度な偏りといった課題がありました。その解決策として、最小単位であるバイト列を直接扱う「バイトレベルLLM」の研究が進められてきましたが、これまでは一からランダム初期化で学習させる必要があり、最先端のサブワードモデルの性能に追いつくには膨大なコストがかかるため広く普及していませんでした。

そこで研究チームは、既存のオープンな高性能サブワードモデル（Olmo 3、Qwen3、Llama 3など）の重みをベースにしつつ、モデルの一部を置き換えてバイト単位で動作させる汎用的な手法「バイトフィケーション」を提案しました。具体的には以下のアーキテクチャと2段階の学習プロセスを採用しています。

1. バイトフィケーションのアーキテクチャ（LTLM: Latent Tokenizer Language Model）
   • ローカルエンコーダ: 入力されたバイト列を受け取り、軽量なxLSTM（mLSTM）レイヤーを用いてバイト単位の表現を文脈化します。
   • 境界予測器（Boundary Predictor）: 従来のバイトレベルモデルと異なり、1バイトの未来の文脈（非因果的アプローチ）を考慮してパッチの境界を予測します。これにより、サブワードモデルと同等の自然なパッチ分割（意味のまとまり）を再現できます。
   • グローバルモデル: 既存のサブワードLLMが持つ大規模なTransformer層をそのまま流用し、パッチ単位の深い文脈化を行います。
   • ローカルデコーダ: グローバルモデルで処理された表現を再びバイト単位にデプールし、mLSTMスタックを通して次のバイトやパッチ境界を予測します。
2. 効率的な2段階学習プロセス
   • ステージ1（蒸留）: グローバルモデルの大部分を凍結し、ローカルエンコーダやデコーダ、境界予測器などの新規パラメータのみを学習します。元のサブワードモデルの挙動を正確に再現する新しい損失関数を用いることで、通常の事前学習の1%未満という極めて少ない計算量（491億トークン分）で迅速に初期重みを獲得します。
   • ステージ2（エンドツーエンド学習）: モデル全体を微調整し、バイトレベルの情報や、より高い圧縮率（1パッチあたりのバイト数を増やす調整）に適応させます。これにより、推論の高速化やスループットの向上が可能になります。
3. 主な成果とメリット
   • 性能の維持: 開発されたモデル（Bolmo 7B、Bwen 8B、Blama 8Bなど）は、元のサブワードモデルの性能にほぼ匹敵し、既存のランダム初期化によるバイトレベルモデルを大きく上回る性能を達成しました。特にプログラミングや、文字レベルの細かい理解を必要とするタスク、多言語処理において優れた特性を示しています。
   • タスク算術（Task Arithmetic）によるポストトレーニング: ベースモデルをバイト化しておけば、元モデルの指示チューニング済み（RL-Zeroなど）の重みの差分を足し合わせるだけで、追加の再学習コストをかけずにバイトモデル側へ指示追従能力を移植できることが示されました。
   • 効率性の向上: サブワードモデルで問題となるボキャブラリーの肥大化によるソフトマックスのボトルネックが存在しないため、パッチ内のバイト圧縮率を上げて柔軟に推論を高速化できます。

新人エンジニアの視点として、この研究は「LLMの根幹であるトークナイゼーションの仕組みを根本から見直し、既存の巨大な学習済みモデルの資産を無駄に