蒸留とDeepSeek-V2を読む【Frontier AI論文5本 2026/10/06】 — arxiv生成AI論文解説 by ずんだもん

Podliアプリで聴く 🎧

お気に入りの番組をフォローして、オフラインでも車内でもCarPlayやAndroid Autoで再生。いつでも続きから聴けます。無料でお試しできます。

蒸留とオープンLLMの代表的アーキテクチャを、大学院生・研究者向けに比較します。GQAとDeepSeek-V2のKVキャッシュ削減、オンポリシー蒸留のエントロピー・崩壊・強化学習への接続を扱います。

▼ 今日の論文ラインナップ
・多頭注意のチェックポイントからGQAを作るアップトレーニング — Google Research（arXiv:2305.13245）
・MLAとDeepSeekMoEによるDeepSeek-V2 — DeepSeek-AI（arXiv:2405.04434）
・蒸留のダイバージェンスが生徒のエントロピーを決める — Stanford University（arXiv:2610.03529）
・オンポリシー蒸留の利得と崩壊を強化学習として捉える — Westlake Universityほか（arXiv:2610.03185）
・ルーブリック特権蒸留で強化学習を始める — Meta・New York University（arXiv:2610.02781）

▼ 参考論文（arXiv）
https://arxiv.org/abs/2305.13245 — GQAのアップトレーニング
https://arxiv.org/abs/2405.04434 — DeepSeek-V2
https://arxiv.org/abs/2610.03529 — 蒸留のダイバージェンスとエントロピー
https://arxiv.org/abs/2610.03185 — オンポリシー蒸留の利得と崩壊
https://arxiv.org/abs/2610.02781 — ルーブリック特権蒸留と強化学習

#生成AI #LLM #AI #人工知能 #arxiv #論文解説 #ずんだもん #機械学習 #DeepSeek #知識蒸留