Podliポッドキャストプレーヤー
Webplayer
arxiv生成AI論文解説 by ずんだもん
Podliアプリで聴く 🎧
お気に入りの番組をフォローして、オフラインでも車内でもCarPlayやAndroid Autoで再生。いつでも続きから聴けます。無料でお試しできます。
DeepSeek-V3.2のスパース注意（DSA）と専門家蒸留、その索引器を厳密なまま高速化するDoSA、QKNorm・MoEモデルをMLAへ移すMLAfication、生徒が解けない問題でのオンポリシー蒸留の負の結果、報酬に合わせてトークンごとに教師信号を重み付けするRADを、比較条件と限界まで解説します。
▼ 今日の論文ラインナップ
・注意を上位2048トークンに絞ったディープシークV3.2 — DeepSeek-AI（arxiv:2512.02556）
・索引器の上位k選択を厳密なまま省略する証明書方式 — Xiaohongshu Dots Studio（arxiv:2610.13990）
・キー正規化を持つ最新モデルを潜在注意へ移す変換 — 復旦大学（arxiv:2610.17202）
・生徒が解けない問題だけでは、オンポリシー蒸留は効かない — ミュンヘン工科大学・国立情報学研究所ほか（arxiv:2610.18011）
・報酬への効き目でトークンごとに重みを付ける蒸留 — AWS AI Labs・UCSD・Purdue（arxiv:2610.14572）
▼ 参考論文（arXiv）
https://arxiv.org/abs/2512.02556 — 注意を上位2048トークンに絞ったディープシークV3.2
https://arxiv.org/abs/2610.13990 — 索引器の上位k選択を厳密なまま省略する証明書方式
https://arxiv.org/abs/2610.17202 — キー正規化を持つ最新モデルを潜在注意へ移す変換
https://arxiv.org/abs/2610.18011 — 生徒が解けない問題だけでは、オンポリシー蒸留は効かない
https://arxiv.org/abs/2610.14572 — 報酬への効き目でトークンごとに重みを付ける蒸留
#生成AI #LLM #DeepSeek #スパース注意 #MLA #蒸留 #arxiv #論文解説 #ゆっくり解説 #ずんだもん
エピソード: arxiv生成AI論文解説 by ずんだもん
Podli無料のPodliアプリを入手
↓ App
