Podliポッドキャストプレーヤー
Webplayer
arxiv生成AI論文解説 by ずんだもん
Podliアプリで聴く 🎧
お気に入りの番組をフォローして、オフラインでも車内でもCarPlayやAndroid Autoで再生。いつでも続きから聴けます。無料でお試しできます。
特集「蒸留とオープンLLMの代表的アーキテクチャ」第5回。Gemma 2、Qwen3、RouterInterp、Semi-OPD、オンポリシー蒸留の学習信号消失を大学院生・研究者向けに比較します。
▼ 今日の論文ラインナップ
・事前学習から蒸留を使うジェンマ2（arXiv:2408.00118）
・思考モード統合と強から弱への蒸留を備えたクウェン3（arXiv:2505.09388）
・専門家は単一分野でなく重ね合わせで特化する（arXiv:2610.11775）
・オンポリシー蒸留より初期生徒の固定ロールアウトが勝つ条件（arXiv:2610.11291）
・大きな教師でオンポリシー蒸留が停滞する学習信号の消失（arXiv:2610.11247）
▼ 参考論文（arXiv）
https://arxiv.org/abs/2408.00118
https://arxiv.org/abs/2505.09388
https://arxiv.org/abs/2610.11775
https://arxiv.org/abs/2610.11291
https://arxiv.org/abs/2610.11247
#生成AI #LLM #AI #arxiv #論文解説 #機械学習 #蒸留 #Gemma #Qwen3 #MixtureOfExperts #ずんだもん
エピソード: arxiv生成AI論文解説 by ずんだもん
Podli無料のPodliアプリを入手
↓ App
