Podli播客播放器 Webplayer

脈報

脈報

13 年前的 iPad 也能跑 16B 模型!記憶體明明只有 1 GB,它靠的是哪一招?

脈報 · 2026年11月13日 · 4:54

0:004:54

在 Podli 应用中收听 🎧

关注你喜爱的播客,离线收听,在车内通过 CarPlay 和 Android Auto 播放,并始终从上次停下的地方继续。免费试用。

舊電視盒與 13 年前的 iPad 只靠約 1 GB 記憶體,跑得動 8B 與 16B 混合專家模型。做法是把常用專家留在記憶體,其餘需要時才從快閃儲存讀取。在電視盒上,2B 以上模型的速度卡在快閃儲存每秒 278 MB 的讀取上限,CPU 並不是瓶頸。 ⭐ 文章深度讀:1 GB 記憶體跑 16B 模型!舊電視盒與 iPad 變身本機 AI → https://heymaibao.com/run-16b-model-on-1gb-ram-0773db/ ⚡ 章節重點 客廳裡閒著的舊機器 00:00 小記憶體跑大模型的祕訣 00:58 速度、大小與可靠度 02:38 舊機器的取捨之道 04:01 📝 懶人包 ∙ 電視盒和舊 iPad 靠約 1 GB 記憶體跑 16B 混合專家模型 ∙ 混合專家模型每個 token 只用少數專家,常用的留在記憶體 ∙ 作者在電視盒上量到,2B 以上模型卡在快閃儲存讀取速度,不是 CPU ∙ 我的觀點:抽屜裡的舊平板或電視盒不只能淘汰,閒置硬體比想像中更能跑 AI 📚 參考資料 GitHub - hyperionaidev/smolmaxxing: maxxing the ability to run different LLMs on the smallest devices possible → https://github.com/hyperionaidev/smolmaxxing/ smolmaxxing/docs/tv-box.md at main · hyperionaidev/smolmaxxing → https://github.com/hyperionaidev/smolmaxxing/blob/main/docs/tv-box.md smolmaxxing/ipad-air/README.md at main · hyperionaidev/smolmaxxing → https://github.com/hyperionaidev/smolmaxxing/blob/main/ipad-air/README.md

单集: 脈報

Podli免费获取 Podli 应用
↓ App