Podli播客播放器 Webplayer

史塔克實驗室

史塔克實驗室

AI 研究室 EP6|看不懂的主題從 62.4% 降到 30.3%:TopicGPT 怎麼幫 LDA 解套

史塔克實驗室 · 2026年11月3日 · 24:52

0:0024:52

在 Podli 应用中收听 🎧

关注你喜爱的播客,离线收听,在车内通过 CarPlay 和 Android Auto 播放,并始终从上次停下的地方继续。免费试用。

把一本小說的每個字剪下來、丟進袋子裡搖一搖,電腦還看得懂它在講什麼嗎?這一集我們走過文字探勘的第一段歷史:從 1972 年 Karen Spärck Jones 提出、讓「越多人都在說的詞,越說不出你是誰」的 IDF,到 2003 年把文章想成一杯雞尾酒配方的 LDA 主題模型,再到 2024 年讓大型語言模型直接寫出主題標籤、還附上原句當證據的 TopicGPT——LDA 找出的主題有 62.4% 人類看不懂,TopicGPT 把這個比例壓到 30.3%。 🎧 這集你會聽到: ・詞袋模型(Bag of Words):「狗咬人」和「人咬狗」為什麼在電腦眼裡一模一樣 ・中文斷詞的高牆:jieba 偏簡體語料,處理台灣財經新聞或 PTT 時為什麼建議用中研院 CKIP ・詞性標註、停用詞過濾,以及「不好」被切成「不」和「好」的否定詞災難;n-gram 的代價是矩陣爆炸與資料稀疏 ・親手算一次 TF-IDF:三句短文裡,DF 為 2 的詞 IDF 約 0.405,獨家詞 IDF 約 1.099 ・LDA 的調酒故事:主題配方 Theta、詞彙罐子 Beta、變分推論、控制配方極端程度的 Alpha,以及必須由人指定的主題數 K ・困惑度(Perplexity)低不代表人類看得懂:LDA 的「讀茶葉」問題 ・TopicGPT 兩階段:先生成帶標籤與描述的主題,再指派主題並附上原句 quote;跑完一個標準資料集約 100 美金,Mistral 7B 等小模型做不好主題生成 ・實戰建議:教育研究先用 CKIP+TF-IDF+LDA;量化交易要建自訂詞典、用 TF-IDF+邏輯回歸當 baseline,並嚴防前視偏誤(look-ahead bias) 📚 本集引用文獻: Sparck Jones, K. (1972). A statistical interpretation of term specificity and its application in retrieval. Journal of Documentation, 28(1), 11–21. https://doi.org/10.1108/eb026526 Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022. Pham, C. M., Hoyle, A., Sun, S., Resnik, P., & Iyyer, M. (2024). TopicGPT: A Prompt-based Topic Modeling Framework. Proceedings of NAACL 2024, 2956–2984. https://doi.org/10.18653/v1/2024.naacl-long.164 ⚠️ 本集內容依論文摘要整理,語音由 AI 生成,可能簡化細節,引用前請以原始論文為準。 ▶️ YouTube 影片版:https://youtu.be/EaJ631UXPAM AI 研究室|把論文聽進去 🎙️

单集: 史塔克實驗室

Podli免费获取 Podli 应用
↓ App