把一本小說的每個字剪下來、丟進袋子裡搖一搖,電腦還看得懂它在講什麼嗎?這一集我們走過文字探勘的第一段歷史:從 1972 年 Karen Spärck Jones 提出、讓「越多人都在說的詞,越說不出你是誰」的 IDF,到 2003 年把文章想成一杯雞尾酒配方的 LDA 主題模型,再到 2024 年讓大型語言模型直接寫出主題標籤、還附上原句當證據的 TopicGPT——LDA 找出的主題有 62.4% 人類看不懂,TopicGPT 把這個比例壓到 30.3%。
🎧 這集你會聽到:
・詞袋模型(Bag of Words):「狗咬人」和「人咬狗」為什麼在電腦眼裡一模一樣
・中文斷詞的高牆:jieba 偏簡體語料,處理台灣財經新聞或 PTT 時為什麼建議用中研院 CKIP
・詞性標註、停用詞過濾,以及「不好」被切成「不」和「好」的否定詞災難;n-gram 的代價是矩陣爆炸與資料稀疏
・親手算一次 TF-IDF:三句短文裡,DF 為 2 的詞 IDF 約 0.405,獨家詞 IDF 約 1.099
・LDA 的調酒故事:主題配方 Theta、詞彙罐子 Beta、變分推論、控制配方極端程度的 Alpha,以及必須由人指定的主題數 K
・困惑度(Perplexity)低不代表人類看得懂:LDA 的「讀茶葉」問題
・TopicGPT 兩階段:先生成帶標籤與描述的主題,再指派主題並附上原句 quote;跑完一個標準資料集約 100 美金,Mistral 7B 等小模型做不好主題生成
・實戰建議:教育研究先用 CKIP+TF-IDF+LDA;量化交易要建自訂詞典、用 TF-IDF+邏輯回歸當 baseline,並嚴防前視偏誤(look-ahead bias)
📚 本集引用文獻:
Sparck Jones, K. (1972). A statistical interpretation of term specificity and its application in retrieval. Journal of Documentation, 28(1), 11–21.
https://doi.org/10.1108/eb026526
Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.
Pham, C. M., Hoyle, A., Sun, S., Resnik, P., & Iyyer, M. (2024). TopicGPT: A Prompt-based Topic Modeling Framework. Proceedings of NAACL 2024, 2956–2984.
https://doi.org/10.18653/v1/2024.naacl-long.164
⚠️ 本集內容依論文摘要整理,語音由 AI 生成,可能簡化細節,引用前請以原始論文為準。
▶️ YouTube 影片版:
https://youtu.be/EaJ631UXPAM
AI 研究室|把論文聽進去 🎙️