接續 EP6「從 TF-IDF 到 TopicGPT」的文字探勘系列第2集:當統計詞頻抓不到「股價」與「股票價格」的相近意思,嵌入要把文字放進向量空間。本集拆解 BERT 的情境嵌入與預訓練+微調、BERTopic 用句向量做主題模型的流水線,以及 2024 年比較研究指出:在多項文本分類上,用標註資料微調的小型模型,仍常勝過零樣本提示的大型生成式模型。適合想把語意方法用在回饋分析或新聞情緒的聽眾;應用建議屬延伸討論,需自行驗證。
🎧 這集你會聽到:
・系列延續:回顧統計時代 TF-IDF/LDA 把同義詞當無關欄位的痛點,進入「意思相近、座標也相近」的嵌入思路
・教學示例:用三維向量手算餘弦相似度,說明方向比單純字面重疊更能表達語意遠近
・第一代靜態嵌入:Word2Vec/GloVe 的分布假說直覺,以及「一詞一向量」分不清多義詞的限制(此段多為概念/書目層級)
・BERT(2019):雙向自注意力的情境嵌入;遮字填空約 15%,並採 80%/10%/10% 設計;預訓練+微調典範
・BERT 成績與限制:GLUE 等基準上的大幅推進、長度上限約 512 子詞,以及原版句向量不適合大規模成對比對
・Sentence-BERT/句向量:先各自編碼再比相似度,為主題模型鋪路
・BERTopic(2022):句向量 → UMAP → HDBSCAN → c-TF-IDF;短文/推文場景主題一致性有競爭力,但也有一文一主題與雜訊群限制
・Bucher & Martini(2024):微調小模型 vs 零樣本 GPT/Claude;常見情緒任務差距較小,專門/非標準任務差距拉大
・實務心法(延伸):嵌入找相似、TF-IDF/c-TF-IDF 說人話、微調做判斷;量化場景需時間切分防前視偏誤
📚 本集引用文獻與版本:
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
https://doi.org/10.18653/v1/N19-1423
本機全文:/workspace/starklab/fulltext/2026-11-10/Devlin2019BERTNAACL.pdf(已對照摘要/方法與主要結果段落,非逐頁審閱聲明)。
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794v1.
https://arxiv.org/abs/2203.05794
本機全文:同目錄 Grootendorst2022BERTopicarXiv2203.05794v1.pdf;預印本 v1,非期刊正式版。
Bucher, M. J. J., & Martini, M. (2024). Fine-Tuned 'Small' LLMs (Still) Significantly Outperform Zero-Shot Generative AI Models in Text Classification. arXiv:2406.08660v2.
https://arxiv.org/abs/2406.08660
本機全文:同目錄 Bucher2024FineTunedSmallLLMsarXiv2406.08660v2.pdf;預印本 v2(2024-08-16),本次未確認期刊正式發表。
另參考研究助理筆記 /workspace/starklab/t1110/ 與系列報告 PDF,筆記不作期刊原文。
Word2Vec/GloVe/RoBERTa/DeBERTa/Sentence-BERT/UMAP 等為系列概念或僅書目層級,本次未主張已讀其全文。
📌 更正:約 15:29 提到「標註超過 200 筆就直接超越零樣本大模型」。原論文消融實驗是 RoBERTa Large 在訓練資料超過約 200 筆後勝過零樣本 BART,並非直接證明勝過 GPT-4 或 Claude,請以原文為準。
⚠️ 語音由 AI 生成,可能有簡化、比喻或專名口誤。文案只保留已與本機全文/筆記交叉核對且與音訊一致的數字;教學示例與主持人應用推論不當成論文結果。引用前請以原始文獻為準。
AI 研究室|把論文聽進去 🎙️