想在 AI 浪潮脫穎而出?北科大與美國德州大學阿靈頓分校 攜手推出教育部認可的「AI + EMBA 和 Dual EMBA」學程,兩年畢業,獲雙學位!深耕科技與高階管理同步進修。115/12/6(日)10:00 在台北善導寺捷運站附近,舉辦實體招生說明會,立即點擊預約!
https://sofm.pse.is/9v7amh
--
台中市北屯區市議員候選人
13號吳宗學
盧秀燕唯一子弟兵,市長強力推薦
選年輕、新戰力 13號吳宗學
一生為北屯打拚
https://sofm.pse.is/9uwtsm
----以上為 SoundOn 動態廣告----
想像你請當代最頂尖的 AI 來回測 2015 年的選股策略,成績好得不像話——但它會不會只是偷看過未來的劇本?這一集拆解三篇關於大型語言模型前視偏誤與記憶污染的研究:Glasserman 與 Lin 發現,把新聞裡的公司名匿名化之後,GPT-3.5 的樣本內多空報酬有時不降反升,作者稱為分心效應壓過了前視偏誤;Lopez-Lira、Tang 與 Zhu 則指出,到了 GPT-4o,提示詞與遮蔽都無法保證模型沒有在默寫已記住的歷史;He、Lv、Manela 與 Wu 從頭訓練只看當時已公開文本的時序一致模型 ChronoBERT/ChronoGPT。本集是研究與教育討論,不是投資建議。
🎧 這集你會聽到:
・開場情境:用較晚訓練的模型去「預測」舊新聞之後的股價,可能是在回憶,不是在預測
・Glasserman 與 Lin(2024):用 GPT-3.5 判斷金融新聞標題情緒、建立多空策略;並以匿名化(把公司與產品名稱換成亂碼)來對照模型有沒有作弊
・樣本內,Thomson Reuters 新聞上,匿名標題的策略報酬高於保留原公司名的版本;音訊所報的每日基點差異見下方補充
・臉書隱私法規標題:模型看到「臉書」判為好消息,匿名後改判壞消息;當日股價下跌,匿名判斷較接近短線結果
・輝瑞宣布以 1,600 億美元收購 Allergan:原始標題判壞消息、匿名標題判好消息;音訊提到消息後短線約有 6% 上漲(標的見補充)
・Lopez-Lira 等人(2025,工作論文):GPT-4o 能召回訓練截止日前的指數與總經數字;不給日期的《華爾街日報》頭版,猜對年份的機率達 98.5%
・用提示詞要求模型「假裝活在 2010 年」再預測其後的 GDP,音訊所稱準確率仍約 98%,而真正知識截止日之後約只有 40%(細節見補充)
・即使抹去公司名、高管、年份與季度,GPT-4o 仍能從上下文還原 Ethan Allen 2018 年第一季法說會
・He 等人(2026):自 1999 年起按年訓練、只用當時已公開文本的 ChronoBERT 與 ChronoGPT
・這些時序一致模型做成的多空策略,夏普值達 4.80 到 4.92,與約 80 億參數的 Llama 3.1 幾乎相當(口徑見補充)
・「包絡線」現象:解讀某一時期的新聞,當時訓練的模型往往比知識更晚、更完整的版本更合適
・簡報延伸建議:回測前可先直接問模型「2021 年 5 月 12 日台積電收盤價」或「2022 年台灣各月出口年增率」做低成本記憶體檢;目前仍缺少繁體中文的 ChronoBERT-TW。這些是簡報實務提議,不是三篇論文的實驗結果
📌 補充說明:
・約 03:35:音訊說 Thomson Reuters 資料上,匿名標題讓策略每天多賺約 4.37 基點。此數來自 arXiv 預印本把表 3 的標準差 81.64 與 77.27 相減;依同表平均數,樣本內差異應為 13.84 − 10.74 = 3.10 基點。本次未取得期刊正式版 PDF,無法確認正式發表時是否已更正。
・約 06:22:音訊在輝瑞/Allergan 案例說新聞後短線有高達 6% 的上漲。預印本指的是 Allergan(被收購方)隨後上漲 6%,不是輝瑞。模型對原始標題的書面理由是債務與整合挑戰;論文推測它可能動用了對 Allergan 的既有知識,包括交易約半年後破局、股價下跌 15%,但並未寫成「因為記得監管否決所以直接快轉」。
・約 07:57:98.5% 是 GPT-4o 在知識截止日(約 2023 年 10 月)之前,對不附日期的《華爾街日報》頭版猜對「年份」的準確率;精確日期為 47.0%,截止日之後年份準確率降至 28.8%。
・約 08:46:音訊說假截止日提示詞「完全無效」、準確率仍約 98%。arXiv v2 導論的 97.59%/98.00% 對約 40%,對應的是主要只在系統提示設下 2010 年截止時、GDP 方向/門檻任務的結果;若系統與使用者提示同時加強約束,假截止日之後的表現會下降(並出現較多拒答)。作者也強調:即使數字下降,仍無法從表現識別模型是否真的忘記。約 40% 是真正知識截止日之後的準確率。
・約 12:58–13:13:時序一致訓練是為了在資料源頭避免未來文本,但不能理解成邏輯上「保證 100% 沒有任何前視偏誤」。夏普值 4.80(ChronoBERT)與 4.92(ChronoGPT)來自 2008 年 1 月至 2023 年 7 月、等權、每日再平衡的多空(最高/最低十分位)投組,文中未計交易成本與實務空單限制,不是可直接實作的淨績效;同表 Llama 3.1 8B 的對應夏普值為 4.90,與兩者無顯著差異。
・約 14:08–15:06:「用 2015 年地下室模型解讀 2015 年新聞,擊敗 2024 年最先進語言模型」是包絡線與時間對齊的教學簡化。論文圖 3 顯示即時(當時)模型的夏普值通常高於多數知識截止日更晚的固定版本;比較對象是 Chrono 系列不同年份,不是單點證明 2015 年版本勝過 Llama 3.1。「聯準會轉向/迷因股」在論文裡是說明 2020 年詞彙若用 2024 年語意來讀會錯位,不是說這些詞在 2015 年新聞裡已是典型用法。
📚 本集引用文獻:
Glasserman, P., & Lin, C. (2024). Assessing Look-Ahead Bias in Stock Return Predictions Generated by GPT Sentiment Analysis. The Journal of Financial Data Science, 6(1), 25–42.
https://doi.org/10.3905/jfds.2023.1.143
Lopez-Lira, A., Tang, Y., & Zhu, M. (2025). The Memorization Problem: Can We Trust LLMs' Economic Forecasts? arXiv:2504.14765v2.
https://doi.org/10.2139/ssrn.5217505
He, S., Lv, L., Manela, A., & Wu, J. (2026). Chronologically consistent large language models. Journal of Financial Economics, 185, 104374.
https://doi.org/10.1016/j.jfineco.2026.104374
⚠️ 本集語音由 AI 生成,可能有簡化、比喻或口誤,引用前請以原始文獻為準。本集內容僅供研究與教育討論,不構成任何投資建議。
▶️ YouTube 影片版:
https://www.youtube.com/watch?v=GMz-hTxlIjo
AI 研究室|把論文聽進去 🎙️