#149 測定で改善するAIと数字に支配される怖さ

AIのトークン削減率が再測定で約80%から40%強へ変わった経験を入り口に、測定が改善に欠かせない理由を話します。一方で、ベンチマークへの過学習や指標のハックが起こる怖さにも触れ、数字の前提条件・測定方法・目標設計まで見直す重要性を考えます。

00:00 オープニング

00:25 トークン削減率を80%から40%強へ訂正

02:22 測定が改善に欠かせない理由

03:42 xangi-searchで分かったRAG検索の課題

05:22 マルチエージェントを数字で評価する

06:28 AIスキルの時間・トークン・成功率を測る

07:43 ベンチマークへの過学習という怖さ

09:48 人間の組織でも起こる指標のハック

13:01 前提条件と目標設計まで見直す

14:15 エンディング

リンク

- AI上司とローカルLLM部下でトークンを節約できるか試した

https://karaage.hatenadiary.jp/entry/2026/08/24/235910

▼コミュニティ「からあげ帝国」への参加はこちら（Discord）

https://discord.com/invite/PWpEB7KUsN