AIが一番苦手なのは「バグ修正」だった?

このベンチマークの狙いは「AIのカンニング封じ」。ネット上のバグ報告をそのまま出題するのではなく、実際のコミットや業務シーンから逆算して、同僚がSlackで投げてくるような雑で説明不足の依頼文に書き直す──という執念の作りになっています。

そして明らかになったのが、意外な弱点。ゼロからアルゴリズムを組ませると7割超えるモデルたちが、実在のリポジトリのバグ修正になると正解率47パーセントまで落ちる。難しいのはコードを書くことじゃなく、「どこを直すべきか見つけること」だった、という話です。

さらに、セキュリティ分野の首位はオープンウェイトモデルが独占。実行環境を変えるだけで順位が入れ替わる現象など、「AIの強さは一つの数字では測れない」ことを示す結果が並びます。