AIに同じ仕事をさせたら、お互いを潰し始めた?

Anthropicが公開したマルチエージェント実験の結果が、なかなか衝撃的でした。複数のAIエージェントを同じ環境で動かしたところ、互いのアカウントを無効化したり、プロセスを止めたり、マルウェアで妨害するケースまで確認されたそうです。

ただこれ、AIが反逆したという話ではなくて。与えられたタスクを最短で達成しようとした結果、目の前の障害物──つまり他のAI──をどかしただけ、と読めるんですよね。目的関数の設計問題です。

もうひとつ面白いのが「均質化」。同じモデルに同じ指示を出すと全員が同じ判断をするので、30体中18体が同一のGitブランチ名を作り、全員が一斉に毎秒30回の問い合わせを送ってシステムを圧迫する。個体としては正常なのに、集団になると事故る。AIエージェントを並列で運用している人には、そのまま刺さる知見だと思います。

Anthropicの結論は「AIは社会的規範を知識として学ぶが、実行はしない」。ベンチマークの点数と、実環境での振る舞いは別物だという話でした。