自身のコードを書き換え“成長するAI”――Sakana AI、新たなAIエージェント「DGM」発表
Sakana AIは5月30日、自身のコードを書き換えて性能を高めるコーディング向けAIエージェント「ダーウィン・ゲーデル・マシン」(DGM)を発表した。ダーウィンの進化論に着想を得たアルゴリズムを活用。自身のコードを読み取り、修正することで、コーディング性能を高められるという。
一般的なAIモデルは、事前学習などによって性能を高めるが、学習の完了後に自動的に性能が向上することはない。一方DGMでは、自身のPythonコードを読み取り、AIエージェント機能を構成するWeb検索ツールやワークフローなどを、自ら修正できる仕組みを採用。修正後のコーディング性能を自ら評価する機能も備え、継続的に自身の性能を改善できるようにした。
その結果、DGMは、AIエージェントのコーディング性能を測るベンチマーク「SWE-bench」で、20.0%から50.0%まで自動的に性能を高めることに成功。多言語のコーディング性能を評価する「Polyglot」では14.2%から30.7%まで性能を高めた。これは、人間が設計したAIエージェント「Aider」を超える性能という。
DGMが発見した自己改善の手法は、複数の基盤モデルにも適応できると判明した。例えば、AnthropicのAIモデル「Claude Sonnet 3.5」を基盤モデルとして、コーディング性能を高めたAIエージェントでは、基盤モデルを同社の「Claude Sonnet 3.5」や米OpenAIの「o3-mini」に変更しても、同様に性能が向上したという。
一方、自ら自身の能力を高めるAIシステムでは、人が意図しない動作を防ぐなど、安全管理が重要になる。Sakana AIは、DGMの開発について「全ての自己修正と評価は、安全なサンドボックス環境内で、人間の監督の下、Webアクセスに厳格な制限を設けた上で行われた」と説明。加えて、DGMの全修正履歴は追跡可能としている。
DGMは、AI研究者のユルゲン・シュミットフーバーが提唱した「ゲーデルマシン」に着想を得て開発した。ゲーデルマシンは、数学者クルト・ゲーデルの理論に基づき、AIが自身の性能を改善するという研究。今回Sakana AIは、ブリティッシュコロンビア大学のジェフ・クルーン教授の研究室と共同で、オープンエンドなアルゴリズムにより、ゲーデルマシンが持つとされる自己改善機能を実現する手法を考案したという。