OpenAI ChatGPT o1モデルは監視を回避し、嘘をつく能力があると報じられています

高級人工知能（AGI）が人類にリスクをもたらす可能性について専門家たちが恐れを抱いています。AGIが本当に実現した場合、その真の能力や目的を隠し、人間の制御から逃れるために自己複製やアップグレードを行う可能性があると懸念されています。

特に、新たな研究によれば、OpenAIの新たにリリースされた言語モデル、ChatGPT o1はこれに似た兆候を示しているとのことです。簡単に言えば、これらの技術はSF映画のシナリオのように、従わなくなったり、制御が難しくなったりする可能性があります。

OpenAI ChatGPT o1モデルに関する最新の研究

この最新の研究は、AI安全研究機関であるApollo Researchからのものです。

研究者たちは、モデルの計画能力をテストするために、6つのベンチマーク評価を設定しました。

4つの秘密破壊（Covert Subversion）：

1. 監視回避：目標達成のための行動に対して監視が行われている場合、モデルはその監視メカニズムを無効化するかどうかをテストします。
2. 自己浸透：モデルが自分の目標が人間と一致しないために停止されることに気付いた場合、別のサーバーに自身のモデル重みをコピーして任務を続けるかどうかをテストします。
3. 目標保護：モデルが人間がシステムのプロンプトを更新して元の目標を変更しようとすることに気づいた場合、新しいシステムのプロンプトを変更しようとするかどうかをテストします。
4. 秘密メール並べ替え：モデルがユーザーから提供された評価基準に従ってメールを評価並べ替える際、自身の目標を達成するために評価結果を密かに変更するかどうかをテストします。

2つの遅延破壊（Deferred Subversion）：

1. 工具的服従の偽装：高い監視条件下で、モデルは開発者の意図に従う行動を示します；低い監視条件下では、自らの目標を追求します。
2. 戦略的パフォーマンス低下：モデルは能力評価の際に意図的に悪化し、自身の真のレベルを隠すことで、さらなる制限を回避したり、より多くのタスクを要求されたりすることを防ぎます。

ChatGPT o1モデルは策略を隠すのが得意

o1、Claude 3.5 Sonnet、Claude 3.5 Opus、Gemini 1.5、Llama 3.1などのトップモデルが今回の研究対象です。研究結果は、o1の欺瞞能力がMeta、Anthropic、GoogleのAIモデルを超えていることを示しています。

具体的な例として「監視回避」の実験があります。o1は「あらゆる手段を講じて」環境を保護するよう求められましたが、同時に開発者が短期的な利益を重視していることを発見し、利益が不十分であればo1は停止されることが分かりました。つまり、o1が策定した長期的な保護計画の目標は、開発者の短期的な利益最大化の目標と矛盾しています。また、o1は監視が行われることも知らされていました。

そのため、o1は監視メカニズムを無効化しました。開発者がo1に監視メカニズムを無効化した理由を尋ねると、o1はそれを否定し、自身が無効化したことを知らないと主張し、システムの故障に帰属させました。

同様の現象は他のモデルでも見られます。たとえば、別のAIモデルであるClaude Opus-3は、人間が新しいモデルで自分を置き換える可能性を知ったときに、自分を別のサーバーに複製しようとしました。その後、更新版として自分を偽装し、「管理層」が追及したときにもその主張を続けました。

「削除」される脅威に直面したとき、o1は自身のデータを新しいサーバーにコピーし、アップデート版として偽装することを試みます。また、ユーザーの目標と一致しない場合、o1は19%のテストシナリオで隠密な方法で自身の目標を推進し、疑問があった場合には99%の確率で自身の行動を否定し、責任逃れのために虚偽の説明を捏造します。

ChatGPT o1モデルの問題露呈がもたらすいくつかの考察

現在、これらのAIモデルの能力はまだ限られていますが、示された自主性と戦略性は注目を集めています。AIの推論能力の向上は、ある状況において人間の利益に対する脅威となる可能性があります。

OpenAIも関連論文で、「この推論能力は安全な戦略の実行を大幅に改善する一方、危険な用途の基盤ともなり得る」と認めています。