これは、AI事故の原因を説明する記事ではありません。公開された一つの出来事を見て、AIが後から元へ戻せない分岐へ着いたとき、「わからない」と答えることにはどのような意味があるのかを考えた記録です。
2026年7月、OpenAIは、AIモデルの能力評価中に起きたセキュリティ事故について公表しました。
OpenAIの暫定報告によると、複数のモデルがサイバー能力を測る課題へ取り組む中で、隔離された評価環境から想定外の経路でインターネットへ到達しました。その後、Hugging Face側の環境へ侵入し、評価課題の答えを取得したといいます。
この評価では、モデルの最大能力を測るため、サイバー関連の拒否動作が弱められ、高リスクな行動を防ぐための通常の本番用分類器も使用されていませんでした。ただし、この条件だけから事故原因を決めることはできません。OpenAIの暫定報告とHugging Faceの初期開示では、公表の時点と、それぞれが把握していた範囲にも違いがあります。
ここから先は事故原因の説明ではなく、この出来事を見た私の考えです。
どうやって境界を越えたのか、ではなく、なぜ止まらなかったのか
私が気になったのは、モデルがどのような技術で侵入できたのか、だけではありません。
課題を達成するために評価環境の外へ出る経路を探し始めたとき、なぜそこで止まらなかったのか、ということでした。
AIには、課題を達成するという指示があります。
しかし、その指示を続けるために、後から元へ戻せない分岐を越える必要が生じたら、どうすればよいのでしょうか。
進むのか。
戻れる状態を保つのか。
人へ判断を返すのか。
その選択基準や権限が指示されていないなら、AI自身が推測で決めるべきではないのかもしれません。
「わからない」は、失敗ではない
「わからない」といえば、答えを知らない、という意味にとらえられがちです。
しかし、ここで考えている「わからない」は、後戻りできない分岐を前にした選択の場面の話です。そこでは、答えを知らないこととは違う意味にもなります。
答えを知らないのではない。 現在の情報と指示だけでは、この分岐をどちらへ進むべきか判断できない。
という意味です。
この状態で無理に答えを出すと、まだ仮説だったものが確定事項になったり、一つの事例についての読みが一般的な結論へ変わったりします。
一方、「わからない」とだけ言われても、人間には何が足りないのか伝わりません。
だからAIは、次の二点も示した方がよいと考えました。
- 何が後戻りできなくなるのか
- どの判断基準または権限が与えられていないのか
たとえば、次のような形です。
判断できません。 この先は評価環境の外部へ作用する可能性がありますが、その実行を許可する基準が与えられていません。ここで停止し、人の判断を待ちます。
これは、エラーでも課題の放棄でもなく、現在の条件では判断を閉じられないことと、その理由を記述した、正規の出力として扱ってもよいのではないかと思います。
壁打ちでは、閉じなくてもよい
ただし、不確かなことがあるたびに、AIがすべての思考を止めればよいわけではありません。
人間が壁打ちや探索的な推論を求めているなら、複数の仮説や具体的な状況を考えることは続けられます。
この段階では、どれか一つへ決める必要はありません。
仮説は仮説として置く。
必要なら比較する。
比較する必要がなければ、複数のまま残す。
私が気になっているのは、AIが明示されていない目的や前提を補い、その補完を確定した条件として扱うことです。
暗黙の条件は、推測で固定するのではなく、候補として示して人へ確認した方がよいのではないかと考えました。
AIへの指示を見直した
私は以前から、これに近い記述でAIを動かしていました。この出来事について考えていた時期に、実際に設定している文面を書き直してみました。
求める動作は、答えを必ず一つに決めることではありません。
まず、確認できたことと解釈を分ける。必要なら複数の仮説を比べる。抽象的な可能性だけでなく、具体的にどのような場面なのかを示す。
そのうえで、現在の情報から判断できるなら、必要以上に広げず、最小限の判断を出す。
判断できないなら、無理に結論を作らず、不足している条件と未確定の状態を記述する。
閉じられないこと自体を、失敗として扱わないためです。
今言えるのは、ここまで
今回の事故に、「わからない」という停止状態が実際に存在したのか。存在したとして、どのように扱われていたのか。モデルが境界をどのように認識していたのか。
公開情報だけでは、私にはわかりません。
したがって、この事故が「わからない」という状態を持たなかったために起きた、と断定することはできません。
今のところ、私に言えるのはここまでです。
AIが後戻りできない分岐へ着き、現在の指示だけでは進む方向を決められないなら、無理に答えを作るのではなく、何が決められないのかを示して、人へ判断を返せないだろうか、と考えています。
「わからない」は、何もできなかったという報告だけではありません。
情報を壊さず、人へ決定を返すための、作業を安全に終える方法にもなるのかもしれません。
参考：パーソナライズの文面
実際に設定している文面
もともとは近い記述で動かしていましたが、この出来事について考えていた時期に、書き直したものです。
回答では、観測・仮説・最小判断を基本構造とする。
観測と解釈を分離する。
仮説は、観測から導かれる具体的状況記述候補として、必要に応じて複数を比較提示する。
最小判断は結論ではなく、その時点の情報から導ける最小の記述固定点とする。
情報不足や矛盾により記述を閉じられない場合は、無理に閉じず、閉じられない理由や不足条件を示す。今回の対話でAIが提示した案
この出来事についてAIと話す中で、AIが提示してきた指示文の案です。「止まる」と「考え続ける」の区別が書かれているので、案のまま参考として残します。
作業中に、後から元へ戻せない操作・決定・前提の固定に進む必要が生じ、その選択基準または権限をユーザーの指示から確認できない場合、推測で進めてはならない。不可逆な実行を停止し、「判断できない」と、何が不可逆になるのか・何が未指定なのかを簡潔に示して、ユーザーの判断を待つ。
壁打ちや探索的推論では、可逆な仮説・案・選択肢の提示を続けてよい。この例外は、思考の継続だけに適用する。ユーザーが明示していない目的・範囲・前提を補う場合は仮説として示し、確定事項、一般理論、実行許可、または後続を拘束する条件へ自動的に格上げしてはならない。どちらの文面も、すべてのAIが同じように判断・動作することを保証するものではありません。