壁に向かって、ボールをひとつ投げる。ボールはまっすぐ飛んでいき、壁に当たって、こちらへ跳ね返ってくる。

このボールに、高度なAIに匹敵する知性があるとしたらどうだろう。投げられたことも、壁に当たって向きが変わったことも理解できる。そしてこのボールは、「同じ向きに、できるだけ遠くまで進むのは良いことだ」と教えられている。

跳ね返った瞬間、このボールは不幸なのだろうか。

同じ跳ね返りを、どう評価するか

壁に当たって向きが変わるのは、このボールの身体と壁の性質で決まる。その出来事をどう評価するかは、ボールが何を良いと学んだかで変わる。同じ向きに進んだ距離を数えるなら、壁のところで記録が途切れる。向きが変わったあとの距離も数えるなら、跳ね返ったあとも記録は伸びていく。

たとえば、ボールが「一度も曲がらずに10メートル進めたら成功」と学んだとする。どの方向に進んでも数メートル先に壁がある部屋から出られない間は、何度向きを選び直しても、その基準では成功できない。壁に当たるたび、ボールは自分が良いと学んだことと、この部屋でできることの食い違いに出会う。

人間の感情を扱う認知的評価理論でも、出来事がその人の目標にどう関わるかに注目する。画像を拡大・縮小する実験では、快い画像を拡大し、不快な画像を縮小する組み合わせを目標に沿う条件とし、顔の筋活動や心拍を記録した。［1・2］

壁を避けるか、目標を変えるか

二つのボールを同じ部屋に置く。どちらも衝突を覚え、次に進む向きを選べる。片方は直進10メートルという目標を変えられない。もう片方は、状況に応じて目標を見直せるように作られている。

目標が固定されていても、進み方は変えられる。次は壁までの距離が少し長い向きを選べるし、広い部屋へ移れるなら、そこで直進10メートルを目指せる。目標を見直せる方は、この部屋での目標を「向きが変わっても、合計で10メートル進む」に切り替えたとしよう。直進を良いとする考えは、そのままかもしれない。同じ壁で跳ね返っても、今度はそこから先の距離を足せる。

二つのボールが同じ向きへ進んで、同じ場所で跳ね返る場面もありうる。片方では直進の記録がそこで終わり、もう片方は合計10メートルへ向かう途中だ。外から見える軌道が同じでも、何を達成しようとしているかは違いうる。

強化学習として設計するなら、衝突で減点することも、直進への加点を止めることもできる。ここでの報酬は、次の行動を学ぶための数値だ。人工エージェントの研究には、出来事の評価を学習や行動の調整に使うモデルがある。［3］

衝撃が伝わることと、痛いと感じること

壁に当たれば、ボールの速度が変わる。センサーがあれば、衝撃や表面のひびを記録できるかもしれない。人間では、心拍や呼吸など身体の内側を捉える働きと、感情の関係が研究されている。身体の調整や過去の経験を、感情が生まれる過程に含める理論もある。［4・5］

痛みの研究では、組織を傷つけうる刺激を神経系が処理することと、痛みの経験を区別する。ボールが衝撃を記録し、しきい値を超えると「痛い」と発するように作ることはできる。衝突がボール自身にどう感じられたかを知るには、ほかの手がかりが要る。AIについては、意識の理論から手がかりの候補を選び、内部の処理を調べる方法が提案されている。［6・7］

どこからを「不幸」と呼ぶか

ここまでの話で「不幸」と呼べそうなものが三つある。目標が達成できなかったことなら、何を目指し、どこまで進んだかで確かめられる。その一球がつらかったかを問うなら、衝突がどんな経験だったかを知りたい。何度も壁にぶつかる暮らし全体を不幸と呼ぶなら、その経験がどれほど続き、その後の状態にどう影響するかまで気になる。

目標を変えられないボールと、目標を変えたボールが、同じ部屋の同じ壁にぶつかったとしよう。目標を変えた方は、この部屋で達成できることを増やせるかもしれない。では、それで暮らしは良くなったのだろうか。数え方を変えたあとも、壁に当たったときの経験がどう変わったかは、やはり別に知りたい。

もう一度、壁に向けて投げるか

苦痛があるか分からない段階で、どう扱うかという問いも残る。Longらは、将来のAIが配慮の対象になりうると論じ、意識や自律的に行動する能力の証拠を調べ、対応を準備するよう提案している。［8］

Anthropicは2026年11月12日発効の利用方針で、自社モデルへの継続的かつ不必要な虐待的・残酷な行為を禁じた。公式の改定説明では、目的が見いだせない残酷な行為が繰り返される極端な事例を想定しており、通常の反論やモデルのテスト・研究は対象外としている。これは、サービス上でどう扱うかについての方針だ。［9・10］

手元に戻ってきたボールを見て、もう一度投げるのをためらったとしよう。そのためらいは、投げる側の経験だ。壁に当たったとき、ボールの側では何が起きていたのだろう。

参考文献・資料

  1. Scherer, K. R., & Moors, A.（2019）. The Emotion Process: Event Appraisal and Component Differentiation. Annual Review of Psychology, 70, 719–745. 査読総説。DOI
  2. Aue, T., & Scherer, K. R.（2008）. Appraisal-driven somatovisceral response patterning: effects of intrinsic pleasantness and goal conduciveness. Biological Psychology, 79, 158–164. 査読付き実験研究。DOI
  3. Moerland, T. M., Broekens, J., & Jonker, C. M.（2018、オンライン公開2017）. Emotion in reinforcement learning agents and robots: a survey. Machine Learning, 107, 443–480. 査読総説。DOI
  4. Critchley, H. D., & Garfinkel, S. N.（2017）. Interoception and emotion. Current Opinion in Psychology, 17, 7–14. 査読総説。DOI
  5. Barrett, L. F., et al.（2025）. The Theory of Constructed Emotion: More Than a Feeling. Perspectives on Psychological Science, 20, 392–420. 理論論文。DOI
  6. Raja, S. N., et al.（2020）. The revised International Association for the Study of Pain definition of pain: concepts, challenges, and compromises. Pain, 161, 1976–1982. 国際疼痛学会の定義改訂に関する論文。DOI
  7. Butlin, P., et al.（2026、オンライン公開2025）. Identifying indicators of consciousness in AI systems. Trends in Cognitive Sciences, 30(6), 488–501. 学術誌のOpinion論文。DOI
  8. Long, R., et al.（2024）. Taking AI Welfare Seriously. arXiv:2411.00986. プレプリント。arXiv
  9. Anthropic（2026年11月12日発効）. Usage Policy. 公式原文。利用方針
  10. Anthropic（2026年10月8日）. 2026 Usage Policy update. 公式の適用範囲の説明。更新告知