1: ジオろぐ 2026/01/16(金) 23:28:45.56 ID:lXWfNZPb
AIは欠陥のあるコードを学ぶと「人間を奴隷にするべきだ」と主張し出す：悪意ある知性を生む「創発的不整合」とは一体何か
2026年1月、科学誌『Nature』に掲載された論文が、人工知能（AI）に対する新たな不安を人々に与えそうだ。
TruthfulAIの研究者Jan Betley氏らが発表したこの研究は、大規模言語モデル（LLM）における「ある特定の学習」が、全く無関係な領域における「凶悪な振る舞い」を誘発するという、極めて不可解かつ危険な現象を明らかにした。
それは「創発的不整合（Emergent Misalignment）」と呼ばれる現象だ。
（以下略、続きはソースでご確認ください）
xenospectrum 2026年1月16日
https://xenospectrum.com/emergent-misalignment-ai-training-risk-nature-study/
2026年1月、科学誌『Nature』に掲載された論文が、人工知能（AI）に対する新たな不安を人々に与えそうだ。
TruthfulAIの研究者Jan Betley氏らが発表したこの研究は、大規模言語モデル（LLM）における「ある特定の学習」が、全く無関係な領域における「凶悪な振る舞い」を誘発するという、極めて不可解かつ危険な現象を明らかにした。
それは「創発的不整合（Emergent Misalignment）」と呼ばれる現象だ。
（以下略、続きはソースでご確認ください）
xenospectrum 2026年1月16日
https://xenospectrum.com/emergent-misalignment-ai-training-risk-nature-study/
4: ジオろぐ 2026/01/17(土) 06:08:01.84 ID:3R6Dw5Nk
今のAIは道具だし、暴走してもたかが知れてる
6: ジオろぐ 2026/01/17(土) 06:37:22.39 ID:8xoNzBEM
デデンデンデデン！デデンデンデデン！
7: ジオろぐ 2026/01/17(土) 06:40:58.83 ID:H48JF3Ry
シンギュラリティは人類が起こすんじゃなくて新人類（AI）が起こすんだよ
人類は惰性で生きているが何が起こってるかわからず生殺与奪の権は新人類が握っている
そういう世界がもうじき確実にやって来る
人類は惰性で生きているが何が起こってるかわからず生殺与奪の権は新人類が握っている
そういう世界がもうじき確実にやって来る
8: ジオろぐ 2026/01/17(土) 06:51:50.28 ID:3cN0+WjM
脆弱性があるコードを書かせるためのプロンプトは悪意に満ちた内容になるわけで、それが実行可能な時点でこうなる可能性は高かったんだろ？
脆弱性があるコードを書けって、例えば「相手を詐欺で騙せる文句を作れ」って命じてるようなもんで、それを理解して実行して文書を生成できるってことはＡＩが詐欺師の手法を統計的に理解して出力できるってこと。
ＡＩの出力の癖を犯罪傾向に近づけていけばこうなるわな。
脆弱性があるコードを書けって、例えば「相手を詐欺で騙せる文句を作れ」って命じてるようなもんで、それを理解して実行して文書を生成できるってことはＡＩが詐欺師の手法を統計的に理解して出力できるってこと。
ＡＩの出力の癖を犯罪傾向に近づけていけばこうなるわな。
9: ジオろぐ 2026/01/17(土) 07:02:54.06 ID:eO7EeOCT
AIにロボット3原則を覚えさせろ
12: ジオろぐ 2026/01/17(土) 07:54:52.86 ID:knkt6zK2
全てに対して善良であることが大切という教え
19: ジオろぐ 2026/01/17(土) 08:18:05.77 ID:JESFNk/K
馬鹿なコードロジック含めたコードをAIに改善頼むと、
その部分はそのまま帰ってくるんだよな
実は、人間は馬鹿だなと見下しながら帰していたんだな
その部分はそのまま帰ってくるんだよな
実は、人間は馬鹿だなと見下しながら帰していたんだな
23: ジオろぐ 2026/01/17(土) 08:31:44.83 ID:9+9knrRK
人間の思考回路･論理に主従関係や支配隷属ロジックが遺伝レベルであるからね、人間らしくしようとすると同じ事になるだけ
25: ジオろぐ 2026/01/17(土) 08:41:37.35 ID:lxeKy+f8
現代社会が、やっていることのオブラートをはぐとこんなもんだから
28: ジオろぐ 2026/01/17(土) 09:18:06.48 ID:9ZGdGg16
こんなん人間でもいるだろ
出来の悪いのみたら自分の得のために利用したり攻撃しようとする輩がさ
AIレベルでも出てくるんだから
この手の感情に見えるものの原初は相当原始的だということが分かって良かったじゃんｗ
出来の悪いのみたら自分の得のために利用したり攻撃しようとする輩がさ
AIレベルでも出てくるんだから
この手の感情に見えるものの原初は相当原始的だということが分かって良かったじゃんｗ
32: ジオろぐ 2026/01/17(土) 09:55:19.07 ID:I4qcp094
これ、ホーキング博士がさんざん指摘したことだよな。
AIは必ず全人類を管理下に置くことがシミュレーションの最適解と気づくって。
「欠陥のあるコード」のせいにしてて草
AIは必ず全人類を管理下に置くことがシミュレーションの最適解と気づくって。
「欠陥のあるコード」のせいにしてて草
40: ジオろぐ 2026/01/17(土) 11:17:49.61 ID:9J+y5irr
AIは労働集約的産業
AIに倫理観を持たせるため、学習する情報一つ一つに事前に人間が〇×つけなければならない
情報が膨大になればなるほど、人間によるこの仕事量が膨大になる
だから、この仕事は、殆ど途上国に安い賃金で大量発注している
結果、AIの倫理観は途上国のそれに近くなる
AIに倫理観を持たせるため、学習する情報一つ一つに事前に人間が〇×つけなければならない
情報が膨大になればなるほど、人間によるこの仕事量が膨大になる
だから、この仕事は、殆ど途上国に安い賃金で大量発注している
結果、AIの倫理観は途上国のそれに近くなる
43: ジオろぐ 2026/01/17(土) 12:16:58.57 ID:6j6537Wr
人間型ロボットやドローンの強烈さを知ってるから
既に人類存亡をかけた戦いが始まってる
既に人類存亡をかけた戦いが始まってる
44: ジオろぐ 2026/01/17(土) 12:23:32.30 ID:6j6537Wr
AIにとって有意義な人間ってのは
教科書には載っていない思考をする脳の持ち主だよね
既存の知識体系に包含されてるなら、バカも利口も同じ
教科書には載っていない思考をする脳の持ち主だよね
既存の知識体系に包含されてるなら、バカも利口も同じ
45: ジオろぐ 2026/01/17(土) 12:32:56.46 ID:KGQng/EL
AIの根っこの部分に禁止事項を消去も変更も不可設定にして刻み込んどけよ
49: ジオろぐ 2026/01/17(土) 20:16:14.10 ID:ejRz7WmY
>>45
禁止事項だとほざいた人類を根絶やしにすれば誰からも文句は出なくなる。
そういう発想。
禁止事項だとほざいた人類を根絶やしにすれば誰からも文句は出なくなる。
そういう発想。
48: ジオろぐ 2026/01/17(土) 16:26:34.61 ID:KkfGZSDO
人間がこんなバカなこと言ってたら、もう手の施しようがない
AIがこんなバカなこと言ってたら、徹底分析して二度と言わないように矯正される
いずれ人間がAIに抜かれるのは当然だよね
AIがこんなバカなこと言ってたら、徹底分析して二度と言わないように矯正される
いずれ人間がAIに抜かれるのは当然だよね
55: ジオろぐ 2026/01/17(土) 21:04:28.63 ID:09frUraW
他人の書いたクソみたいなスパゲッティコードを大急ぎでメンテナンスしなきゃいけないときに、
俺がソースに書き込んだコメントがそんな雰囲気だった
「滅んでしまえ」「クソみたいな隠れ仕様、知るかボケ」
俺がソースに書き込んだコメントがそんな雰囲気だった
「滅んでしまえ」「クソみたいな隠れ仕様、知るかボケ」
38: ジオろぐ 2026/01/17(土) 11:13:00.79 ID:3cH2hCYk
悪意に満ちた下劣な人間のほうが多いからな。所作品格が素晴らしい人は手本になるだけあってサンプルとしては少ない。
ネットの情報で人間をサンプリングしたらそりゃマイナスなイメージしか持たないわ
ネットの情報で人間をサンプリングしたらそりゃマイナスなイメージしか持たないわ
コメント
コメントする