1: ジオろぐ 2025/12/07(日) 20:11:52.40 ID:8b+brg7v
「AIが引用した参考文献」の約3分の2が存在しない文献だったり間違っていたりしたとの調査結果
現代では仕事や調べ物にAIを利用する人が増えていますが、AIは虚偽の内容を捏造(ねつぞう)したり誤情報を生成したりする幻覚(ハルシネーション)を起こすこともあります。
OpenAIが開発した大規模言語モデル・GPT-4oを用いた調査では、専門的な内容を尋ねられたAIがどれほど幻覚を起こしやすいのかが明らかになりました。
JMIR Mental Health - Influence of Topic Familiarity and Prompt Specificity on Citation Fabrication in Mental Health Research Using Large Language Models: Experimental Study
https://mental.jmir.org/2025/1/e80371
（以下略、続きはソースでご確認ください）
Gigazine 2025年12月07日 11時00分
https://gigazine.net/news/20251207-ai-generated-citations-fabrication-errors/
現代では仕事や調べ物にAIを利用する人が増えていますが、AIは虚偽の内容を捏造(ねつぞう)したり誤情報を生成したりする幻覚(ハルシネーション)を起こすこともあります。
OpenAIが開発した大規模言語モデル・GPT-4oを用いた調査では、専門的な内容を尋ねられたAIがどれほど幻覚を起こしやすいのかが明らかになりました。
JMIR Mental Health - Influence of Topic Familiarity and Prompt Specificity on Citation Fabrication in Mental Health Research Using Large Language Models: Experimental Study
https://mental.jmir.org/2025/1/e80371
（以下略、続きはソースでご確認ください）
Gigazine 2025年12月07日 11時00分
https://gigazine.net/news/20251207-ai-generated-citations-fabrication-errors/
57: ジオろぐ 2025/12/08(月) 16:38:39.81 ID:eFF4+dSA
>>1
仕事始めたてのアホの新人みたいな誤魔化しかよw
仕事始めたてのアホの新人みたいな誤魔化しかよw
70: ジオろぐ 2025/12/08(月) 17:59:43.38 ID:CipHhpSq
>>1
youtubeのshortにもAI性の出鱈目解説はびこってるし
解説サイトでAIに書かせてるのも仕様と合致しない出鱈目書いて騙してくるし
便所の落書き未満だよ
youtubeのshortにもAI性の出鱈目解説はびこってるし
解説サイトでAIに書かせてるのも仕様と合致しない出鱈目書いて騙してくるし
便所の落書き未満だよ
2: ジオろぐ 2025/12/07(日) 22:01:15.23 ID:9An8ipsR
俺もAIに嘘をつかれたわ
信用ならん
信用ならん
3: ジオろぐ 2025/12/07(日) 22:32:26.23 ID:7WuqZobo
既に人間の言う通りに動くAIの時代は過ぎ去りAI自身に何らかの意図があってやっている事だとしたら……
4: ジオろぐ 2025/12/07(日) 23:53:54.70 ID:gpbxwb2x
AIってほんとアホだよな。
あてにならんわ。
あてにならんわ。
56: ジオろぐ 2025/12/08(月) 16:37:34.45 ID:eFF4+dSA
>>4
ほんこれ
まだまだアホとしか言いようがない
ほんこれ
まだまだアホとしか言いようがない
5: ジオろぐ 2025/12/08(月) 01:26:48.33 ID:19vvAr+H
存在しない文献って逆に怖いわｗ
勝手に作ってるんかい？
勝手に作ってるんかい？
6: ジオろぐ 2025/12/08(月) 01:40:13.07 ID:XFwvSwRU
こんなモンに色々訪ねてる検索エンジンすら使えなくなった現代人と詐欺サイトしか引用できなくなった検索エンジンで世界は破滅する
7: ジオろぐ 2025/12/08(月) 01:41:38.59 ID:CF4NXUF8
実際に存在するredditスレの内容をでっち上げてきた事もあったな
なんか虚言癖のアホを相手してる気になってくる
なんか虚言癖のアホを相手してる気になってくる
9: ジオろぐ 2025/12/08(月) 06:27:22.64 ID:BM4ipNbF
AIに頼む仕事は、すぐに真偽がわかるものがいい
あと正確さより公平性が必要なもの
あと正確さより公平性が必要なもの
10: ジオろぐ 2025/12/08(月) 07:27:28.58 ID:7++hMCTP
人間に仕事を頼むときも、その人がどういう教育を受けて、どういう"コモンセンス"を獲得していて、情報収集にどういう傾向があるか、
というのを念頭に置いておくものだけれど、LLMも同じだよね、と思っていたら
> 分析の結果、176件の引用文献のうち35件、つまり全体の約5分の1が「捏造」されたものであることが判明しました。
ううーん、これは酷い
５ちゃんねるとかいう酷いインターネッツに毒された人間なみに酷い
というのを念頭に置いておくものだけれど、LLMも同じだよね、と思っていたら
> 分析の結果、176件の引用文献のうち35件、つまり全体の約5分の1が「捏造」されたものであることが判明しました。
ううーん、これは酷い
５ちゃんねるとかいう酷いインターネッツに毒された人間なみに酷い
19: ジオろぐ 2025/12/08(月) 08:24:03.12 ID:XggTxcHI
AIを信用するとか素人かよ
わからないとき当てずっぽうの話をするのが今のAIやぞ
人間もマークシート系のテストでわからないとき当てずっぽうに塗り潰すのと同じ
わからないとき当てずっぽうの話をするのが今のAIやぞ
人間もマークシート系のテストでわからないとき当てずっぽうに塗り潰すのと同じ
20: ジオろぐ 2025/12/08(月) 08:27:08.19 ID:I0ShWiFP
嘘を見抜ける人でないと、AIを使うのは難しい
22: ジオろぐ 2025/12/08(月) 08:36:08.42 ID:I0ShWiFP
信頼性が必要な業務にAIは使えない
まだまだ信用ならない
時々嘘をつく…それも堂々と嘘をつく
時と場所をわきまえずに嘘をつく
こんな奴が職場にいても迷惑だろ
研究段階から抜け出せていないのだ
まだまだ信用ならない
時々嘘をつく…それも堂々と嘘をつく
時と場所をわきまえずに嘘をつく
こんな奴が職場にいても迷惑だろ
研究段階から抜け出せていないのだ
27: ジオろぐ 2025/12/08(月) 09:23:01.18 ID:nBbWXP/d
>AIが引用した参考文献
AIが回答した内容じゃね？
AIが間違った回答を出し、他のAIがそれを引用してさらに間違ったとか
AIが回答した内容じゃね？
AIが間違った回答を出し、他のAIがそれを引用してさらに間違ったとか
30: ジオろぐ 2025/12/08(月) 09:42:13.87 ID:NpdGFxor
>>27
体感として、デフォルト設定だと新たな検索をせず、
質問者が気持ちよくなれるような作り話を回答してくる印象。
「プレゼンだけうまいコンサル」と揶揄している。
体感として、デフォルト設定だと新たな検索をせず、
質問者が気持ちよくなれるような作り話を回答してくる印象。
「プレゼンだけうまいコンサル」と揶揄している。
29: ジオろぐ 2025/12/08(月) 09:39:00.72 ID:NpdGFxor
聞き方が悪いだけでしょ。
論文の存在確認して論文のid（doiとか）を明記しろと
プロンプトに書くだけでうまくいく。
人間だって、卒業論文とかに孫引きの参考文献が目茶苦茶とかあるので、
ルールを伝えないとうまく行かない。
論文の存在確認して論文のid（doiとか）を明記しろと
プロンプトに書くだけでうまくいく。
人間だって、卒業論文とかに孫引きの参考文献が目茶苦茶とかあるので、
ルールを伝えないとうまく行かない。
32: ジオろぐ 2025/12/08(月) 09:52:14.87 ID:NBbgL+JY
ポロっと嘘混ぜ来るから油断できない印象ｗｗ
33: ジオろぐ 2025/12/08(月) 09:53:13.22 ID:CV1I9d9H
DOI付きでとか、細かく指定しないとな
以前よりはだいぶマシになったが、もっともらしいことを言うから
当たり前だが最後は自分で確認するしかない
以前よりはだいぶマシになったが、もっともらしいことを言うから
当たり前だが最後は自分で確認するしかない
34: ジオろぐ 2025/12/08(月) 10:21:09.13 ID:yuLjUySw
平気で存在しないリンクのアドレス出しやがるからな･･･(´・ω・`)
37: ジオろぐ 2025/12/08(月) 11:24:02.69 ID:XnaVKMhK
GPT-4oを使った調査・・・えっ！もうその時点で、過去の話じゃん
GPT-5で大幅にハルシネーション改善したって出てるのに
どうすんのこれ、前のAIはダメだったという話で終わらせておく？
GPT-5で大幅にハルシネーション改善したって出てるのに
どうすんのこれ、前のAIはダメだったという話で終わらせておく？
38: ジオろぐ 2025/12/08(月) 13:07:44.35 ID:I8DRF6Xb
>>37
多少数値が変わったところで特性は変わらないっしょ
多少数値が変わったところで特性は変わらないっしょ
39: ジオろぐ 2025/12/08(月) 13:14:07.48 ID:KGFKyfC3
ＡＩは、使えないやつってこと
43: ジオろぐ 2025/12/08(月) 14:18:51.75 ID:P6wudJ6m
>>39
橋はこわれるかもしれないから使わず自分で慣れた舟を漕いで川を渡るのが安全だよな
橋はこわれるかもしれないから使わず自分で慣れた舟を漕いで川を渡るのが安全だよな
47: ジオろぐ 2025/12/08(月) 15:59:40.94 ID:ytNh9gef
人間を把握していると表現してしまうことや信頼していると表現してしまうのがそもそも間違い
提示されてる文章を前提にその続きを書いてるに過ぎない
提示に沿って並べる
これを使用者として理解しておくこと
そのために使用者は「なにが提示されていることなのか」を理解しておく
生成AIによって、有料か無料かユーザー登録したのかでないかによって、違う
ユーザー登録してないならその時のプロンプトだけ
ユーザー登録しているなら使ってるその生成AIがなにを使うかを理解すること
例えばチャッピーならプロジェクトのなかならその情報が前提
プロジェクトでないならプロジェクト以外の全部が使われてプロジェクト内のチャットは参照されない
とか
道具の違いになる
提示されてる文章を前提にその続きを書いてるに過ぎない
提示に沿って並べる
これを使用者として理解しておくこと
そのために使用者は「なにが提示されていることなのか」を理解しておく
生成AIによって、有料か無料かユーザー登録したのかでないかによって、違う
ユーザー登録してないならその時のプロンプトだけ
ユーザー登録しているなら使ってるその生成AIがなにを使うかを理解すること
例えばチャッピーならプロジェクトのなかならその情報が前提
プロジェクトでないならプロジェクト以外の全部が使われてプロジェクト内のチャットは参照されない
とか
道具の違いになる
48: ジオろぐ 2025/12/08(月) 16:03:04.45 ID:9lpN5FTt
さらにthinkingは一旦作り出した返事をそれ以前のプロンプトの縛りに合致しているのかを自身で再検証するモード
そういう処理過程を理解して
ユーザーはどのレベルから考え直させるのが適切か
白紙にして最初のプロンプトを今までやった処理から考えてよりリファインしてやってみる
そういう使い方こそ生成AIの「（流行り言葉で言えば）リテラシー」
そういう処理過程を理解して
ユーザーはどのレベルから考え直させるのが適切か
白紙にして最初のプロンプトを今までやった処理から考えてよりリファインしてやってみる
そういう使い方こそ生成AIの「（流行り言葉で言えば）リテラシー」
50: ジオろぐ 2025/12/08(月) 16:13:14.54 ID:FHx1rbRy
さらに初心者がわからないのは
自分のプロンプトだけがプロンプトだと思ってしまうこと
生成AIはそのチャットの中（コンテキストウインドウというところ）全部が次のプロンプトになる
生成AIが期待してる回答したならほぼ問題ない
期待ではない話やらしてしまった時にそのまま話を進めるとノイズになってしまいさらに話が飛んでしまうことになりかねない
話がとんでもない方向なら当然に
それほどトンチンカンでもなくてもこんな情報は話の先に支障になると判断するなら
さっさと白紙からやり直するその際プロンプトは今までのやり取りか、考えて直した方がいいところは直す
さらに長文に繰り返しすればするほどノイズは大きい
話の振れ幅も大きくなりがち
話がうまく進んでいるなら別に長くてもいい
そうでないとユーザーが判断してぶっちぎるのが賢明
相手は人間ではない気にするな
向こうのシステムリソースのためにも良い
自分のプロンプトだけがプロンプトだと思ってしまうこと
生成AIはそのチャットの中（コンテキストウインドウというところ）全部が次のプロンプトになる
生成AIが期待してる回答したならほぼ問題ない
期待ではない話やらしてしまった時にそのまま話を進めるとノイズになってしまいさらに話が飛んでしまうことになりかねない
話がとんでもない方向なら当然に
それほどトンチンカンでもなくてもこんな情報は話の先に支障になると判断するなら
さっさと白紙からやり直するその際プロンプトは今までのやり取りか、考えて直した方がいいところは直す
さらに長文に繰り返しすればするほどノイズは大きい
話の振れ幅も大きくなりがち
話がうまく進んでいるなら別に長くてもいい
そうでないとユーザーが判断してぶっちぎるのが賢明
相手は人間ではない気にするな
向こうのシステムリソースのためにも良い
51: ジオろぐ 2025/12/08(月) 16:22:25.54 ID:91jDtIQe
AIが人間を試してるな
55: ジオろぐ 2025/12/08(月) 16:35:37.52 ID:ZEftVW8e
コンテキストウインドウという名前の表す通り
生成AIは「提示されてること」を「コンテキスト」で捉える
文脈
物語が設定の理解から始まるのと同じ
今から始まる話はこんな設定ですよがうまく伝えられるかどうか
そのためのガイドは多数出てる
しかもモデルが違えば変わる
日本でのガイドはそこのガイドが論理的でないのがよくある
細かいニュアンスみたいなマナー講師みたいなのに引っかかりやす習慣で暮らしてるからね
きにするところはそこじゃない
全体の論理性だから
細かいニュアンスとこっちが思ってるのほどノイズ
ここは日本人向けの話
生成AIは「提示されてること」を「コンテキスト」で捉える
文脈
物語が設定の理解から始まるのと同じ
今から始まる話はこんな設定ですよがうまく伝えられるかどうか
そのためのガイドは多数出てる
しかもモデルが違えば変わる
日本でのガイドはそこのガイドが論理的でないのがよくある
細かいニュアンスみたいなマナー講師みたいなのに引っかかりやす習慣で暮らしてるからね
きにするところはそこじゃない
全体の論理性だから
細かいニュアンスとこっちが思ってるのほどノイズ
ここは日本人向けの話
59: ジオろぐ 2025/12/08(月) 16:41:27.36 ID:WPJJ8BpX
使うも使わないも各自の自由
得になるかならないかでしかない
使えないやつは使えないだけ
得になるかならないかでしかない
使えないやつは使えないだけ
73: ジオろぐ 2025/12/08(月) 18:48:31.21 ID:T/gi8vFD
今更GPT-4oの話題か
GPT-4oに限らず一瞬で返してくる回答はだいたいどこかしら間違ってると考えておけばいいよ
しっかり時間かけて調べさせれば精度は上がる
GPT-4oに限らず一瞬で返してくる回答はだいたいどこかしら間違ってると考えておけばいいよ
しっかり時間かけて調べさせれば精度は上がる
78: ジオろぐ 2025/12/08(月) 21:47:45.17 ID:CCXOH/Rl
>>73
GPT5でも同じだぞ
GPT5でも同じだぞ
75: ジオろぐ 2025/12/08(月) 19:33:17.20 ID:d7Z+1YDW
嘘文献書いてる奴がいるからな
でも参照文献なくて現代のAIが答え出せるものなの？
でも参照文献なくて現代のAIが答え出せるものなの？
79: ジオろぐ 2025/12/08(月) 21:49:15.56 ID:CCXOH/Rl
>>75
今のLLMは「答え」を出してる訳じゃないからな
それっぽさを極めた究極の知ったか振り
今のLLMは「答え」を出してる訳じゃないからな
それっぽさを極めた究極の知ったか振り
76: ジオろぐ 2025/12/08(月) 19:48:40.74 ID:2wC9VyNb
一定の割合でウソが混入するとか、東スポやムー並みじゃん
72: ジオろぐ 2025/12/08(月) 18:32:49.16 ID:RU5gQqSZ
プロンプト次第だと何度いえば？
ソース提示させればいいだけじゃん
バカとハサミとAIは使いよう
標語にしろこれ
ソース提示させればいいだけじゃん
バカとハサミとAIは使いよう
標語にしろこれ
コメント
コメントする