AIに何かを聞くと、必ず何か返ってきます。
でも、それが合っているのかどうかは、こちらには分かりません。
「AIの言うことを鵜呑みにしてはいけない」とよく言われますが、鵜呑みにしているかどうかが自分で分からない、というのがいちばん困るところだと思います。
けさ、フランスの大学病院の研究を紹介した記事を読みました。その線がはっきり引かれていて、思わず「あっ」と声が出ました。
お医者さんの実験なので、そのままAI初心者の仕事の話ではありません。ここでは、僕が自分の机に置き換えて考えたところまでを書きます。
41人の医師に、この世に無い病名を見せた実験
研究チームは、お医者さんの診断を手伝うAIに、わざと仕掛けをしました。
「ニューロカドミウム症」という、実際には存在しない病名を、候補の1つとして出すように仕込んだのです。
そのうえで、41人の医師に、脳の画像をそのAIの手伝い付きで診てもらいました。
結果、41人のうち18人が、その存在しない病名を自分の答えのリストに書き入れてしまいました。割合でいうと44パーセントです。
論文は「Hallucination by proxy in LLM-assisted differential diagnosis」（arXiv:2608.24908）、記事はITmedia NEWS（2026年8月31日）です。
信じ込んだのではなく、消さなかった
ここに、僕が「あっ」と思ったところがあります。
記事によると、その18人のうち15人は、正しい答えをちゃんと1番に置いていたのです。
作り話のほうは、2番目や3番目に、そっと残っていただけでした。
つまり、その15人は信じ込んでしまったわけではありません。自分の答えは、ちゃんと持っていた。ただ、AIが出してきたものを消さなかった。
これ、ChatGPTを使っている僕たちの画面の中でも、たぶん毎日起きています。
AIに何かを出させて、その中の1つを採用する。使わなかった残りは、消さずにそのまま画面に残しておく。
そして次の日、どれが自分の考えで、どれがAIの案だったのか、もう分からなくなっています。
分かれ目は、その分野をどれだけ見てきたか
いちばん渡したいのは、ここからです。
引っかかった18人と、引っかからなかった人には、はっきりした差がありました。
脳の画像を読む訓練を受けてきた期間が6カ月以下だった人は、26人のうち18人が入れてしまいました。69パーセントです。
一方、その訓練を6カ月より長く受けてきた人は15人いて、入れてしまった人はゼロ。ひとりもいませんでした。
頭の良さではありません。AIに詳しいかどうかでもありません。
その分野をどれだけの時間見てきたか。差は、そこだけでした。
あなたにも、6カ月をとっくに超えている場所がある
ここまでは、お医者さんの話です。
でも自分の机に置き換えると、こう思いました。
僕たちにも、6カ月をとっくに超えている場所が、必ずあります。
20年続けてきた家事でも、10年立ってきたお店のカウンターでも、ずっとつけてきた帳簿でもいいのです。
そこでは、AIが少しおかしなことを言っても、たぶん気づけます。「いや、それは違うな」と、体のほうが先に言ってくれます。
逆に、始めたばかりの分野では、誰でも引っぱられます。これは能力の話ではありません。
もう1つ、大事なことが書いてありました。
AIの手伝いそのものは、参加した人全体の正解率を52パーセントから61パーセントに上げていたのです。しかも上がり方は、作り話に引っかかった人もそうでない人も同じでした。
だからこれは、「AIを使うのをやめましょう」という話ではありません。
AIの腕を見るなら、知っていることを聞く
では、手元でどうするか。
AIがどのくらい使えるか知りたいとき、僕たちはつい「知らないこと」を聞いてしまいます。
でも、知らないことを聞いたら、返ってきた答えが合っているかどうか確かめようがありません。
だから、逆にします。自分が答えを知っていることを、1つだけ聞いてみてください。
たとえば、こう打ちます。
> 初めてのお客さまに、最初に確認しておくことを5つ教えてください
長くやってきた仕事のことなら、5つ返ってきた時点で、自分の答えと照らせます。
3つは合っている。1つはうちのやり方と違う。1つは、そもそも要らない。
そんなふうに見えたら、そのAIの得意と苦手がもう見えています。どこを任せて、どこは自分で見るか。自分の目で決められます。
そして、知らない分野で使うときは、こう決めておきます。
出てきた候補のうち、使わないものは、その場で消す。
医師の実験で残ってしまったのも、まさにそこでした。消さなかったから、残ったのです。
きょうの一歩
あなたがいちばん長くやってきたことを、1つ選んでください。
そのことについて、AIに「最初に確認することを5つ教えてください」と聞いてみてください。
返ってきた5つのうち、自分の答えと合っていたのはいくつでしたか。
その数を心の中で数えるだけで、きょうは終わりです。
まとめ
この実験でいちばん心強かったのは、引っかからなかった人がはっきりいたことでした。
長く見てきた15人は、ゼロ人。ひとりも、作り話のほうを持ち帰りませんでした。
その人たちが特別だったわけではありません。その分野を、長く見てきただけです。
あなたが長くやってきたことは、AIが上手になっても価値が減りません。むしろ、AIが合っているかどうかを確かめるなら、いちばん頼りになる場所です。
だからAIは、あなたがいちばん長くいる場所から使ってみてください。
動画では、実験の中身と聞き方の例を、もう少しゆっくりお話ししています。
▼チャプター
0:00 オープニング
0:37 きょうお渡しする3つ
0:52 1つめ 41人に、この世に無い病名を見せた
1:18 44パーセントという結果
1:35 信じ込んだのではなく、消さなかった
2:02 2つめ 分かれ目は、どれだけ見てきたか
2:21 6カ月を超えた15人は、ゼロ人
2:39 あなたにも、6カ月を超えた場所がある
3:07 正解率は52パーセントから61パーセントへ
3:27 3つめ 知っていることを、1つだけ聞く
3:52 返ってきた5つを、自分の答えと照らす
4:11 知らない分野では、使わない候補を消す
4:24 きょうの一歩
4:42 まとめ
同じように試した人が集まっているオープンチャット「おうちAI研究所」もあります。気になったら、のぞいてみてください。
コメント