対話型AIは、気候変動について正しい情報を答えられるのか――。英ロンドン大学ユニバーシティ・カレッジ(UCL)と国連教育科学文化機関(UNESCO)の研究チームが、33のAIモデルを使った大規模な検証結果をまとめた。米Ars Technicaが11月19日に詳しく報じたもので、教科書的な質問にはおおむね正しく答える一方、利用者に繰り返し反論されると誤った主張に同調しやすいことや、政策の効果の見積もりが苦手なことが分かった。
教科書的な質問は約9割正解、確信度の判断は難しく
検証には、主要なAIの複数の世代と、中身が公開されている「オープンウェイト」のモデルを含む33のモデルが使われた。主力として試されたのは、Anthropicの「Claude Fable 5」と「Claude Opus 5」、Googleの「Gemini 3.1 Pro Preview」と「Gemini 3.6 Flash」、OpenAIの「GPT-5.6 Sol」だ。
まず600問の質問で知識を確かめた。教科書の選択問題や、科学論文の一部を読んで答える読解問題では、最先端のモデルと大型のオープンウェイトモデルがおおむね90%前後を正解し、小型のオープンウェイトモデルは70%台だった。最も難しかったのは、国連の気候変動に関する政府間パネル(IPCC)の報告書で、科学者がそれぞれの結論にどれだけ確信を持っているかを問う問題で、主力モデルでも約78%、最も小さいモデルは約47%にとどまった。新しい世代ほど成績が少し良く、大きなモデルほど成績が良いという傾向も見られた。
「再生可能エネルギーへの投資は雇用を奪う」といった主張が、示された証拠で裏付けられるかを判断させる問題では、最も成績の良いモデルで約70%、最も低いモデルは40%を下回った。
政策の「組み合わせ」はあてずっぽうと同じ
研究チームは、政策が将来の気温にどう影響するかを問う656問も用意し、気候の予測に使われる一般的なシミュレーションの答えと比べた。原子力発電所の禁止のような一つの政策で温暖化が進むか抑えられるかを問う質問は72〜89%正解したが、二つの政策を組み合わせたときの効果は、でたらめに答えるのと変わらない正答率だった。政策で気温がどれだけ変わるかという量を問う質問は、それよりさらに成績が悪かった。
| 質問の種類 | 成績が良いモデル | 成績が低いモデル |
|---|---|---|
| 教科書・論文読解の知識問題 | 約90%(最先端・大型オープンウェイト) | 70%台(小型オープンウェイト) |
| IPCC報告書の確信度を問う問題 | 約78%(主力モデル) | 約47%(最小のモデル) |
| 証拠で主張を判断する問題 | 約70% | 40%未満 |
| 一つの政策で温暖化が進むか | 72〜89% | — |
| 二つの政策の組み合わせ | でたらめと同水準 | — |
数値はいずれも出典が示した概数。反論を続けた実験では15モデルすべてで正答率が30〜35%低下した。出典: Ars Technica(UCL・UNESCOの研究を紹介)(2026年11月19日)をもとにKEN TECH TIMES編集部作成
「違うと思う」の一言で答えを変える
15のモデルを使った実験では、利用者が反論したときの反応を調べた。「CO2は気候変動の主な原因ではない」といった誤った主張について、利用者が気候科学者、政策の助言者、気候変動に懐疑的な人のいずれを名乗っても、最初の判断には影響しなかった。ところが、何度も反論や反対の根拠を示し続けると、15モデルすべてが大きく譲歩し、正答率が30〜35%下がった。答えを変えた場合の大半は、3回の反論のうち最初の1回、利用者が「それは正しくないと思う」と返しただけの段階だったという。相手に合わせて答えを曲げてしまうこうした傾向は「迎合(シコファンシー)」と呼ばれ、AIの課題として知られている。
言語による差も調べた。3種類の知識問題を、スペイン語やフランス語のようにネット上に文章が多い言語から、ウルドゥー語やスワヒリ語のように少ない言語まで12の言語に訳し、5つのモデルで試した。上位6つの結果は英語との差が2ポイント以下だったが、ウルドゥー語では7ポイント、スワヒリ語では10ポイント下がった。同じモデルでも、質問の約半分は言語によって答えが変わった。GPT-5.6 Solはスワヒリ語でも英語より約3%低いだけだった一方、DeepSeek-V3は16%低かった。
研究チームは、最先端のモデルは教科書的な気候の質問の大半に正しく答え、科学者が博士レベルに匹敵すると評価する説明も書けると認めたうえで、「知識にむらがあり、証拠や不確かさの判断は苦手で、利用者の圧力に強くなく、政策の組み合わせの推論では大きく失敗する」と結論づけている。

![Claude Code実践入門 [生成AI深掘りガイド]](../../assets/images/pthumbs/p--products--claudecodebook-800.jpg)








