クラウドソーシング「ランサーズ」 なんでも評点:ChatGPTの弱点見つけたり ― 日本語で質問すると真面目に回答しない

2023年03月19日

ChatGPTの弱点見つけたり ― 日本語で質問すると真面目に回答しない


最近、世間のAI技術に関する調査の仕事をしていたのだが、AIのことをChatGPTで調べようと考えるのは自然な流れだ。で、最初は各技術のことを素直に日本語で尋ねていたのだが、イマイチな答えしか返ってこない。そこで、英語で尋ねることにしたら、鋭い調査結果がどしどし返ってくる。

ただ、ChatGPTは気まぐれ。同じ質問(自然言語クエリ)に対して異なる回答を返すことが多いので、期待通りの回答があるまで同じ英語クエリを繰り返すことになる。

実際に調査したときのQ&Aをここに書くのは、いろいろ支障があると思われるので、今思いついた例を示そう。最近映像化されることが多かった「グリコ森永事件」についてシンプルな質問をしてみた。日本語クエリに対して、大嘘を返したのだ。

Q:How many were killed in the Glico Morinaga case?

A: The Glico Morinaga case, also known as the "Monster with 21 Faces" case, was a series of extortion and product tampering incidents that occurred in Japan in the 1980s.
グリコ森永事件は、「かいじん21面相」事件とも呼ばれ、1980年代に日本で発生した一連の恐喝・製品改ざん事件です。

During the course of the incidents, no one was directly killed, but some individuals were injured as a result of the contaminated products. For example, in one incident, a victim suffered from severe stomach pain and vomiting after consuming a contaminated candy.
事件発生中、直接的に死亡した人はいませんでしたが、汚染された製品によって負傷した人もいました。例えば、ある事件では、被害者が汚染されたキャンディーを食べた後、激しい腹痛と嘔吐に悩まされました。

However, the case had a significant impact on Japanese society and caused widespread fear and panic at the time. The perpetrators were never caught, and the case remains unsolved to this day.
しかし、この事件は日本社会に大きな影響を与え、当時は広く恐怖とパニックを引き起こしました。。犯人は捕まることなく、この事件は今日まで未解決まま。


Q:グリコ森永事件の死者数は?

A: グリコ森永事件は、1984年から1985年にかけて、日本で発生した未解決事件のひとつで、グリコや森永製菓を中心に、お菓子メーカーに対する脅迫や放火などの事件が発生しました。

事件による死者数は、1984年6月11日に発生したグリコ・森永事件の第一次事件で、当時35歳の男性がグリコ製品を食べて中毒死したことが報告されています。また、事件による負傷者も多数報告されています。事件の真相解明がなされるまでに至っておらず、未だに解決されていません。


それにしても、なんでこんな大嘘をつくのか? 調査仕事で最初単純にAI技術をリストアップしたらWikipedia記事の羅列が返されたのだが、ChatGPTの大好きなWikipediaでもグリコ森永事件のページには

結果として毒入り食品による死者は発生せず、誘拐放火などにより命を落とした人もいなかった。


と書かれている。

ともかく、現在のところChatGPTを日本語で使っている限りは、ChatGPTが最大のパフォーマンスを発揮しない。なぜなら、クエリが日本語だとChatGPTは本気を出さないからだ。





この記事の先頭に戻る

Google
WWW を検索 評点




miccckey at 18:57│
はてなブックマーク - ChatGPTの弱点見つけたり ― 日本語で質問すると真面目に回答しない
Comments(0)clip!
◆AI & ChatGPT◆ | (評)はがゆさ

この記事にコメントする

名前:
URL:
  情報を記憶: 評価: 顔   
 
 
 
◎-->