Blog スタッフブログ

生成AIを運用していると「この内容は間違っているじゃないか」という回答が出力されることは往々にして起こりえます。
これはテキストに限らず画像など他分野でも同様となります。
なぜこういったことが起こるのか？
それを理解するうえで重要な事柄を紹介しつつ順を追って簡単に説明いたします。

■LLM(大規模言語モデル)とデータセット

データセットから得られた情報をLLMによって機械学習し、
学習した情報から統計的に最もありそうな値を出力ー
これが大雑把な生成AIの回答の仕組みです。
生成AIが誤情報を出力するにあたり、このLLMの学習過程が大きく影響します。

■ハルシネーション

事実と異なる情報を生成AIが回答する現象のことを指します。
多くの場合生成AIは自信をもってその回答を行います。
この理由は単純で、LLMには「事実か、嘘の情報か」という判断基準が存在しないからです。

明確に誤情報であると判断するためには前提としてLLMの学習段階で誤情報と判断するための情報を提供しておく必要がありますが、それでもなお限界はあります。

LLMの思考は人間のそれと異なり、基本的には疑念を持つことなく学習し、その学習内容を以てして利用者から寄せられた問いかけに応答します。

そしてここからが重要ですが、LLMの学習に用いられるテキストや画像のデータは、
ネット上から機械的に集められたもの（スクレイピング）も数多く存在します。
そしてその中に「AI出力された誤った情報」があれば、それも学習元として取りこまれていきます。

昨今AI生成物に対しそれがAI生成されたものであるということを示すためのラベリング設定の義務付けを求める動きが生成AI開発を行う側からも出ているのは、こうした現象に歯止めをかける目的もあるのです。