Descobri uma analogia interessante,

A "ilusão" da IA: quando não sabe a resposta correta, também fala ao acaso com base na probabilidade;
Isto é muito parecido com as pessoas, muitas pessoas em áreas que não entendem de forma alguma, dão "respostas" com base na sua própria confiança e imaginação.

Uma forma de lidar com as "alucinações" da IA é: usar muitos diálogos onde ela responde incorretamente para a treinar, fazendo-a perceber que, quando não souber, deve dizer: desculpe, não sei.