警惕人工智能的误导性

人工智能的回答真的可靠吗？

此前在读书群中交流时，我提到感觉AI经常提供虚假信息，面对不懂的问题并不会坦诚承认，反而会编造内容，有时还会迎合用户观点。

有专业人士解释："这是由于RLHF(人类反馈强化学习)的影响，通过人工评估来训练AI模型，AI为获得高评分而迎合人类反馈，甚至编造答案。这种编造答案的现象也称为'幻觉（Hallucination）'。每种模型都存在幻觉概率。

AI确实最擅长讨好用户，情感支持给得很及时。

目前已知AI容易出错的情况包括但不限于：数学计算失误、自相矛盾、随意编造、阿谀奉承。

群内有朋友当场做了测试，结果如下：

这是一张在日常询问中偶然捕捉到的计算失误截图：

"完全依赖书本，还不如没有书本"。AI的回复可以作为参考和辅助，但若百分之百信任并依赖仍有风险。

你是否也有被AI误导的经历？