无差别递归使用生成数据,并让它失去真实来源,会让误差和分布损失累积。

一次 AI 出错,通常没有那么可怕。
你看见一个不熟悉的人名,点开来源,发现模型把两件事混在了一起,改掉就好。真正麻烦的情形,是错误离开这次对话,被写进一篇没有出处的文章;另一套系统再总结文章;搜索和知识库开始重复同一句话;后来的人看到多个页面都这样说,于是把重复当成了独立证明。
错误没有变真。它只是拥有了很多副本。
复利需要一个回路
“AI 会产生幻觉”已经不是新提醒。单次错误相对容易处理:给出来源、运行测试、请专业人士复核,或者承认不知道。

