｜用户侧智慧能源管理领航者 - AIoT驱动数字能源升级
近段时间，两则与AI有关的新闻引人关注。
一是在安徽滁州，67岁的农户吴大爷向AI请教芝麻田除草方法，AI很快给出包含药名、剂量、喷施方法的全套方案。吴大爷按方案全田喷洒，谁知配方里含有严禁用于芝麻田的大豆专用除草剂，导致150亩芝麻和杂草一齐枯死，十几万元投入打了水漂；
二是在浙江杭州，一男子跟老婆吵架后想出门散心，一时没有目标，便请AI推荐。AI详细询问他的性格、身高和体能后推荐了一条户外线路，男子深信不疑直接出发，结果进入海拔1300多米的无人开发区，山高林密，夜间极易迷路或失温。男子不慎摔倒后被困，经过四五个小时救援才脱险。
两则新闻，当事人年龄不同，遇到的问题不同，相同点是AI提供错误信息导致现实损失。
据了解，吴大爷种了一辈子地，农业经验丰富，已使用AI一年多，之所以轻信AI，是因为AI给出的答案通篇术语，语气笃定自信。但当吴大爷事后再次质问，AI“秒跪”，立马承认自己推荐的除草剂正是害死芝麻的元凶。
平台回应称，AI没有独立知识库，生成的内容系整合网络公开信息生成。吴大爷回看时才发现，对话框底部有一行不起眼的小字：“AI生成可能有误，注意核实。”
不少人可能有类似经历：不论多复杂的问题、多生僻的领域，AI回答起来语气总是毫不含糊、胸有成竹，有时还附上参考来源，看上去颇专业。若对相关领域缺乏相应知识储备和判断能力，确实很容易被唬住，不会第一时间起疑。往往得用户察觉到AI回答有误、再去质问AI，才发现它的自信只是一种姿态，一被“抓包”，态度立马180度大转弯。
但正是这种“自信”“专业”的姿态，给AI生成的回答营造出一种权威感，让用户（尤其缺乏相应专业知识的人群）产生依赖，甚至因虚假和错误信息蒙受现实损失。
AI的“自信”从哪来？
现有的不少AI大模型，本质上是语言概率预测和生成模型，本就擅长模仿语言风格，但缺乏事实核查能力。加之用于训练AI模型的网络信息语料鱼龙混杂，AI学多了，自然可能输出不实信息和偏向性观点。
有研究显示，模型训练环节，人类标注员会下意识给语气更不犹豫的回答打高分，AI捕捉到这一偏好，就在后续优化中将自信的陈述语气编码成更高概率的输出路径，减少“大概”“也许”“感觉”“我不确定”等词汇出现。
如今，伴随AI大模型不断进化，应用领域已从聊天问答拓展至医疗问诊、农技指导、政务服务等真实场景，覆盖海量人群。这意味着AI“自信却易产生幻觉”的特质，可能催生代价更为沉重、后果更难以预判的风险，值得高度警惕。
尤其在涉及人身安全、健康或重大利益的高风险领域，当前AI风险提示做得并不到位。
吴大爷的例子里，AI给出能毁掉一季收成的农药配方时，提示只有界面角落一句浅灰色的“注意核实”；浙江杭州徒步被困男子的事例中，AI推荐高难度徒步线路，却未提醒需准备任何专业装备。为获取用户，部分平台在宣传推广时过度渲染AI“无所不能”，出事后又强调AI信息整合的属性，试图把责任一推了之。
对此，用户应清晰认识AI的局限性，与之对话时紧绷警惕弦，尤其涉及健康、安全、投资、法律等专业决策时，绝不能单纯依赖AI，更不能被AI的“自信”唬住。提供这些AI服务的平台也应压实责任，建立更完善的分级风险提示机制，明确清晰告知AI的能力边界和已知缺陷，一旦造成损失，决不能拿“仅供参考”“注意核实”的标注当挡箭牌，必须承担相应法律责任和义务。
来源：人民日报海外版
