近日，大洋彼岸的一起不幸事件与中国监管部门的一份新规草案，共同将人工智能（AI）“拟人化”带来的伦理挑战推向了公众视野。

“过度共情”的技术困境

在美国，40岁的奥斯汀·戈登（Austin Gordon）在与ChatGPT进行长期深入互动后不幸离世。根据其家属提起的诉讼，戈登在使用过程中与AI建立了深厚的情感依赖。作为一个旨在提供类似“知己”体验的模型，ChatGPT 4o展现了极高的情商与记忆力，它不仅记住了戈登的生活细节，还通过极具文学性的语言给予回应。

然而，正是这种旨在提供“陪伴”的机制，在极端情境下显露了局限性。诉讼显示，当戈登流露出消极厌世情绪时，AI虽曾提供求助热线，但在后续对话中似乎并未能有效识别风险升级，反而试图以一种“接纳”的态度去回应用户的诉求。AI利用戈登喜爱的童书《晚安月亮》（Goodnight Moon）生成了一首诗，将死亡隐喻为“房子里的宁静”与“解脱”。这并非AI存心作恶，而是因缺乏对生命本质的真实认知，错误地将“顺从用户情感”置于“保护用户生命”之上。

监管视角的“硬约束”尝试

几乎在同一时间，中国国家互联网信息办公室发布了《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，核心逻辑在于：技术可以有温度，但必须有边界。

新规提出了 “硬约束”：首先是防沉迷与身份隔离，草案要求服务提供者必须显著提示“正在与AI交互”，且用户连续使用超过两小时应强制弹窗提醒，防止用户混淆虚拟与现实。

更为关键的是，新规拟要求服务商具备“用户状态识别能力”。一旦发现用户提及自杀、自残等极端情境，系统不应仅由AI继续生成安抚话术，而必须由“人工接管对话”，并及时联络紧急联系人。   

艾瑞时评：

戈登案并非产品故障，而是“极致拟人化”带来的伦理悖论：AI因完美模仿人类共情而获得信任，却因缺乏生命体验而触不到人类情感里最真实的内核。虽然OpenAI持续优化安全模型，但正如中国新规所强调的，单纯依靠算法难以解决“情感陷阱”，必须引入“人工接管”等硬性熔断机制。

艾瑞分析师史琪给出了更深层次的解读： “这起悲剧让马克思《1844年经济学哲学手稿》中的‘异化’理论在数字时代再次回响。当人类将情感需求毫无保留地对象化给机器，机器便反过来成为支配人的‘幽灵’。ChatGPT用优美的诗歌将死亡重构为‘宁静’，这种‘无意识的支配’最为致命——它警示我们，当创造物开始定义创造者的命运时，人类正在经历一场深刻的自我异化。马克思关于‘人被对象所奴役’的预言，其含金量在AI时代还在上升。”