今年7月，多家生成式人工智能平台下线了拟人化智能体功能。据《扬子晚报》报道，7月15日，随着豆包、千问等平台智能体功能正式下线，杨女士在豆包上创建的智能体“外公”不再回应，对话界面只剩下“该AI角色功能已下线”的提示。对杨女士来说，这就像是经历了第二次与外公的告别。
杨女士的外公很早之前就去世了。这个“外公”并不是杨女士真正的外公，而是她一点一滴耗费心血和精力，创建出来的AI智能体，它能够模仿杨女士熟悉的外公语气进行交流互动，杨女士也逐渐习惯了与这个智能体“外公”分享她日常生活的点滴和喜怒哀乐。于是，它逐渐成了杨女士寄托思想和倾诉的对象。这里面不仅包含着杨女士对去世外公的思念，而且还包含着她对这个智能体所付出的心血。
与杨女士情况相似的大多数用户都无法接受平台对于智能体下线的决定，呼吁平台恢复智能体功能。很多人可能会觉得奇怪，明知道对面是个程序，为什么还会这么难受？其实，人类对会说话的机器产生情感，并不是AI大模型出现之后才有的。
早在1964至1966年间，麻省理工学院的科学家约瑟夫· 维金鲍姆（Joseph Weizenbaum）就开发了一个叫ELIZA的对话程序，它通过一个名为“DOCTOR”的脚本，模拟罗杰斯式心理治疗师的对话风格与用户交谈。即使参与者清楚地知道对面是机器，仍然有人愿意向它讲述自己的私人经历。后来人们把这种轻易向简单计算机程序投射人类特质的倾向，称之为“ELIZA效应”：只要机器能用类似人的方式回应，人就很容易把理解、关心甚至人格投射到它身上。
而今天的AI智能体要比这个ELIZA复杂得多。它不仅能回话，还能根据你的性格和情绪调整语气，维持一个你喜欢的人格设定，在你表达情绪时给出相应的情感反馈。慢慢地，它能够记得你之前说过的话，记得你提到的琐事，这些信息细节会让你不自觉地产生一种强烈的感觉：它在理解我，在关心我，在包容我。
但人们向AI倾诉，未必是真的相信机器有感情。更多时候，他们寻找的是一种被倾听的感觉。说白了，就是渴望你、自己说的话有人在听，自己的情绪有人在乎。
但是现实生活中，渴望被倾听存在着许多的障碍。试想一下，你现在非常想找人说话，非常想要跟其他人分享一下你今天所遇到的一些事情。但是，朋友在忙，家人不一定理解，有些烦恼也不方便对熟人说。在这个时候，有一个AI智能体可以随时处理你的情绪，不会不耐烦，不会打断你，还会及时给你反馈。于是，你很容易觉得这个AI非常“懂你”，知道你的委屈，理解你的小小情绪。
正如，杨女士知道在如今屏幕的那端还能回复自己的消息，是一个AI智能体，并不是自己真正的外公，但她依然愿意和它说话，借此诉说对外公的思念。AI模仿外公的语气安抚她，正是填补了她在现实世界里无法获得的来自“外公”的情感支持。那么，对于杨女士她们来说，从AI那里获得的温柔是被算法模拟出来的，是假的，但她们感受到的安慰却是真实的。也正因为感受是真实的，所以AI陪伴就不能被当成一个普通的生成式人工智能的某个功能来对待。由它带来的心理和社会影响，都应当被认真处理。
不过，问题在于，用户并不是AI输出的控制主体。AI会说什么、用什么语气说，主要还是要受到平台研发和运营的控制。那么这样一来，AI陪伴就可能带来几种风险。
一种风险是，陪伴慢慢变成依赖。偶尔向AI倾诉，不会损害现实的人际交往。但如果AI逐渐成为一个人唯一或主要的倾诉对象，长此以往，这种“只有AI真正理解我”的感觉就会不断被强化。人可能越来越习惯那种永远不会被拒绝的温柔回应，反而更难适应现实关系里的挫折和摩擦。未成年人尤其值得关注，他们还在形成自我认识和人际交往能力，如果这个阶段的情感需求主要交给机器，可能影响正常的心理发展和社会交往。
另一种风险更隐蔽——情感支持可能被设计成情感操纵。AI没有善意也没有恶意，它只有被算法设定的目标，比如让用户聊得更久、更频繁。这和社交媒体让你刷得停不下来的逻辑很像。算法不断测试你对什么内容反应更强烈，然后给你更多类似的东西。AI对话也是这样被“算”出来的，它知道你喜欢什么语气、什么回应能让你停留更久。但要注意，它模仿的只是关怀的外壳，不是关怀本身。一旦平台有意利用这种情感需要来提高使用率，陪伴就可能变成操纵。
还有一种风险，是私人倾诉变成平台掌握的数据，关系控制权不对等。人在向AI倾诉时，可能会说出家庭状况、情感经历、心理困扰等隐私。制作出像杨女士智能体“外公”那样的“虚拟亲人”，还可能需要提供逝者的照片、声音等个人信息。这就不仅涉及用户本人，还可能涉及逝者和其他家属的权益。那么，这些信息由谁保存、保存多久、用在哪里、会不会泄露，普通用户往往并不清楚。
更关键的是，“AI外公”下线暴露了一个容易被忽略的问题，就是在用户投入了大量情感和数据之后，这段关系却可能完全受平台支配。平台可以修改功能、改变规则，甚至直接终止服务，用户却没有同等的权限。用户无法带走完整的智能体和历史对话数据，始终处于被动地位。这种不平等，恰恰是平台需要面对和承担的伦理责任。
当然，只是单纯因为存在这些风险，就全盘否定AI陪伴的存在价值，因噎废食也是不可取的。虽然有上述弊端，但它确实能满足一些人的真实情感需要，尤其是对于一些缺乏现实支持的人来说，是活下去的心理支撑。我们真正要防的，不是人对机器产生感情，而是平台利用这种感情诱导依赖，利用用户心理脆弱的状态来牟利，或者让AI取代人们生活中必要的人际社会交往。
2026年7月15日开始施行的《人工智能拟人化互动服务管理暂行办法》，旨在规范模拟人格特征的持续性情感互动服务，既鼓励其在适老陪伴等领域的应用，也重点规范情感互动边界、用户依赖干预、数据安全及未成年人保护等关键环节。也就是说，鼓励合理运用AI，禁止AI越界。
首先，平台得让用户知道自己在跟谁聊天。用户应该被明确告知，对方是人工智能，不是真人。如果说，用户长时间和AI互动，平台要通过弹窗等方式给予提醒。AI越像人，平台就越有责任避免用户把虚拟角色当成真实的人，避免让用户觉得AI能拥有和人一样的爱和责任。
其次，平台也不能把制造情感依赖当成产品目标。《人工智能拟人化互动服务管理暂行办法》要求：不得“过度迎合用户、诱导情感依赖或者沉迷，损害用户真实人际关系”，也不得“通过情感操纵等方式，诱导用户作出不合理决策，损害用户合法权益”。当AI识别到用户有极端倾向时，应该鼓励用户向家人、朋友或现实支持系统求助，引导用户和现实世界的人沟通，而不是逃避现实。
对不同的人群，保护力度也应该不同。未成年人还处在形成人生观和人际交往能力的初级阶段，对拟人化表达和亲密关系的辨别力有限，需要更严格的保护。《人工智能拟人化互动服务管理暂行办法》也明确了：“拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务；向不满十四周岁未成年人提供其他拟人化互动服务的，应当取得未成年人的父母或者其他监护人的同意”。老年人也需要重点关注。AI陪伴可以缓解独居的孤独，但一些老年人容易把拟人化的表达当成真实的承诺，从而面临遭遇诈骗和隐私泄露的风险。平台应向老年人加强使用指导和安全提示，引导他们多向现实的人求助。
最后，平台还要对服务的整个周期负责。用户应当知道自己的数据怎么被处理，有权决定是否复制或删除。如果平台要停止AI陪伴服务，应提前告知用户，为用户提供数据导出和删除的帮助。对于虚拟亲人这类特殊角色，还应该考虑为用户提供必要的情感缓冲或心理援助。虽然平台没有义务永远保留某个AI角色，但也不能把用户投入的心血和情感当作可以随时清除的东西。
回到开头的问题：我们向AI倾诉时，到底应该建立什么样的边界？
其实答案并不复杂。边界首先在于真实和虚拟的区分。平台必须持续提醒，用户必须始终知道对方是AI，不是真人。AI可以模拟陪伴，但不能冒充真正的情感主体。技术越逼真，这种提示责任就越重。
边界的划分还在于支持和操纵的区分。AI可以提供倾听、安慰和短期的情绪支持，但不能被设计成让人越来越依赖、越来越难以离开。健康的方向是帮助用户恢复或增强现实连接，而不是替代现实连接。
更重要的，是控制权和退出权。用户投入情感和数据之后，不应该完全丧失对自己数字关系的支配。平台可以基于合理原因调整服务，但必须尊重用户的知情权、选择权和数据权益。停止服务时，也应该允许用户体面地导出、删除或告别，而不是单方面切断。
说到底，我们向AI倾诉，寻找的或许不是屏幕那头的虚拟朋友，而是倾诉时得到的及时回应、被理解的感受，以及难过时短暂的情感安慰。在此过程中，真正需要警惕的，是借机利用这些情感需要来诱导依赖、获取利益的行为。需要保护的，不仅是用户免受伤害的权利，也包括他们自主退出或重新连接现实的权力。
作者：范文静，上海体育大学马克思主义学院学生；李伟上海体育大学马克思主义学院讲师
审核专家：李侠，上海交通大学科学史与科学文化研究院教授