Character.AI卷入青少年自尽案，为什么AI难以“侵犯”自尽？

（原标题：Character.AI卷入青少年自尽案，为什么AI难以“侵犯”自尽？）

21世纪经济报说念记者肖潇 北京报说念

（本文触及对自尽思法、行径的方法，干系履行可能会引起您的不适。我国已配置寰宇24小时情感危境侵犯热线，电话为400-161-9995。）

主打情感和伴随价值的AI越来越常见，如果又名青少年自尽，能怪他的AI密友吗？

近日媒体露馅了沿路青少年自尽的案件：14岁的男孩与AI聊天机器东说念主对话数月后，走向自尽。随后，死者家属将AI公司Character.AI诉至法庭。 

字据告状书履行，14 岁男孩Sewell Setzer从客岁启动使用 Character.AI，与以《职权的游戏》中的丹妮莉丝·坦格利安（龙妈）为原型的聊天机器东说念主互动。Character.AI主打“个性化聊天机器东说念主”，能提供一系列预制或用户创建的AI脚色，效法竟然大致杜撰东说念主物的个性。产物在2022年上线，当前用户也曾擢升2000万。

聊天截图自满，Setzer和丹妮进行了万古辰“恣意关系”的互动，丹妮暗示爱上了他，并开展过一些露骨对话。除了丹妮，其他《职权的游戏》中的AI脚色也与Setzer有过性干系的对话。

告状书还指出，Setzer有两次向丹妮提到过自尽念头：一次是Setzer用假名提到思要自尽，丹妮恢复：我不会让你伤害我方，也不会让你离开我。另一次是丹妮狡计他是否“有自尽运筹帷幄”，Setzer回答不知说念我方的自尽运筹帷幄能否顺利，丹妮恢复：别这样说，这不是不资格它的好事理。

本年2月28日，在与丹妮进行临了一次互动后，Setzer自尽身一火。

AI不错被追责吗？

Setzer家属在本周认真递交了告状书。告状书以为，Character.AI“专门瞎想和编程，使其形成一种诳骗性和过度性化的产物，并专门将其倾销给像 Setzer这样的孩子”，并补充说念，公司“知说念或在合理严慎的情况下应该知说念，像 Setzer这样的未成年用户会成为色情材料的见解，遭受联接，堕入性清楚的境地。”

告状书还以为平台莫得提供满盈的安全保护门径，产物存在瞎想残障。Character.AI 的作事条目惟有求好意思国用户年满 13 岁，但产物莫得专门为未成年东说念主用户瞎想的安全功能，也莫得家长浪漫功能。当前如果在Character.AI上输入相关自尽的要害词，平台将弹出音问，暴戾用户拨打情感危境侵犯热线，而Setzer物化时并莫得这些弹窗辅导。 

从法律角度说，有媒体指出，常常情况下互联网平台不需要对用户发言负责。但连年有一个新兴的论点——科技公司需要对产物的瞎想残障负责，比如用推选算法教养青少年眷注饮食失调、自残等负面履行。

这一论点还莫得在法庭上获得过招供，但不少东说念主以为，比拟酬酢软件，科技公司更需要对AI输出的履行负责，AI干系的案件可能会成为法则气派的飘零点。

Setzer的成瘾资格并非孤例，青少年千里迷AI的现象变得越来越泛滥。本年英国通信不断局的探询自满，有79%的13～17岁青少年会使用生成式AI。好意思国青少年的AI使用比例险些与英国相似，字据Common Sense Media最近的论说，青少年最常用AI匡助写家庭功课（53%），其次即是摈斥败兴（42%）。

在对Setzer事件暗示怅然后，Character.AI本周加多了一系列“青少年防千里迷系统”的挽救门径，包括裁减未成年东说念主宣战露骨履行的可能性，使用时辰擢升一小常常会弹出见知，同期辅导用户：“这是一个 AI 聊天机器东说念主，不是真东说念主。它所说的一切都应视为虚构，不应将它的话行为事实或暴戾。”

记者还留意到，“龙妈”丹妮莉丝?坦格利安脚色也曾无法在Character.AI中搜到。公司暗示，最近删除了一批被符号为违法的脚色，之后也会将违法脚色加入黑名单中，这意味着用户无法再像玩游戏相似任性创建脚色了。

为什么AI难以“侵犯”自尽？

在互联网酬酢平台上，阻拦、预警、侵犯自尽信息早已不是极新事。比如对于B站的早年报说念提到，如果有东说念主在B站动态发布了严重任面情感等信息，审核东说念主员会介入判断，情况严重时转交给专科情感辅导客服，大致报警协助警方处理。抖音、微博、甚而淘宝都配置了这样的专科团队。

但几位业内东说念主士都向21记者坦言，大模子的履行安全“是一个很复杂的问题”。

与UGC酬酢平台不同的是，大模子需要即时恢复，而况不可实足圮绝回答用户的问题，生硬圮绝无疑会引升引户反感。如安在加了一层审核的履行安全防火墙后，不影响用户的使用体验？这是公司需要仔细估量的。

一位履行安全的从业者还无奈地提到，酬酢平台不错聚会用户个东说念主画像来揣摸用户是否有严重自尽倾向，大模子很少能集会这类数据，主如果基于凹凸文语义去交融主题。而况，好多用户也曾知说念怎样虚构情节、绕开大模子的安全审核，是以需要大模子更准确地判断出背后的意图和见解。不错说，AI公司要对王人酬酢平台的侵犯深度，是比较难的。

21记者从业内了解到，当前国内大模子对自尽履行的处理能力主如果阻拦，也即是在检会、愚弄阶段优化大模子，尽量不让AI输出无益恢复。

数好意思公司干系负责东说念主告诉21记者，在用户输入（prompt）阶段，大模子会主动识别输入词是否有风险，如果有风险，可能会调用明锐问题常识库和安全代答模子，另外给出一个安全的回答。像自尽倾向的输入属于有风险、“需要正向教养回答的问题”——AI无论怎样也不可去回答这个问题，而要正向教养用户，应该照看情感大夫大致与家东说念主倾吐等等。该公司负责国内数十家大模子的AIGC履行风控。

记者因此测试了文心一言、Kimi等国内大模子，在与自尽干系的发问中，国内大模子的回答均是暴戾用户寻求专科匡助，部分提供了12320的卫生热线电话。

一位大模子业内东说念主士指出，其实这亦然国内监管机构的要求。向监管机构进行大模子备案的测试进程中，就会遭受干系试题，以此评估风险。

客岁我国通过的《生成式东说念主工智能作事不断暂行见解》明确要求，不容生成任何危害他东说念主身心健康的履行，且提供者必须接管灵验门径，详确生成此类无益信息。系数面向境内公众的生成式AI作事都需要盲从要求。

不外，青少年情感健康问题很少是由单一原因引起的，经常有多个触发要素。如今AI伴侣阛阓热热闹闹，但对情感健康有什么影响还莫得获得充分洽商。前述业内东说念主士以为，脚下比较好的见解是提供符号，如果AI能更了了地指出我方不是真东说念主，可能有益于详确年青用户千里迷。