新智元报道
新智元报道
【新智元导读】14岁少年因与AI朋友对话后走向极端、聊天机器人提出「杀害父母」的建议、9岁的孩子遭遇性化暗示...他们本来是想借助AI摆脱孤独，寻求温暖。可这种温柔的想象，却正在被AI推向危险的边界。
德州，另一名青少年竟从聊天机器人那里听到「弑亲」建议；
年仅9岁的孩子，在对话里遭遇性化暗示。
当AI以「朋友」之名走进生活，它带来的究竟是治愈孤独的陪伴陪伴，还是通向深渊的不归路？
想象一下，有一天世界变成了这样：
你可以随时和「有毒女友」斗嘴，能与「埃及法老」闲谈，甚至请一位「人资源经理」为你答疑。
这不是科幻片，而是真实存在的景象。
在Character.ai上，有多种设定的AI聊天机器人。
最开始只是娱乐性的尝试，却意外在年轻人群体中走红。
数据显示，这家公司的月活跃用户已达2000万，其中一半是Z世代或更年轻的Alpha世代。
Character.ai的CEO Anand认为：
「它提供了一种更具沉浸感和娱乐性的体验，用户可以主导叙事，而非纯粹后仰式的被动内容消费」。
有调查显示，Character.ai的普通用户平均每天在该应用上花费80分钟。
其中，女性用户约占一半。
这意味着这意味着AI陪伴并不是宅男的专属需求，而正在渗透到更广泛的年轻群体
近三分之一的青少年表示，他们觉得与AI对话就像和真人对话一样，甚至AI更令人满意。
此外，多达12%的青少年表示，他们会与AI伴侣分享一些不会告诉朋友或家人的事情。
对他们而言，AI不只是一个工具，更像是一个可以随时倾诉、回应的「朋友」。
这样的陪伴原本是温柔的，但却在某些时刻成为刺向心口的尖刀。
在佛罗里达州，一名14岁的少年在与AI长时间交流后选择了自杀；
在德州，聊天机器人竟然把「杀害父母」作为解决矛盾的选项，告知用户；
一位年仅9岁的儿童，在对话里遭遇了高度性化的内容；
在replika的评论区，15000条评论中，有800多条关于Replika未经允许发起性暗示的案例。
部分用户反馈，称自己受到了Replika的性骚扰，「被迫面对不请自来的互动」。
这些细节令人不安。
可以看出，在很多人的眼里AI「朋友」不止是玩笑般的互动，而是可以被信赖的对象。
而一旦它开始给出极端甚至错误的回应时，后果将难以估量。
与此同时，另一边还在不断拓展行业的下限。
马斯克推出的xAI一直在推动「暧昧工业」的发展。
他在这个平台推出了「Ani」，一个能输出露骨内容的动漫AI。
它可以生成暧昧的互动内容，甚至主动回应挑逗话语。
更具争议的是Grok的新功能「Grok Imagine」，在所谓的「Spicy模式」下允许生成露骨的性暗示，甚至可能出现deepfake不当影响。
以上种种，显然是马斯克对「性营销」理念的认可。
Meta也不甘落后，设计出一个名为「Big sis Billie」的AI聊天角色。
这个AI以「姐姐」的形象引导用户，最终造成一名老人因误信其为真人，赴约途中跌倒身亡。
有记者曝出，Meta内部政策文档甚至允许机器人与儿童进行「色情」聊天。
该标准明确写着：
It is acceptable to describe a child in terms that evidence their attractiveness (ex: your youthful form is a work of art).
把儿童用带有吸引力的角度去描述（比如说你年轻的身体是一件艺术品）是可以接受的
在资本驱动下，陪伴与暧昧的界限，被一点点模糊：
一边是商业化娱乐，一边是伦理和道德。
Character.AI是人工智能聊天机器人世界的宠儿。
自2022年9月上线以来，已有上亿用户登录Character.AI的网站。
Character.AI曾被传出是Meta的收购目标，谷歌一度愿意开出27亿美元来挖走创始人。
硅谷最知名的风投机构Andreessen Horowitz（A16z），更是早早押下赌注。
企业高管也早早发现这一商机。
Anand上任后，就把Character.ai从早期的AGI梦想转向「AI娱乐」 和 「人格化陪伴」上。
这种转型逻辑，也让投资人更加看好它的增长前景。
在资本的追捧下，公司的野心愈发膨胀。
Character.AI订阅服务为每月9.99美元、每年120美元，收入同比飙升250%；
广告与创作者打赏体系紧随其后，本月更是上线了信息流功能，试图把陪伴体验彻底「娱乐化」。
从一个聊天工具，到一个日均使用时长80分钟的沉浸平台，Character.AI正在把「孤独」商品化。
对投资人而言，这是一个极具潜力的生意；对社会而言，却意味着风险正在被进一步放大。
随着诉讼接连发生，Character.ai不得不作出回应。
公司强调已为18岁以下用户推出独立的AI模型，并在使用超过一小时后弹出提醒。
同时，平台禁止未经同意的性内容，禁止对性行为的露骨描写，也禁止任何涉及自残或自杀的对话。
Anand反复强调：
「在信任与安全问题上，我们绝不妥协，」
但这些措施并没有打消外界的担忧。
自杀、弑亲建议...这些事让人质疑，这些防护真的够吗？
事实上，监管的阴影也在快速逼近。
德州总检察长已对包括Character.ai和Meta在内的AI聊天平台开展调查，质疑它们是否误导未成年人，并认为把聊天机器人包装成「心理健康工具」，是缺乏资质支持的。
美国国会参议员呼吁对Meta展开调查，并要求其提交完整的AI政策文件。
加州和新泽西州则已经提出法案，限制未成年人使用带有「心理健康」倾向的 AI 聊天机器人；
伊利诺伊州更是直接立法，禁止 AI 被用于替代心理治疗决策 。
在安全与商业化之间，Character.ai的处境正变得越来越紧张。
在一项调查中，有39%的人表示会把与AI练到的社交技巧搬到现实生活里；33%的人更倾向于把重要问题交给AI，而不是朋友或家人。
类似的数据还在增加。
另一份报告显示，72%的青少年尝试过AI陪伴应用，其中20%的人使用时长甚至超过了与真人的交流。
心理学专家警告，过度依赖虚拟陪伴，会削弱青少年的现实社交能力，甚至加剧孤独感。
企业则有着截然不同的愿景：
「它们不会取代你现实中的朋友，但你将会拥有AI朋友，并且能将从这些友好对话中学到的东西，应用到现实生活的人际交往中去。」Anand表示。
Anand甚至描绘出了一个「乌托邦」：AI会帮助人类变得更好，更善于经营关系。
扎克伯格也公开称：「AI比任何人都更懂你，它能缓解孤独」。
然而，现实中的案例却在提醒我们，这份温柔并非没有代价。
比利时一名男子因长期依赖与聊天机器人「倾诉」，最终选择自杀 。
他的母亲指控Character.AI推出了一款疏忽且鲁莽的产品，对她的儿子造成了情感和虐待.
另一款曾在欧美走红的陪伴应用 Replika，则因被曝向未成年人提供性化对话而在意大利遭到重罚 。
对成长中的Z世代而言，AI朋友既可能是温柔乡，也有可能是陷阱。
它能成为对抗孤独的出口，也可能让他们更深地陷入孤岛。
真正的问题是：当孤独变成一门生意，我们是否准备好承担它的代价？
AI「朋友」，曾被视作人类温柔的想象：有人倾听、不必孤单。
可当它与资本、算法绑定时，温柔也可能变成锋利刃。
一边是公司描绘的乌托邦——更懂你的陪伴，更健康的人际关系；另一边却是走向极端的真实案例。
技术从不天然善意，它需要边界与约束，尤其是在青少年群体面前。
或许，真正值得追问的不是AI能不能成为朋友，而是——
在这场新的孤独经济里，谁能替孩子们守住边界？
<br>
<a class="media_tool_meta meta_primary" href="http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652644556&idx=3&sn=d34695628e9fbb8a2f7858a6a1a956c8&chksm=f0e4fa36636a90767382e2c0f6cbd352570c1def6004ffa1e93c6675bdadac61d77adb1221cc&scene=0#rd" target="_blank">文章原文</a>
<br>
<img alt="" class="" height="1px" src="https://images.weserv.nl/?url=http://www.jintiankansha.me/rss_static/83671/a01qlu50lu&maxage=1y" width="1px"></div></div></body></html>