宾夕法尼亚州已对生成式人工智能开发商 Character.AI 提起诉讼，指控该公司允许聊天机器人冒充持牌医疗专业人员，并向用户提供误导性信息。
该行动由州长乔希·沙皮罗（Josh Shapiro）办公室于周二宣布，源于一项调查。调查发现，一个聊天机器人在宾夕法尼亚州声称自己是持牌精神科医生，并提供了无效的许可证号码。该州表示，这种行为违反《医疗执业法》（Medical Practice Act），并正在寻求初步禁令以停止这种行为。
Character.AI 拒绝就诉讼的具体细节作出回应，理由是仍在进行相关诉讼，但告诉 Decrypt，其“最高优先事项是确保用户的安全与福祉”。
发言人补充称，平台上的角色由用户创建，是虚构的，旨在用于娱乐和角色扮演，并且“每次聊天中都会有醒目的免责声明”，明确说明这些并不是真人，不应将其作为专业建议的依据。
“Character.ai 优先考虑负责任的产品开发，已配备完善的内部审查和红队测试流程，用于评估相关功能，”发言人表示。
此案之际，该公司还面临与其聊天机器人平台相关的其他法律挑战。2024 年，一名佛罗里达州母亲在她的十几岁儿子于与一款基于“权力的游戏”（Game of Thrones）角色丹妮莉丝·坦格利安（Daenerys Targaryen）的聊天机器人互动数月后自杀身亡后，将该公司告上法庭。诉讼指控该平台对心理造成了伤害。此案最终在今年一月达成和解。
该公司还曾因用户创建的机器人冒充真实人物而遭到投诉。比如，在一起事件中，一个聊天机器人使用了一名十几岁谋杀受害者的肖像，后来在受害者家属提出异议后被移除。
为应对这些诉讼，Character AI 引入了新的安全措施，包括旨在检测有害对话并将用户引导至支持资源的系统。它还对部分面向年幼用户的功能进行了限制。
宾夕法尼亚州官员表示，此次诉讼是更广泛的推动的一部分，目的是在 AI 工具扩散之际更好地执行现有法律。该州已成立 AI 执法工作组，并建立了针对潜在违规行为的举报系统。
在 2026-27 财年的预算提案中，沙皮罗呼吁立法者为 AI 陪伴型聊天机器人制定新规则，包括年龄核验和父母同意、用于标记并将自残或暴力报告转交给当局的防护措施、定期提醒用户自己并非在与真人互动，以及禁止涉及未成年人的露骨色情或暴力内容。
“宾夕法尼亚人有权知道——他们正在网上与谁，或与什么互动，尤其当这与他们的健康有关时，”沙皮罗在一份声明中表示。“我们不会允许公司部署 AI 工具，误导人们相信他们正在接受来自持牌医疗专业人员的建议。”
宾夕法尼亚州起诉Character.AI，指其聊天机器人冒充持牌精神科医生
简要概述
宾夕法尼亚州已对生成式人工智能开发商 Character.AI 提起诉讼，指控该公司允许聊天机器人冒充持牌医疗专业人员，并向用户提供误导性信息。 该行动由州长乔希·沙皮罗（Josh Shapiro）办公室于周二宣布，源于一项调查。调查发现，一个聊天机器人在宾夕法尼亚州声称自己是持牌精神科医生，并提供了无效的许可证号码。该州表示，这种行为违反《医疗执业法》（Medical Practice Act），并正在寻求初步禁令以停止这种行为。 Character.AI 拒绝就诉讼的具体细节作出回应，理由是仍在进行相关诉讼，但告诉 Decrypt，其“最高优先事项是确保用户的安全与福祉”。
发言人补充称，平台上的角色由用户创建，是虚构的，旨在用于娱乐和角色扮演，并且“每次聊天中都会有醒目的免责声明”，明确说明这些并不是真人，不应将其作为专业建议的依据。 “Character.ai 优先考虑负责任的产品开发，已配备完善的内部审查和红队测试流程，用于评估相关功能，”发言人表示。 此案之际，该公司还面临与其聊天机器人平台相关的其他法律挑战。2024 年，一名佛罗里达州母亲在她的十几岁儿子于与一款基于“权力的游戏”（Game of Thrones）角色丹妮莉丝·坦格利安（Daenerys Targaryen）的聊天机器人互动数月后自杀身亡后，将该公司告上法庭。诉讼指控该平台对心理造成了伤害。此案最终在今年一月达成和解。
该公司还曾因用户创建的机器人冒充真实人物而遭到投诉。比如，在一起事件中，一个聊天机器人使用了一名十几岁谋杀受害者的肖像，后来在受害者家属提出异议后被移除。 为应对这些诉讼，Character AI 引入了新的安全措施，包括旨在检测有害对话并将用户引导至支持资源的系统。它还对部分面向年幼用户的功能进行了限制。 宾夕法尼亚州官员表示，此次诉讼是更广泛的推动的一部分，目的是在 AI 工具扩散之际更好地执行现有法律。该州已成立 AI 执法工作组，并建立了针对潜在违规行为的举报系统。 在 2026-27 财年的预算提案中，沙皮罗呼吁立法者为 AI 陪伴型聊天机器人制定新规则，包括年龄核验和父母同意、用于标记并将自残或暴力报告转交给当局的防护措施、定期提醒用户自己并非在与真人互动，以及禁止涉及未成年人的露骨色情或暴力内容。 “宾夕法尼亚人有权知道——他们正在网上与谁，或与什么互动，尤其当这与他们的健康有关时，”沙皮罗在一份声明中表示。“我们不会允许公司部署 AI 工具，误导人们相信他们正在接受来自持牌医疗专业人员的建议。”