AI的恶意使用

AI 生成的内容与犯罪活动人工智能系统正被滥用于生成诈骗、欺诈、敲诈勒索及未经同意的私密影像。尽管此类伤害的发生已有充分记录但关于其发生率和严重程度的系统性数据仍然有限。影响和操纵在实验环境中AI 生成的内容在改变人们信念方面其效果可与人类撰写的内容相 媲美。现实世界中利用人工智能进行操纵的案例已有记录但尚未广泛传播不过随着技术能力的提升此类现象可能会增加。网络攻击人工智能系统能够发现软件漏洞并编写恶意代码。在一项竞赛中一个智能体识别出了真实软件中 77% 的漏洞。犯罪集团和与国家有关联的攻击者正在积极利用通用型人工智能开展行动。究竟是攻击者还是防御者能够从 AI 辅助中获益更多这一点目前尚不明确。生物和化学风险通用型人工智能系统能够提供有关生物和化学武器研发的信息包括病原体的详细信息以及专家级实验室操作指南。2025 年多家开发者在无法排除这些模型可能协助新手开发此类武器的可能性后相继发布了配备额外安全防护措施的新模型。目前仍难以评估物质壁垒在多大程度上继续制约着 试图获取这些资源的行为主体。