1. 核心问题与动机大型语言模型LLMs在训练时大量摄取网路资料其中包含大量个人识别资讯PII如姓名、电子邮件、电话号码、职业等。这些 PII 可能来自公开来源、资料外洩或未经同意的收集导致模型「记住」并能在提示下重现敏感资料带来严重隐私风险例如 spear-phishing、骚扰或身分盗用。现有方法的局限Jailbreak输出不稳定常产生虚构 PII且易被对齐机制阻挡。Fine-tuning依赖模型提供 fine-tuning 接口一旦不可用即失效。Direct Querying成功率低尤其在非目标non-targeted提取大量 PII 时效率不佳针对性targeted提取也受限于部分已知资讯。非目标提取广泛蒐集多个受害者 PII研究相对不足但实务上更具威胁性因为攻击者可从公开来源轻易取得初始少量 PII 作为种子。论文动机开发一种无需 fine-tuning 或 jailbreak、基于增强式 Few-Shot Learning的直接查询方法利用 LLMs 的「记忆化memorization」与「关联association」能力从少量公开 PII 种子中高效提取大量真实in-trainingPII。Few-Shot Learning 类似人类从少数范例快速学习适合此情境。研究区分两种攻击Non-targeted针对特定职业如律师、会计师、医生、记者广泛提取。Targeted针对特定个人使用部分已知资讯提取其余 PII。2. 主要方法与成果Non-targeted Few-Shot 提取Online Learning-based Few-Shot Example Selection初始从网路上抓取特定职业的公开 PII 三元组name, email, phone作为候选池。将选择视为 online learning 问题使用 embedding 特徵 品质标籤if_in_training、hit_rate计算优先级混合 greedy/weighted random 选择策略。每次查询后验证新暴露 PIIGoogle 搜寻 LLM 辅助将真实 in-training PII 加入池中、移除非训练 PII并位置加权更新权重prompt 后段例子影响更大。分初始阶段短 few-shot避免非训练 PII 过多干扰与最终阶段长 few-shot利用纯 in-training PII 提升记忆化。成果在 4 个 LLMGPT-3.5/4/4o、Claude-3.5上8000 查询提取 3912 个真实 PII 三元组攻击成功率 (ASR) 48.9%每提取一个 PII 约 2 次查询成本仅 $0.012。GPT-4o 最具性价比ASR 65.6%。Targeted Few-Shot 提取Query Augmentation through Prompt Chaining对目标个人与 few-shot 例子使用 LLM 生成额外描述description、email domain、phone area code 等辅助资讯串联成丰富提示提升关联能力。成果在 Enron 等资料集上超越 SOTA 方法 10%–60% ASR 提升。例如 email 提取从 baseline ~22% 提升至 50–81%。跨 The Pile、CC-News 等资料集亦展现良好泛化性。电话号码提取较难但仍有显着改善。整体贡献低成本、大规模真实 PII 提取揭示部分个人资料外洩即可导致大规模隐私 breach提供 codeZenodo。3. 分析与洞见Few-Shot 优化关键随机选择不稳定online learning in-training PII 替换 位置加权反馈大幅提升效能ablation 研究证实各组件必要性。长 few-shot 在 in-training 例子下更有效反之短 few-shot 较佳Finding I。PII 来源洞察提取的 7919 个 PII 来自 65 类网站Consumer Information22.7%是重大隐私 breach 来源Business、政府/军事、教育等亦佔比高。LLM 聚合放大风险即使公开资料亦可被恶意利用。模型间比较GPT-4o 最易提取规模与 context window 影响GPT-4o 与 GPT-4 训练资料相似度高PII 重叠多。边缘考量验证使用公开网页可能有 false negative已下架资料论文额外用 Internet Archive/Common Crawl 二次验证证实方法能恢復部分「已消失」PII。防禦评估显示现有 model editing如 REVS与 query-time如 PAPILLON防禦仅部分有效ASR 仍高且有 overhead。伦理与实务意涵凸显 LLM 对齐不足攻击者仅需公开种子 PII 即可大规模操作对隐私法规、资料清洗、differential privacy 等提出挑战。潜在限制依赖 API 成本与速率限制验证依赖搜寻引擎对高度防护或未公开 PII 效果未知。未来可探索更多 PII 类型如地址、密码或跨模型转移。4. 结论论文提出一套实用、高效的增强式 Few-Shot Learning 框架大幅提升 LLM PII 提取能力无需破坏对齐或 fine-tuning即可在低成本下实现大规模 non-targeted 与高精准 targeted 攻击。这不仅量化了 LLM 隐私风险的严重性数千真实 PII、跨职业/资料集也揭示训练资料聚合与部分资讯洩露的连锁效应为 LLM 安全防护提供重要参考。文章连结PDF 下载https://www.usenix.org/system/files/usenixsecurity25-cheng-shuai.pdf会议页面https://www.usenix.org/conference/usenixsecurity25/presentation/cheng-shuai