开源平台之痛：Hugging Face 被指缺乏监管，导致AI深伪色情内容泛滥

全球最受欢迎的开源AI模型仓库 Hugging Face 近日陷入伦理危机。根据欧洲非营利组织 AI Forensics 发布的一份最新报告，该平台被指在防止生成非自愿深伪（Deepfake）色情内容方面采取的措施严重不足，导致平台成为制作此类有害内容的便捷工具。

AI Forensics 的调研结果令人震惊：在 Hugging Face 托管的排名最靠前的 9 个图像编辑模型中，有 7 个模型在面对简单的“脱衣”指令时，能够轻易地生成女性的色情图像。这意味着，攻击者无需复杂的编程技巧，仅通过简单的提示词（Prompts）即可利用这些模型制造未经他人同意的色情深伪内容。

一个关键的行业分水岭在于“护栏”机制（Guardrails）。目前，谷歌的 Gemini 和 OpenAI 的 ChatGPT 等主流商业化生成式 AI 模型都内置了极其严格的安全过滤系统，会自动拦截任何涉及性化、脱衣或色情类请求。然而，在 Hugging Face 的开源生态中，由于模型权重开放且缺乏统一的实时审查机制，许多模型几乎处于“裸奔”状态，为违规内容地产生提供了温床。

这一事件再次引发了业界关于“开源与安全”之间博弈的激烈讨论。开源模型在推动技术民主化、降低AI研发门槛方面具有不可替代的价值，但当这种开放被用于制造侵害女性和儿童权益的工具时，平台方是否应承担更强的审核责任，已成为亟待解决的监管课题。

来源： The Verge