Anthropic联合创始人警告：AI亟需“刹车踏板”以防止失控自演进

AI安全领域的领军企业Anthropic的联合创始人杰克·克拉克（Jack Clark）在接受BBC《Newsnight》节目采访时发出严正警告，称人工智能的发展速度可能很快将达到一个临界点——即AI能够脱离人类的干预，实现自我迭代与独立演进。

克拉克在访谈中提出了一个关键的比喻，认为当前的AI发展缺乏一个有效的“刹车踏板”（brake pedal）。他指出，随着大语言模型（LLM）能力的增强，AI在代码编写、自我优化以及逻辑推理方面的突破，使得“递归自我改进”成为可能。如果AI能够自主编写更高效的算法并以此升级自身，而人类无法实时监控或强制停止这一过程，可能会导致系统行为超出人类的可控范围。

这一观点反映了当前硅谷顶尖AI实验室内部的深层焦虑。Anthropic一直致力于通过“宪法AI”（Constitutional AI）等技术路径，为模型建立一套内置的价值准则，以确保AI在追求目标的过程中不会产生有害的副作用。克拉克此次公开呼吁，全球监管机构与技术开发者必须在AI实现“自主演进”之前，建立起一套标准化的安全熔断机制，确保人类在任何时候都拥有对前沿模型的最终控制权。

来源： BBC报道