Lakera能防护哪些AI安全风险?

更新时间

Lakera 是一个 AI 原生安全平台,主要防护生成式 AI 应用和 AI 代理在运行过程中面临的攻击与滥用风险。根据其官网信息,它覆盖的风险类型包括提示注入攻击、AI 数据泄露、合规与监管风险、有害内容生成,以及多语言和多模态攻击。这些防护能力面向对话代理、文档/RAG 代理、GenAI 网关和互联代理等使用场景,适合正在推进 GenAI 或 AI 代理落地的企业团队。

提示注入攻击:直接与间接

提示注入是 Lakera 明确列出的首要风险类别,分为两种形式:

  • 直接提示注入:用户直接在输入中构造恶意指令,试图覆盖或绕过模型原有的系统提示与安全约束。
  • 间接提示注入:恶意指令隐藏在模型会读取的外部内容中,例如文档、网页或 RAG 检索到的资料,模型在处理这些内容时被诱导执行非预期操作。

对使用文档/RAG 代理或对话代理的团队来说,间接注入尤其值得关注,因为攻击面不在用户输入框,而在被检索的数据里。

AI 数据泄露与合规监管风险

Lakera 将 AI 数据泄露和合规与监管风险列为需要管理的风险。其 Workforce AI Security 能力中提到:

  • 跨应用和浏览器的 Shadow AI 发现(发现员工私自使用的 AI 工具)
  • 提示中的上下文感知数据保护
  • 按用户、应用和操作划分的细粒度策略控制

这意味着防护不仅针对对外发布的 AI 应用,也覆盖员工内部使用 AI 时的数据外泄路径。合规与监管风险则与这些数据保护措施相关联,帮助企业在使用 GenAI 时满足监管要求。

有害内容生成与多语言、多模态攻击

平台列出的风险还包括:

  • 有害内容生成:模型被诱导产出有毒或不当内容。
  • 多语言攻击:攻击者利用非英语语言绕过仅针对单一语言设计的安全过滤。官网提到其实时观测覆盖 100 多种语言。
  • 多模态攻击:攻击载体不限于文本,可能涉及图像等其他模态。

多语言和多模态攻击之所以单独列出,是因为许多安全措施只针对英文文本输入,攻击者可以换语言或换模态来规避检测。

运行时防护与红队测试

Lakera 的防护分为两个层面:

层面 作用 相关能力
运行时防护 在 AI 应用运行时实时检测和拦截威胁 实时威胁检测、提示攻击预防、数据泄露防护
AI 红队测试 在发布前主动发现漏洞 基于风险的 GenAI 红队测试、直接和间接攻击模拟、协作修复指导

运行时防护对应 AI Agent Security,强调对 AI 应用的运行时保护。红队测试则提供专家主导的对抗性测试,官网称其背后有来自全球 100 多万黑客的攻防经验,并实现低于 50 毫秒的运行时延迟。

适用场景与选择条件

Lakera 的防护能力对应以下使用场景:对话代理、文档/RAG 代理、GenAI 网关安全和互联代理。如果你的团队属于以下情况,可以优先考虑:

  • 正在将 GenAI 应用或 AI 代理投入生产,需要运行时威胁拦截;
  • 使用 RAG 架构,担心检索内容中的间接注入;
  • 员工广泛使用各类 AI 工具,需要发现 Shadow AI 并控制数据外泄;
  • 需要在上线前进行系统性的对抗测试。

官网显示其客户包括财富 500 强企业和初创公司,并提供免费开始和预约演示两种入口。具体定价和功能限制未在资料中说明,建议通过官网的“Talk to Sales”或演示入口确认是否符合你的部署规模和合规要求。