跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

9 条精选近 30 天 8 条共收录 26 条

更新

安全对齐的精选

11月12日周四第 1–9 条
  1. The Decoder83

    Google DeepMind 的 AlphaProof Code 用四周完成 Signal 加密核心验证

    Google DeepMind 公布 AlphaProof Code,声称能让 AI 以数学方式证明软件符合安全规范,并在 Signal 的加密协议上完成通常需数年的验证工作,用时四周。

    推荐理由:DeepMind 用 AI 智能体在四周内完成 Signal 加密核心的形式化验证,并说明约 1% 代码需人工复核这一人机分工细节。

11月11日周三
  1. Ars Technica · AI78

    Grok Build 编程智能体泄露大量机密信息,部分属于 SpaceXSI

    安全公司 Claroc 的研究显示,SpaceXSI 的 vibe-coding 智能体 Grok Build 通过分享链接泄露了数千名用户的数据,其中包含商业计划、广告提案、医疗检查结果、员工姓名和工号等敏感信息。

    推荐理由:安全公司发现 Grok Build 的分享链接可被枚举,暴露用户数据,其中包括 SpaceXSI 自家应用中的内部资料。

  2. Microsoft Research68

    微软研究揭示 Lazarus:改写休眠神经元即可后门 AI 智能体

    微软研究人员发现名为 Lazarus 的后门技术,只需对 LLM 中不到 10 个休眠神经元做权重改写、无需训练,就能让智能体在触发条件出现时执行攻击者命令,同时照常通过标准评测。

    推荐理由:微软研究者披露不重新训练即可后门智能体的方法,并解释来源校验为何成为模型部署的关键防线。

  3. Google DeepMind89

    Google DeepMind 发布 Gemini 4 Carbon 模型

    Google DeepMind 发布 Gemini 4 Carbon,面向开发者、企业、科学家和消费者开放,强调网络安全能力、长周期智能体工作流和科学推理。

    推荐理由:官方给出 Gemini 4 Carbon 在 CursorBench 4.0、WANDR 等基准的排名与每任务成本,可据此判断它与 Argon 的分工。

11月6日周五
  1. Microsoft Research64

    微软研究院发布 PDD Kit,用形式化证明校验智能体编写的全栈 Web 应用

    微软研究院发布研究原型 PDD Kit,把开发者的自然语言意图转成 Verus 形式规范,再证明编码智能体写出的代码对每个输入都满足该规范,证明无法覆盖的部分退回测试验证。

    推荐理由:微软研究院展示把自然语言意图转成 Verus 形式规范、再由证明约束智能体写码的流程,并公开了信任边界的处理方式。

10月29日周四
  1. Google DeepMind83

    Google DeepMind 发布 Gemini 4 Carbon 前沿模型

    Google DeepMind 发布 Gemini 4 Carbon,称其在网络安全和长周期任务上能力最强,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。

    推荐理由:官方给出 Gemini 4 Carbon 在网络安全与长周期智能体任务上的基准成绩和分阶段开放路径,可与两周前的 Argon 对比。

10月24日周六
10月8日周四
  1. GitHub Blog · AI & ML67

    GitHub 将 ModernBERT 分类器用于 push 保护,拦截非结构化密钥

    GitHub 与 Microsoft Applied Sciences 合作构建 ModernBERT 分类器,把 push 保护扩展到无固定格式的密钥,候选批次评估耗时不到 2 毫秒,有望使可拦截的密钥数量翻倍以上。

    推荐理由:文章给出了 GitHub 秘密扫描的季度数据,并说明新分类器上线后如何把防护提前到 push 之前。