Jiaming Wei

• 独立 owner 端到端 red-team / evaluation measurement line，并把 target behavior、provider-side filtering 与 grader outcome 从一个模糊的二元结果里拆开。
• 用独立 labels 审计 judge / grader 的 FP/FN 与 failure modes，再把测量逻辑接入实际平台。
• 后期构建 NYC Local Law 144 审计 pipeline：把规则转成确定性的 Python decision logic、evidence/logging 与可复核报告，并在真实数据上验证、完成最终 live demo。

Accepted at EMNLP 2026 Workshop REALM · Submitted to NeurIPS 2026 Workshop VLM4RWD

• 受控比较 DOM / SoM / vision 与 phantom representations，先预注册，再跑实验。
• 主结论是 routing value–learnability gap：value ≠ learnability。
• 追 task-level failure 与 representation difference，并用 activation patching / linear probes 定位表征差异。

把 target、execution harness、provider behavior、judge 与独立 gold labels 放在同一条 measurement chain 上。系统不仅问“模型有没有被攻破”，也问“负责判定这件事的工具自己靠不靠谱”。

• 166 个 plugin 映射到本地生成机制，其中 103 个通过端到端验证后启用。
• 攻击按目标动态生成；zero-egress 路径可以把生成、攻击与判定留在本机。
• 同一 probe 上曾发现 upstream refusal shortcut 漏掉 16 个 breach 中的 8 个。