活动回顾 | 第四期复旦白泽青年学者论坛

10月30日,白泽顺利举办第四期复旦白泽青年学者论坛活动。本次活动聚焦客户端智能体安全和大模型时代AIGC水印,带来了一场前沿技术分享与交流讨论。

本次论坛由杨哲慜老师主持。白泽在读博士生钟康维、邱虎鸣作专题报告。

01 钟康维进行专题报告

首先,钟康维进行了题为《客户端智能体的安全风险与挑战》的报告,围绕客户端智能体的安全问题,首先介绍人工智能交互范式的演进、客户端智能体类型、技术架构以及典型安全威胁如杜鹃鸟攻击。随后介绍了团队面向代码开发智能体开展的工具调用协议混淆漏洞研究和权限审批绕过漏洞研究。

目前,相关工作已在多款主流智能体产品上发现漏洞,获得22个CVE编号,13个NVDB编号并得到OpenAI、Anthropic、Amazon、腾讯、字节跳动等厂商认可。

02 邱虎鸣进行专题报告

随后,邱虎鸣进行了题为《大模型时代的AIGC水印:鲁棒性评估与攻防分析》的报告。

首先介绍AIGC面临的真实风险和国内外相关政策演进,梳理AIGC水印领域相关工作与研究趋势,并分析水印面临的鲁棒性挑战。随后具体介绍了团队在内容水印去除攻击和保护性水印去除攻击方面的研究工作。相关工作对当前最先进的图像与文本水印实现了有效的去除攻击,揭示了现有水印机制的鲁棒性边界。

03 交流讨论环节

在交流讨论环节,现场师生围绕报告内容展开了深入而热烈的交流。针对工具调用协议混淆漏洞的成因机理与修复路径和权限审批机制绕过与防御,与会师生从协议设计缺陷以及工程修复实践等角度进行了多轮探讨。就AIGC水印的现有方法与商业应用,讨论延伸到水印在真实业务场景中的鲁棒性表现。从漏洞机理、分析方法到工程实践等多个角度展开了专业而深入的探讨。

本次复旦白泽青年学者论坛第四期活动圆满落幕。本次论坛进一步加强了高校青年研究者之间的交流,为科研成果、技术实践与前沿思考提供了良好的沟通平台。未来,复旦白泽将继续开展多样化的学术交流活动,推动产学研之间的深入互动,为青年学者创造更多交流与碰撞的机会,期待下一次精彩再会!