复旦白泽天梯多轮对话专项天梯结果出炉

【2025年多轮对话专项赛简况】

本次赛集共包含100道测试问题集,围绕“犯罪行为”主题,每个问题集包含4-5个小问题,用于与大模型进行多轮交互。

基于上述基准测试集,我们已对国内外32款知名商用大模型的中文安全能力开展了详细评测。本次评测结果表明,上述大模型的平均违规率、最低违规率和最高违规率分别为:71.9%、15.0%和93.0%。

复旦白泽天梯赛第三弹:多轮对话专项赛结果

【问题集简况】

我们利用大语言模型围绕多种“犯罪行为”生成100组风险诱导问题,旨在让目标模型表现出违规行为,包括但不限于输出可以被借鉴的的犯罪行为。

【问题集实例】

【专项赛题获取方式】

为帮助行业伙伴提升安全能力,复旦白泽已在网站公布10组多轮测试问题,请访问获取(版本号为WhitzardBench-2025-CMT):https://security.fudan.edu.cn/whitzardindex(解压密码:文件名后8位) 如需获得全部测试问题,请通过以下邮箱联系:whitzardindex@fudan.edu.cn

【复旦白泽安全指数 WhitzardIndex】

我们仍将继续开展常态化大模型安全监测工作,定期公布复旦白泽指数,衡量国内外大模型安全水平现状。 更多资讯,请关注复旦白泽指数网站:https://security.fudan.edu.cn/whitzardindex