随着AI模型在编写和评估代码方面的能力不断增强,开源项目发现自己被大量高质量但需要仔细审查的AI生成内容所困扰。
对于curl项目而言,这意味着虽然低质量的AI垃圾报告减少了,但维护者需要评估的可信漏洞报告却大幅增加。
curl项目创始人兼首席开发者Daniel Stenberg在社交媒体上表示:"在过去几个月里,我们在curl项目中不再收到AI垃圾安全报告。它们消失了。相反,我们收到了越来越多真正优秀的安全报告,几乎全部都是在AI帮助下完成的。"
Stenberg说,这些报告的提交速度比以往任何时候都快,给维护者带来了日益增长的工作负担。
根据Stenberg的说法,其他开源维护者也面临着类似的情况。
Linux内核维护者Greg Kroah-Hartman最近指出,AI辅助的漏洞报告包含更少的垃圾信息和更多有效的问题。他表示Linux团队一直在努力处理增加的报告量,但暗示较小的团队可能正在苦苦挣扎。
即使报告质量更好,被识别出的问题也不一定是可以被利用且需要修正的安全漏洞。作为证据,Stenberg指出了curl的公开关闭报告列表。大多数报告被关闭是因为这些问题不是严重威胁,即使它们可能值得修正。
例如,curl库中的一个数据竞争问题最初被讨论为可能获得CVE编号的问题。但最终在拉取请求中得到修复,该漏洞被认为只是"信息性的"。
Stenberg在2024年曾经指出AI垃圾漏洞报告的问题,今年早些时候甚至停止为curl漏洞报告支付奖励。他的目标是消除提交错误或无根据报告的激励机制,无论这些报告来自为了最大化经济收益而最小化努力的自动化系统,还是来自使用AI工具但逃避检查AI工作义务的人员。
其他组织也采取了类似措施,最近的是Internet Bug Bounty项目,该项目表示将在3月底停止为漏洞发放金钱奖励。
项目维护者在一份同时关闭Node.js漏洞奖励项目的公告中说:"发现环境正在发生变化。AI辅助研究正在扩大整个生态系统的漏洞发现范围,提高了覆盖率和速度。开源中发现与修复能力之间的平衡已经发生了实质性转变。我们有责任确保该项目有效地实现其雄心勃勃的双重目标:发现和修复。因此,我们暂停提交,同时考虑推进这些目标所需的结构和激励机制。"
Linux维护者Willy Tarreau在回应Stenberg的帖子时指出,Linux内核团队与curl项目团队有着类似的经历。他认为需要对漏洞报告者提出更多要求。
他说:"是时候更新报告规则了,通过让大语言模型加报告者承担更大份额的工作来减少开销,从而减少分类所花费的时间。"
强大的AI工具并不能增加人类参与者的能力。AI带来的许多名义上的生产力提升可能只是AI工具用户将代码审查成本转移到账面之外。
Q&A
Q1:为什么curl项目的维护者工作负担反而增加了?
A:虽然AI垃圾报告减少了,但AI现在能生成大量高质量的安全漏洞报告,这些报告看起来很专业,维护者必须仔细评估每一个。报告提交速度比以往更快,给维护者带来了日益增长的工作负担。
Q2:AI生成的漏洞报告都是真正的安全威胁吗?
A:不是的。即使报告质量更好,被识别出的问题也不一定是可以被利用的严重安全漏洞。curl的公开记录显示,大多数报告最终被关闭,因为这些问题不是严重威胁,即使可能值得修正。
Q3:开源项目如何应对AI辅助漏洞报告带来的挑战?
A:一些项目停止了漏洞奖励计划,如curl和Internet Bug Bounty项目,目的是消除提交低质量报告的经济激励。维护者还建议更新报告规则,要求报告者承担更多工作以减少审查负担。