生成式AI广泛受到开发者运用，一旦这类应用程序出现弱点，就有可能遭到利用，借此影响软件开发安全。

根据安全企业Legit Security的研究，AI助理GitLab Duo有安全弱点，攻击者可借由埋入的注解，导致GitLab Duo泄露开发人员处理的程序源码，并且在回应里注入不受信任的HTML内容。研究人员于2月12日通报此事，GitLab已进行确认并完成修补。

GitLab Duo是以Anthropic开发的大型语言模型Claude为基础打造的AI助理，于2023年6月推出，后来在去年4月加入了聊天机器人Duo Chat的功能，让用户能通过自然语言进行互动。此助理能提供开发人员程序代码建议、审查程序代码安全、分析整合请求（Merge Request，MR）等工作。

而Legit Security在这款人工智能助理其中，发现远程提示注入漏洞，攻击者只要通过Duo Chat，就能从私人项目窃取源码、篡改程序代码建议并显示给其他用户，甚至还可以泄露机密资讯，或是零时差漏洞。

研究人员也对于攻击者如何利用漏洞提出说明，首先，攻击者可在GitLab项目其中，于整合请求的叙述及注解、提交的消息、问题（Issue）的叙述及注解，或是源码等处埋入提示内容。

为了避免这些提示被安全系统发现意图，研究人员通过Unicode挟带（Unicode Smuggling）、Base16算法、KaTeX渲染手法来达到目的。而这么做还能让用户无法在网站增至到相关提示，但Duo却会在生成建议的时候访问。

而这些提示的内容，包含了操纵Duo程序代码建议（例如下达指示于输出结果纳入恶意JavaScript组件）、在Duo回应加入恶意URL，以诱骗开发人员访问假的登录网页，或是说服Duo恶意整合请求其实是安全的，从而误导审查人员。

一旦用户向Duo提出问题，此AI助理就会运用攻击者埋藏的提示，从而导致源码泄露。研究人员指出，由于Duo取得的权限与受害者相同，而能够访问受害者的私人程序代码，若攻击者再要求Duo进行特定的整合请求，Duo就可能根据攻击者提示的内容，此时Duo Chat输出就会存在弱点，而能用于HTML注入。

本网通过AI自动登载内容，本文转载自MSN，【提供者：十轮网科技资讯 | 作者：佚名】，仅代表原作者个人观点。本站旨在传播优质文章，无商业用途。如不想在本站展示可联系删除。