近日，360數(shù)字安全集團(tuán)發(fā)布了一份關(guān)于大模型安全漏洞的報(bào)告，揭示了當(dāng)前大模型及圍繞其構(gòu)建的框架和應(yīng)用中存在的嚴(yán)重安全問(wèn)題。報(bào)告顯示，360近期研究發(fā)現(xiàn)了近40個(gè)大模型相關(guān)的安全漏洞，其中既包括二進(jìn)制內(nèi)存安全、Web安全等經(jīng)典漏洞類(lèi)型，也包含由大模型自身特性引入的綜合性問(wèn)題。影響范圍覆蓋多個(gè)知名模型服務(wù)框架及國(guó)際廠商開(kāi)發(fā)的開(kāi)源產(chǎn)品。更為嚴(yán)重的是，在對(duì)目前流行的框架進(jìn)行審計(jì)后，發(fā)現(xiàn)幾乎所有的框架都缺乏有效的安全保護(hù)策略。 

　　報(bào)告指出，大模型在軟件設(shè)施和具體應(yīng)用場(chǎng)景落地中面臨諸多安全挑戰(zhàn)。這些挑戰(zhàn)涵蓋了模型層安全、框架層安全和應(yīng)用層安全。在模型層，攻擊者可以通過(guò)數(shù)據(jù)投毒、后門(mén)植入、對(duì)抗攻擊等手段，使得模型無(wú)法正常完成推理預(yù)測(cè)，或繞過(guò)安全限制，生成不當(dāng)內(nèi)容。而在框架層，問(wèn)題則更為復(fù)雜。目前的大模型項(xiàng)目需求不斷增長(zhǎng)，各類(lèi)開(kāi)源框架層出不窮，這些框架雖然提供了完整的開(kāi)發(fā)周期功能，降低了構(gòu)建AI應(yīng)用的門(mén)檻，但同時(shí)也打開(kāi)了新的攻擊面。 

　　360對(duì)目前流行的框架進(jìn)行審計(jì)后發(fā)現(xiàn)，幾乎所有的框架都缺乏有效的安全保護(hù)策略。由于框架底層主要使用非內(nèi)存安全語(yǔ)言進(jìn)行編程，如C/C++，因此在優(yōu)化算法的代碼實(shí)現(xiàn)過(guò)程中很可能引入內(nèi)存安全問(wèn)題。此外，框架在接受并處理不可信數(shù)據(jù)時(shí)，也缺乏足夠的校驗(yàn)和過(guò)濾機(jī)制，使得攻擊者可以通過(guò)構(gòu)造惡意數(shù)據(jù)來(lái)觸發(fā)漏洞。 

　　例如，在TensorFlow、PyTorch等國(guó)內(nèi)外流行框架中，就存在因內(nèi)存破壞導(dǎo)致的進(jìn)程崩潰等問(wèn)題。這些問(wèn)題通常可以通過(guò)調(diào)用特定的接口函數(shù)，并傳入特殊構(gòu)造的數(shù)據(jù)參數(shù)來(lái)觸發(fā)。然而，由于修復(fù)這些問(wèn)題可能會(huì)嚴(yán)重影響訓(xùn)練效率，因此一些框架開(kāi)發(fā)者并沒(méi)有及時(shí)對(duì)這些問(wèn)題進(jìn)行修復(fù)。 

　　更為嚴(yán)重的是，在分布式場(chǎng)景下，框架的安全問(wèn)題更加突出。由于分布式系統(tǒng)通常包含大量的計(jì)算資源和存儲(chǔ)資源，一旦被惡意控制，將帶來(lái)巨大的安全風(fēng)險(xiǎn)。可惜的是，目前幾乎所有的框架都沒(méi)有良好的安全策略來(lái)實(shí)現(xiàn)分布式場(chǎng)景下的安全防護(hù)。一些框架在通信過(guò)程中沒(méi)有對(duì)接收的數(shù)據(jù)進(jìn)行嚴(yán)格校驗(yàn)，使得攻擊者可以通過(guò)發(fā)送惡意構(gòu)造的數(shù)據(jù)包來(lái)觸發(fā)漏洞，進(jìn)而控制整個(gè)集群。 

　　針對(duì)這些問(wèn)題，360建議框架開(kāi)發(fā)者應(yīng)加強(qiáng)對(duì)安全問(wèn)題的重視，投入更多精力來(lái)解決因框架設(shè)計(jì)導(dǎo)致的安全敞口問(wèn)題。同時(shí)，用戶(hù)在使用這些框架時(shí)也應(yīng)保持警惕，采取必要的安全措施來(lái)保護(hù)自己的系統(tǒng)免受攻擊。 

　　此次發(fā)現(xiàn)再次提醒我們，以大模型為重要支撐的AI生態(tài)雖然擁有巨大的發(fā)展?jié)摿�，但同時(shí)也面臨著復(fù)雜而繁多的風(fēng)險(xiǎn)因素。為了確保整個(gè)系統(tǒng)的可信、可靠、可控，我們需要將更多的精力投入在AI的安全之上，不斷發(fā)現(xiàn)和解決潛在的安全問(wèn)題，為構(gòu)建更加安全、健康的AI數(shù)字環(huán)境貢獻(xiàn)力量。