近日，360數(shù)字安全集團發(fā)布了一份關(guān)于大模型安全漏洞的報告，揭示了當(dāng)前大模型及圍繞其構(gòu)建的框架和應(yīng)用中存在的嚴(yán)重安全問題。報告顯示，360近期研究發(fā)現(xiàn)了近40個大模型相關(guān)的安全漏洞，其中既包括二進(jìn)制內(nèi)存安全、Web安全等經(jīng)典漏洞類型，也包含由大模型自身特性引入的綜合性問題。影響范圍覆蓋多個知名模型服務(wù)框架及國際廠商開發(fā)的開源產(chǎn)品。更為嚴(yán)重的是，在對目前流行的框架進(jìn)行審計后，發(fā)現(xiàn)幾乎所有的框架都缺乏有效的安全保護(hù)策略。 

　　報告指出，大模型在軟件設(shè)施和具體應(yīng)用場景落地中面臨諸多安全挑戰(zhàn)。這些挑戰(zhàn)涵蓋了模型層安全、框架層安全和應(yīng)用層安全。在模型層，攻擊者可以通過數(shù)據(jù)投毒、后門植入、對抗攻擊等手段，使得模型無法正常完成推理預(yù)測，或繞過安全限制，生成不當(dāng)內(nèi)容。而在框架層，問題則更為復(fù)雜。目前的大模型項目需求不斷增長，各類開源框架層出不窮，這些框架雖然提供了完整的開發(fā)周期功能，降低了構(gòu)建AI應(yīng)用的門檻，但同時也打開了新的攻擊面。 

　　360對目前流行的框架進(jìn)行審計后發(fā)現(xiàn)，幾乎所有的框架都缺乏有效的安全保護(hù)策略。由于框架底層主要使用非內(nèi)存安全語言進(jìn)行編程，如C/C++，因此在優(yōu)化算法的代碼實現(xiàn)過程中很可能引入內(nèi)存安全問題。此外，框架在接受并處理不可信數(shù)據(jù)時，也缺乏足夠的校驗和過濾機制，使得攻擊者可以通過構(gòu)造惡意數(shù)據(jù)來觸發(fā)漏洞。 

　　例如，在TensorFlow、PyTorch等國內(nèi)外流行框架中，就存在因內(nèi)存破壞導(dǎo)致的進(jìn)程崩潰等問題。這些問題通�？梢酝ㄟ^調(diào)用特定的接口函數(shù)，并傳入特殊構(gòu)造的數(shù)據(jù)參數(shù)來觸發(fā)。然而，由于修復(fù)這些問題可能會嚴(yán)重影響訓(xùn)練效率，因此一些框架開發(fā)者并沒有及時對這些問題進(jìn)行修復(fù)。 

　　更為嚴(yán)重的是，在分布式場景下，框架的安全問題更加突出。由于分布式系統(tǒng)通常包含大量的計算資源和存儲資源，一旦被惡意控制，將帶來巨大的安全風(fēng)險�？上У氖�，目前幾乎所有的框架都沒有良好的安全策略來實現(xiàn)分布式場景下的安全防護(hù)。一些框架在通信過程中沒有對接收的數(shù)據(jù)進(jìn)行嚴(yán)格校驗，使得攻擊者可以通過發(fā)送惡意構(gòu)造的數(shù)據(jù)包來觸發(fā)漏洞，進(jìn)而控制整個集群。 

　　針對這些問題，360建議框架開發(fā)者應(yīng)加強對安全問題的重視，投入更多精力來解決因框架設(shè)計導(dǎo)致的安全敞口問題。同時，用戶在使用這些框架時也應(yīng)保持警惕，采取必要的安全措施來保護(hù)自己的系統(tǒng)免受攻擊。 

　　此次發(fā)現(xiàn)再次提醒我們，以大模型為重要支撐的AI生態(tài)雖然擁有巨大的發(fā)展?jié)摿Γ�但同時也面臨著復(fù)雜而繁多的風(fēng)險因素。為了確保整個系統(tǒng)的可信、可靠、可控，我們需要將更多的精力投入在AI的安全之上，不斷發(fā)現(xiàn)和解決潛在的安全問題，為構(gòu)建更加安全、健康的AI數(shù)字環(huán)境貢獻(xiàn)力量。