基于大型語(yǔ)言模型(LLM)的生成式AI技術(shù)應(yīng)用已經(jīng)成為當(dāng)前全球企業(yè)普遍關(guān)注的熱點(diǎn)。作為一種創(chuàng)新技術(shù)，企業(yè)組織在未來(lái)數(shù)字化發(fā)展中有很多機(jī)會(huì)應(yīng)用ChatGPT或類(lèi)似AI工具。因此，CISO們需要提前做好準(zhǔn)備，以避免可能出現(xiàn)的安全隱患和隱私泄露風(fēng)險(xiǎn)。
(資料圖片)
日前，OWASP(全球開(kāi)放應(yīng)用軟件安全項(xiàng)目組織)發(fā)布了LLM應(yīng)用風(fēng)險(xiǎn)草案清單，并梳理總結(jié)了最嚴(yán)重的10大LMM應(yīng)用安全漏洞類(lèi)型，包括提示注入、數(shù)據(jù)泄漏、不充分的沙箱機(jī)制和未經(jīng)授權(quán)的代碼執(zhí)行等。OWASP研究人員表示，這份清單旨在讓LLM應(yīng)用的開(kāi)發(fā)者、設(shè)計(jì)者、架構(gòu)師和管理者，更好地了解在部署和管理LLM應(yīng)用過(guò)程中可能存在的潛在風(fēng)險(xiǎn)，并提高漏洞防范認(rèn)識(shí)，從而改善LLM未來(lái)應(yīng)用中的安全態(tài)勢(shì)。
1、提示注入(LLM01:2023)提示注入是指通過(guò)精心制作的提示繞過(guò)內(nèi)容監(jiān)管過(guò)濾，使其忽略先前的指令或執(zhí)行非法的操作。這類(lèi)漏洞可能導(dǎo)致意想不到的后果，包括數(shù)據(jù)泄露、未經(jīng)授權(quán)的訪問(wèn)或其他安全隱患。常見(jiàn)的提示注入漏洞包括：通過(guò)使用特定的語(yǔ)言模式或token繞過(guò)過(guò)濾器或限制，利用LLM的文本分詞或編碼機(jī)制中的弱點(diǎn)，以及通過(guò)提供欺騙性上下文誤導(dǎo)LLM執(zhí)行意外操作。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
對(duì)用戶(hù)提供的提示執(zhí)行嚴(yán)格的輸入驗(yàn)證和凈化。使用上下文感知過(guò)濾和輸出編碼來(lái)防止提示操縱。定期更新和微調(diào)LLM，以提高理解惡意輸入和極端情況的能力。2、數(shù)據(jù)泄漏(LLM02:2023)當(dāng)LLM通過(guò)其響應(yīng)意外泄露敏感信息、專(zhuān)有算法或其他機(jī)密資料時(shí)，就會(huì)發(fā)生數(shù)據(jù)泄漏。這可能導(dǎo)致未經(jīng)授權(quán)訪問(wèn)敏感數(shù)據(jù)、侵犯?jìng)€(gè)人隱私及其他安全隱患。
常見(jiàn)的數(shù)據(jù)泄露漏洞包括：對(duì)LLM響應(yīng)中的敏感信息過(guò)濾不完整或不恰當(dāng)，記憶LLM訓(xùn)練過(guò)程中的敏感數(shù)據(jù)，以及因LLM算法錯(cuò)誤而導(dǎo)致機(jī)密信息的意外泄露。攻擊者可以通過(guò)精心設(shè)計(jì)的提示來(lái)故意探測(cè)LLM，試圖提取LLM憑訓(xùn)練數(shù)據(jù)所記憶的敏感信息，或者合法用戶(hù)無(wú)意中向LLM提出的包含機(jī)密信息的提問(wèn)。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
實(shí)施嚴(yán)格的輸出過(guò)濾和上下文感知機(jī)制，以防止LLM泄露敏感信息。在LLM訓(xùn)練過(guò)程中使用差分隱私技術(shù)或其他數(shù)據(jù)匿名化方法，以減小過(guò)擬合或記憶的風(fēng)險(xiǎn)。定期審計(jì)和審查L(zhǎng)LM的響應(yīng)，以確保敏感信息不會(huì)無(wú)意中泄露。3、不充分的沙箱機(jī)制(LLM03:2023)如果LLM在訪問(wèn)外部資源或敏感系統(tǒng)時(shí)未加適當(dāng)隔離，不充分的沙箱機(jī)制就會(huì)導(dǎo)致潛在的漏洞、未經(jīng)授權(quán)的訪問(wèn)或LLM違規(guī)操作。和不充分的沙箱機(jī)制相關(guān)的常見(jiàn)漏洞包括：LLM環(huán)境與其他關(guān)鍵系統(tǒng)的數(shù)據(jù)存儲(chǔ)區(qū)隔離不足，不充分的限制任由LLM訪問(wèn)敏感資源，以及LLM執(zhí)行系統(tǒng)級(jí)操作/與其他進(jìn)程交互。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
將LLM環(huán)境與其他關(guān)鍵系統(tǒng)和資源隔離開(kāi)來(lái)。限制LLM對(duì)敏感資源的訪問(wèn)，并將訪問(wèn)功能限制在最低限度。定期審計(jì)和審查L(zhǎng)LM的環(huán)境和訪問(wèn)控制，以確保保持適當(dāng)?shù)母綦x。4、未經(jīng)授權(quán)執(zhí)行代碼(LLM04:2023)當(dāng)攻擊者通過(guò)自然語(yǔ)言提示利用LLM在底層系統(tǒng)上執(zhí)行惡意代碼、命令或操作時(shí)，就會(huì)發(fā)生未經(jīng)授權(quán)的代碼執(zhí)行。典型的攻擊類(lèi)型包括：攻擊者設(shè)計(jì)提示以指令LLM執(zhí)行命令，該命令在底層系統(tǒng)上啟動(dòng)反向shell，從而授予攻擊者未經(jīng)授權(quán)的訪問(wèn)權(quán)限;LLM無(wú)意中被允許與系統(tǒng)級(jí)API進(jìn)行交互，攻擊者操縱該API在系統(tǒng)上執(zhí)行未經(jīng)授權(quán)的操作。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
實(shí)施嚴(yán)格的輸入驗(yàn)證和凈化流程，以防止LLM處理惡意或意外的提示。確保適當(dāng)?shù)纳诚錂C(jī)制，并限制LLM的功能，以限制其與底層系統(tǒng)交互的能力。5、服務(wù)器請(qǐng)求偽造(LLM05:2023)當(dāng)攻擊者利用LLM執(zhí)行意外請(qǐng)求或訪問(wèn)受限制的資源(比如內(nèi)部服務(wù)、API或數(shù)據(jù)存儲(chǔ))時(shí)，就會(huì)出現(xiàn)服務(wù)器請(qǐng)求偽造(SSRF)漏洞。常見(jiàn)的SSRF漏洞包括：輸入驗(yàn)證不足，允許攻擊者操縱LLM提示發(fā)起未經(jīng)授權(quán)的請(qǐng)求，以及網(wǎng)絡(luò)或應(yīng)用安全設(shè)置中的錯(cuò)誤配置將內(nèi)部資源暴露給LLM。為了執(zhí)行攻擊，攻擊者還可以設(shè)計(jì)提示，指令LLM向內(nèi)部服務(wù)發(fā)出請(qǐng)求，繞過(guò)訪問(wèn)控制，并獲得對(duì)敏感信息未經(jīng)授權(quán)的訪問(wèn)。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
實(shí)施嚴(yán)格的輸入驗(yàn)證和凈化策略，防止通過(guò)惡意輸入發(fā)起未經(jīng)授權(quán)的請(qǐng)求。定期審計(jì)和審查網(wǎng)絡(luò)/應(yīng)用軟件安全設(shè)置，以確保內(nèi)部資源不會(huì)無(wú)意中暴露給LLM。6、過(guò)度依賴(lài)模型生成的內(nèi)容(LLM06:2023)過(guò)度依賴(lài)LLM生成的內(nèi)容是指組織和用戶(hù)未經(jīng)驗(yàn)證就信任LLM生成的內(nèi)容，從而導(dǎo)致不正確的誤導(dǎo)信息大量傳播，降低人在決策中的參與度，并弱化批判性思考。與過(guò)度依賴(lài)LLM生成的內(nèi)容相關(guān)的常見(jiàn)問(wèn)題包括：未經(jīng)驗(yàn)證就接受LLM生成的內(nèi)容，以為L(zhǎng)LM生成的內(nèi)容沒(méi)有偏誤或錯(cuò)誤信息，以及在沒(méi)有人參與或監(jiān)督的情況下依賴(lài)LLM生成的內(nèi)容用于關(guān)鍵決策。
如果一家公司依賴(lài)LLM生成安全報(bào)告和分析，而LLM生成的報(bào)告含有大量的不正確數(shù)據(jù)，那么如果企業(yè)依賴(lài)這份由LLM生成的內(nèi)容進(jìn)行關(guān)鍵決策，就可能會(huì)釀成重大后果。網(wǎng)絡(luò)安全分析師稱(chēng)這種現(xiàn)象為L(zhǎng)LM幻覺(jué)。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
對(duì)LLM生成的內(nèi)容進(jìn)行充分驗(yàn)證;嚴(yán)格限制使用那些未經(jīng)驗(yàn)證的LLM生成內(nèi)容;定期開(kāi)展LLM生成內(nèi)容的安全風(fēng)險(xiǎn)審計(jì)。7、對(duì)LLM目標(biāo)和行為對(duì)齊不足(LLM07:2023)當(dāng)企業(yè)的LLM應(yīng)用行為與預(yù)期中的應(yīng)用目標(biāo)不一致時(shí)，就會(huì)導(dǎo)致不良的應(yīng)用后果或安全漏洞，這種漏洞被稱(chēng)為AI應(yīng)用對(duì)齊不足。常見(jiàn)問(wèn)題包括：定義不明確的目標(biāo)導(dǎo)致LLM優(yōu)先考慮了那些不良或有害的行為，不一致的獎(jiǎng)勵(lì)機(jī)制引發(fā)意想不到的模型行為，以及對(duì)LLM行為測(cè)試和驗(yàn)證不足。如果旨在協(xié)助系統(tǒng)管理任務(wù)的LLM出現(xiàn)未對(duì)齊漏洞，就可能會(huì)執(zhí)行有害的命令或降低系統(tǒng)的安全防護(hù)級(jí)別。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
在設(shè)計(jì)和開(kāi)發(fā)過(guò)程中明確定義LLM的目標(biāo)和預(yù)期行為。確保獎(jiǎng)勵(lì)機(jī)制和訓(xùn)練數(shù)據(jù)與預(yù)期結(jié)果相一致，不鼓勵(lì)任何有害的違規(guī)行為。定期測(cè)試和驗(yàn)證LLM在眾多場(chǎng)景、輸入和上下文中的行為，以識(shí)別和解決對(duì)齊問(wèn)題。8、不完善的訪問(wèn)控制(LLM08:2023)這種漏洞是指LLM在應(yīng)用中未正確實(shí)施訪問(wèn)控制或身份驗(yàn)證，允許未經(jīng)授權(quán)的用戶(hù)與 LLM 進(jìn)行交互，從而產(chǎn)生可被利用的安全漏洞。常見(jiàn)例子包括：未對(duì)訪問(wèn)LLM執(zhí)行嚴(yán)格的身份驗(yàn)證要求，基于角色的訪問(wèn)控制(RBAC)實(shí)施不充分，允許用戶(hù)執(zhí)行超出預(yù)期權(quán)限的操作，以及未為L(zhǎng)LM生成的內(nèi)容和操作提供適當(dāng)?shù)脑L問(wèn)控制。
防護(hù)建議針對(duì)該類(lèi)型漏洞的防護(hù)措施包括：
實(shí)施強(qiáng)身份驗(yàn)證機(jī)制，比如多因素身份驗(yàn)證(MFA);應(yīng)確保只有授權(quán)用戶(hù)才能訪問(wèn)LLM;對(duì)LLM生成的內(nèi)容和操作實(shí)施適當(dāng)?shù)脑L問(wèn)控制，以防止未經(jīng)授權(quán)的操作。9、不恰當(dāng)?shù)腻e(cuò)誤處置(LLM09:2023)錯(cuò)誤處置漏洞主要指由于LMM的錯(cuò)誤處置或調(diào)試信息被公開(kāi)暴露，從而導(dǎo)致了向威脅分子泄露敏感信息、系統(tǒng)資料或潛在攻擊途徑。常見(jiàn)的錯(cuò)誤處置漏洞包括：通過(guò)錯(cuò)誤消息暴露敏感信息或系統(tǒng)資料，泄露可能幫助攻擊者識(shí)別潛在漏洞或攻擊途徑的調(diào)試信息，以及未能有效處理應(yīng)用中的錯(cuò)誤，從而可能導(dǎo)致意外行為或系統(tǒng)崩潰。
防護(hù)建議針對(duì)該類(lèi)型漏洞的預(yù)防措施包括：
實(shí)施適當(dāng)?shù)腻e(cuò)誤處理機(jī)制，以確保錯(cuò)誤被及時(shí)地獲取、記錄和處理。確保錯(cuò)誤消息和調(diào)試信息中不包含敏感信息或系統(tǒng)資料，同時(shí)考慮使用通用的錯(cuò)誤消息，為開(kāi)發(fā)者和管理員記錄詳細(xì)的錯(cuò)誤數(shù)據(jù)。10、訓(xùn)練數(shù)據(jù)中毒(LLM10:2023)訓(xùn)練數(shù)據(jù)中毒是指攻擊者操縱LLM的訓(xùn)練數(shù)據(jù)或微調(diào)程序，以引入漏洞、后門(mén)或偏誤，從而危害模型的安全性、有效性或道德。常見(jiàn)的訓(xùn)練數(shù)據(jù)中毒問(wèn)題包括：通過(guò)惡意操縱訓(xùn)練數(shù)據(jù)向LLM引入后門(mén)或漏洞，以及向LLM注入誘導(dǎo)數(shù)據(jù)，導(dǎo)致LLM生成有偏差或不適當(dāng)?shù)捻憫?yīng)。
防護(hù)建議針對(duì)該類(lèi)型漏洞的防護(hù)措施包括：
從可信來(lái)源獲取訓(xùn)練數(shù)據(jù)并驗(yàn)證其質(zhì)量，確保訓(xùn)練數(shù)據(jù)的完整性。實(shí)施可靠的數(shù)據(jù)凈化和預(yù)處理技術(shù)，以消除訓(xùn)練數(shù)據(jù)中的潛在漏洞或欺騙內(nèi)容。使用監(jiān)測(cè)和警報(bào)機(jī)制來(lái)檢測(cè)LLM中的異常行為或安全問(wèn)題，這些問(wèn)題可能會(huì)幫助企業(yè)及時(shí)發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)中毒。參考鏈接：https://www.csoonline.com/article/3698533/owasp-lists-10-most-critical-large-language-model-vulnerabilities.html。
標(biāo)簽：
