騰訊云TVP AI與安全高峰論壇圓滿落幕，共探大模型時(shí)代的安全破局之道

DeepSeek的橫空出世，標(biāo)志中國在人工智能領(lǐng)域的重大技術(shù)突破，吸引全球的關(guān)注。與此同時(shí)，飛速發(fā)展的人工智能技術(shù)為安全行業(yè)帶來新的思考題：如何利用AI賦能安全攻防，如何確保AI技術(shù)本身的安全性，均成為開發(fā)者和企業(yè)關(guān)注的焦點(diǎn)。大模型時(shí)代下，如何探索安全破局之道？

3月30日，「大模型時(shí)代：安全如何洗牌」TVP AI與安全高峰論壇在北京圓滿落幕。本次論壇匯聚安全領(lǐng)域產(chǎn)學(xué)研的頂尖專家和行業(yè)領(lǐng)袖，聚焦大模型時(shí)代AI與安全的熱點(diǎn)話題，從技術(shù)突破、產(chǎn)業(yè)實(shí)踐到風(fēng)險(xiǎn)治理等多個(gè)維度，探討AI與安全的新技術(shù)、新應(yīng)用及新思考。論壇上半場(chǎng)圍繞“AI賦能安全”，深入討論AI如何推動(dòng)安全能力升級(jí)，解析大模型帶來的新機(jī)遇；下半場(chǎng)以“護(hù)航AI安全”為主題，面對(duì)AI自身的安全挑戰(zhàn)，探討AI安全發(fā)展方向，整體論壇為與會(huì)者提供從技術(shù)應(yīng)用到風(fēng)險(xiǎn)治理的全景視角，這是一場(chǎng)解碼 AI與安全融合發(fā)展的技術(shù)盛宴。

主持人開場(chǎng)

主持人賽博英杰科技創(chuàng)始人&CEO、騰訊云 TVP、CCF TF安全SIG主席 譚曉生 在開場(chǎng)時(shí)表示，在過去兩年中，隨著ChatGPT的推出，人工智能取得顯著進(jìn)展，在各行各業(yè)得到廣泛應(yīng)用，國內(nèi)安全企業(yè)紛紛加大在AI領(lǐng)域的投入。然而，當(dāng)大家在部署大模型應(yīng)用的過程中，大模型自身的安全問題逐漸顯現(xiàn)。這一現(xiàn)象與十年前大數(shù)據(jù)概念興起時(shí)的經(jīng)歷相似：開發(fā)者和企業(yè)先是思考利用新技術(shù)提升安全能力，再來解決新技術(shù)本身的安全問題。我在安全行業(yè)深耕30多年，相信 AI將引發(fā)行業(yè)的重大洗牌。本次活動(dòng)是一個(gè)難得的機(jī)會(huì)，我們邀請(qǐng)到業(yè)內(nèi)頂尖專家共同研討相關(guān)話題，以推動(dòng)安全行業(yè)的進(jìn)步與發(fā)展。

賽博英杰科技創(chuàng)始人&CEO、騰訊云 TVP、CCF TF安全SIG主席 譚曉生

開場(chǎng)致辭

會(huì)議伊始，騰訊安全副總裁、云鼎實(shí)驗(yàn)室負(fù)責(zé)人 董志強(qiáng)發(fā)表開場(chǎng)致辭。他指出，以GPT為代表的大模型技術(shù)為安全領(lǐng)域帶來革命性的影響。攻擊者利用大模型技術(shù)，使得攻擊手段更加工業(yè)化且成本降低，但是防御方相對(duì)有些滯后，這種情況下可能會(huì)進(jìn)一步加劇攻防不對(duì)稱，增加防御難度。此外，在訓(xùn)練大模型時(shí)，數(shù)據(jù)脫敏等安全性問題不可小覷。在大模型的部署階段，我們還需警惕越權(quán)訪問、GPU資源濫用等潛在的安全隱患。針對(duì)以上問題，董志強(qiáng)建議使用小模型或?qū)Ｓ冒踩Ｐ鸵约凹訌?qiáng)合規(guī)管理措施。他表示，大模型正在重構(gòu)網(wǎng)絡(luò)安全戰(zhàn)場(chǎng)，國外已有創(chuàng)業(yè)公司在探索AI驅(qū)動(dòng)的安全產(chǎn)品，其中蘊(yùn)藏?zé)o限的創(chuàng)新潛力與機(jī)遇，期待與大家共同交流與思想碰撞。

騰訊安全副總裁、云鼎實(shí)驗(yàn)室負(fù)責(zé)人 董志強(qiáng)

一、AI賦能的未來安全：創(chuàng)新趨勢(shì)和實(shí)踐探索

深信服科技AI安全業(yè)務(wù)總經(jīng)理 張振禮

在上半場(chǎng)的主題演講環(huán)節(jié)中，深信服科技AI安全業(yè)務(wù)總經(jīng)理 張振禮發(fā)表《AI賦能的未來安全：創(chuàng)新趨勢(shì)和實(shí)踐探索》的報(bào)告。

張振禮先是分享對(duì)AI賦能安全的理解：第一，安全本來就碎片化，不能每個(gè)安全GPT場(chǎng)景單獨(dú)的模型分開部署，要統(tǒng)一規(guī)劃，通過良好的架構(gòu)設(shè)計(jì)實(shí)現(xiàn)各類大模型算力的統(tǒng)一調(diào)度和適配；第二，基礎(chǔ)大模型持續(xù)進(jìn)化，安全大模型需要具備快速融合、集成、吸收優(yōu)秀基礎(chǔ)模型的知識(shí)和推理能力，智能體的元年開啟，持續(xù)為安全場(chǎng)景帶來體驗(yàn)和效果的改進(jìn)；第三，安全團(tuán)隊(duì)在AI時(shí)代要具備RAG、微調(diào)等技能；四是開放性，AI時(shí)代，安全產(chǎn)品需具備適應(yīng)性以匹配不同行業(yè)的具體場(chǎng)景需求。

張振禮表示，網(wǎng)絡(luò)安全是一個(gè)對(duì)檢出率、準(zhǔn)確率有極高追求的toB領(lǐng)域，將任何的開源基座大模型落地于安全領(lǐng)域，都絕非簡(jiǎn)單的接入、縫合，而是一個(gè)復(fù)雜的系統(tǒng)工程。比如DeepSeek在安全垂直領(lǐng)域商業(yè)落地，必須具有安全垂域大模型的實(shí)踐數(shù)據(jù)、對(duì)基座模型的安全場(chǎng)景馴化經(jīng)驗(yàn)、面向安全業(yè)務(wù)的AI系統(tǒng)工程，才能強(qiáng)化優(yōu)勢(shì)，應(yīng)對(duì)挑戰(zhàn)。我們需經(jīng)過指令微調(diào)、預(yù)訓(xùn)練及強(qiáng)化學(xué)習(xí)三個(gè)階段，并結(jié)合專業(yè)經(jīng)驗(yàn)和安全語料進(jìn)行優(yōu)化，才能適應(yīng)特定安全場(chǎng)景需求。張振禮將DeepSeek、GPT-4.5 等通用大模型比作安全“本科生”，通過安全指令微調(diào)和安全細(xì)分領(lǐng)域優(yōu)化，這些模型成長為“碩士”，經(jīng)過系統(tǒng)化的構(gòu)建與實(shí)際應(yīng)用驗(yàn)證，它們將成為“博士”或有經(jīng)驗(yàn)的安全專家。

接著，張振禮分享深信服 AI 安全的落地實(shí)踐。如團(tuán)隊(duì)開發(fā)基于AI的安全助手，不僅改善安全管理，還優(yōu)化安全規(guī)范及日常溝通，實(shí)現(xiàn)從被動(dòng)響應(yīng)到主動(dòng)審計(jì)的轉(zhuǎn)變，并推動(dòng)全面自動(dòng)化。此外，團(tuán)隊(duì)還提供AI安全培訓(xùn)體系，以增強(qiáng)大家的安全能力和安全技能。

談及未來，張振禮表示，從長遠(yuǎn)來看，隨著多智能體協(xié)同技術(shù)的發(fā)展，安全行業(yè)將實(shí)現(xiàn)高度自動(dòng)化，形成人監(jiān)督機(jī)器等的新模式，釋放更多人力資源去處理更有價(jià)值的任務(wù)。

二、AI智能體：從思考規(guī)劃到落地執(zhí)行的安全賦能之旅

安恒信息高級(jí)副總裁、研究院院長、騰訊云 TVP 王欣

安恒信息高級(jí)副總裁、研究院院長、騰訊云 TVP 王欣在《AI智能體：從思考規(guī)劃到落地執(zhí)行的安全賦能之旅》中談到，2025年被視為智能體元年，DeepSeek的興起極大地推動(dòng)公眾對(duì)AI智能體的認(rèn)知。

王欣詳細(xì)介紹安恒信息在 AI 智能體的布局和發(fā)展歷程。他表示，智能體與網(wǎng)絡(luò)安全體系的融合將是未來的發(fā)展趨勢(shì)，而非孤立存在。通過引入智能中臺(tái)，將數(shù)據(jù)、知識(shí)、情報(bào)及安全產(chǎn)品整合為Agent的一部分，實(shí)現(xiàn)任務(wù)的調(diào)度與執(zhí)行，來應(yīng)對(duì)各類安全場(chǎng)景。預(yù)計(jì)在未來3-5年內(nèi)，這種模式將成為面向客戶側(cè)的主要發(fā)展方向，提升整體安全效能和響應(yīng)速度。

接著，王欣分享AI智能體給行業(yè)帶來的變革：第一，Agent 的引入標(biāo)志著安全運(yùn)營從量變到質(zhì)變的過程，技術(shù)發(fā)展需要一定的周期；第二，智能體的出現(xiàn)使得業(yè)務(wù)專家從專才轉(zhuǎn)變?yōu)槌?jí)個(gè)體，通過減少輔助工程和崗位，讓專家的知識(shí)經(jīng)驗(yàn)成為核心，未來逐步出現(xiàn)一人當(dāng)崗、一人多能的情況，并利用編排系統(tǒng)將個(gè)人經(jīng)驗(yàn)沉淀為平臺(tái)經(jīng)驗(yàn)，以完成更多任務(wù)。

最后，王欣回顧了過去一年對(duì)AI智能體在安全領(lǐng)域的八個(gè)預(yù)測(cè)，例如Agent將成為產(chǎn)業(yè)標(biāo)配，AI native工具將成為Agent的手和腳；ASA架構(gòu)將在AI智能體影響下升級(jí)等等，他指出，部分預(yù)測(cè)可能未能完全符合實(shí)際發(fā)展軌跡，并提出今年將重新審視相關(guān)趨勢(shì)，依托更嚴(yán)謹(jǐn)?shù)姆治隹蚣芘c數(shù)據(jù)支撐體系，結(jié)合對(duì)技術(shù)演進(jìn)的深度洞察，探索實(shí)現(xiàn)類似AI級(jí)精準(zhǔn)預(yù)測(cè)的可能性。

三、安全大模型發(fā)展路徑洞察與實(shí)踐

360集團(tuán)首席科學(xué)家、360數(shù)字安全集團(tuán) CTO、騰訊云TVP、CCF 杰出工程師獎(jiǎng)獲得者 潘劍鋒

360集團(tuán)首席科學(xué)家、360數(shù)字安全集團(tuán)CTO、騰訊云 TVP、CCF 杰出工程師獎(jiǎng)獲得者 潘劍鋒發(fā)表《安全大模型發(fā)展路徑洞察與實(shí)踐》的主題演講。

潘劍鋒先是討論大模型的理解能力，引入“快慢思考”概念來評(píng)估當(dāng)前大模型的能力。他表示目前大模型的價(jià)值是很好地模擬人腦的“快思考”，即大模型通過海量數(shù)據(jù)訓(xùn)練，做文字符號(hào)層面的統(tǒng)計(jì)處理，從數(shù)據(jù)中找出統(tǒng)計(jì)性規(guī)律，在概括的意義上掌握學(xué)習(xí)樣本所反映的隱含知識(shí)，并以此為基礎(chǔ)生成內(nèi)容。而“慢思考”需要對(duì)事物具有本質(zhì)性理解，需借助事實(shí)性知識(shí)，通過多步推理、反思，是“深思熟慮”的結(jié)晶。針對(duì)慢思考任務(wù)的場(chǎng)景中，當(dāng)前可編排專家經(jīng)驗(yàn)，整合安全大模型、知識(shí)庫、工具庫的能力，實(shí)現(xiàn)半自主的推理Agent。

當(dāng)前，國內(nèi)大模型賦能安全產(chǎn)品主要采用兩種不同層次的方式：一是直接使用通用大模型的能力實(shí)現(xiàn)安全應(yīng)用；二是應(yīng)用安全垂直大模型。這兩種方式之間的區(qū)別就像“一個(gè)博學(xué)的人拿著醫(yī)科全書”與“主任醫(yī)師”，前者雖然能夠查到專業(yè)知識(shí)，但是不能夠貫通運(yùn)用；后者是具有豐富的臨床實(shí)踐經(jīng)驗(yàn)。安全垂直大模型能夠?qū)I(yè)的安全數(shù)據(jù)真正訓(xùn)練進(jìn)入模型中。

潘劍鋒分享如何基于以上理論進(jìn)行落地實(shí)踐，包括安全語料生產(chǎn)、模型分區(qū)訓(xùn)練和慢思考實(shí)現(xiàn)方式。高質(zhì)量的安全語料被視為行業(yè)的護(hù)城河，360首創(chuàng)的CoE技術(shù)架構(gòu)允許不同的安全專家分區(qū)訓(xùn)練各自的模型，有效減少多任務(wù)沖突、過擬合等問題，保證訓(xùn)練效果同時(shí)降低資源消耗。

潘劍鋒目前基于推理時(shí)計(jì)算擴(kuò)展的方法，在外延方面進(jìn)行創(chuàng)新，還嘗試做本質(zhì)性理解的相關(guān)工作。通過團(tuán)隊(duì)的持續(xù)探索，有望進(jìn)一步提升大模型在安全領(lǐng)域的效能與適用范圍，尋找新的發(fā)展范式。

四、安全領(lǐng)域大模型構(gòu)建范式與實(shí)踐

騰訊安全副總裁、科恩實(shí)驗(yàn)室負(fù)責(zé)人 吳石

騰訊安全副總裁、科恩實(shí)驗(yàn)室負(fù)責(zé)人 吳石做《安全領(lǐng)域大模型構(gòu)建范式與實(shí)踐》的主題演講。

自2018年起，科恩實(shí)驗(yàn)室開始對(duì)AI+安全的研究，致力探索如何提升安全產(chǎn)品的智能化水平，落地相關(guān)產(chǎn)品，騰訊內(nèi)部包含 QQ、微信在內(nèi)的多個(gè)重要產(chǎn)品均在使用科恩實(shí)驗(yàn)室AI+安全的能力。

當(dāng)前在利用大模型解決實(shí)際安全問題上仍面臨一些挑戰(zhàn)，主要原因在于大模型本身并不產(chǎn)生新的知識(shí)，對(duì)于安全領(lǐng)域的專業(yè)知識(shí)掌握有限，導(dǎo)致其輸出的實(shí)際效用不高。對(duì)此，吳石分享了科恩實(shí)驗(yàn)室在這方面所開展的工作：一是建立安全語料庫，通過從多源收集數(shù)據(jù)并利用關(guān)鍵詞過濾和分列器進(jìn)行初步篩選，經(jīng)過一系列數(shù)據(jù)清洗步驟，最終完成數(shù)據(jù)質(zhì)量評(píng)測(cè)，目前此安全語料已部分開源。二是開發(fā)針對(duì)大模型安全能力的評(píng)測(cè)體系，填補(bǔ)行業(yè)空白，并部分開源評(píng)測(cè)工具，顯著提升行業(yè)標(biāo)準(zhǔn)。

吳石介紹騰訊內(nèi)部如何落地大模型+安全：首先通過優(yōu)化prompt提高提問質(zhì)量，解決大部分基礎(chǔ)問題；其次，利用外掛的知識(shí)庫和數(shù)據(jù)庫增強(qiáng)大模型的能力，實(shí)現(xiàn)快速反應(yīng)；還有，開發(fā)Agent來提升處理復(fù)雜任務(wù)的能力。其中，科恩實(shí)驗(yàn)室自研 BinaryAI 可以模糊匹配開源庫信息識(shí)別惡意代碼，現(xiàn)日調(diào)用量超1億次。基于RAG的Security-X助手廣泛應(yīng)用于URL處理、威脅情報(bào)檢索等場(chǎng)景?？偟膩碚f，科恩實(shí)驗(yàn)室具備三大核心能力：優(yōu)秀的安全攻防技術(shù)、全面的基礎(chǔ)安全大數(shù)據(jù)以及自安全算法，這些為大模型的應(yīng)用提供堅(jiān)實(shí)基礎(chǔ)，并推動(dòng)通用大模型與小模型的有效結(jié)合。

吳石指出，大模型作為網(wǎng)絡(luò)安全領(lǐng)域的重要技術(shù)力量，已顯著提升了威脅檢測(cè)效率與安全防護(hù)能力，尤其在復(fù)雜場(chǎng)景中展現(xiàn)出獨(dú)特價(jià)值。然而，當(dāng)前技術(shù)范式下仍需理性看待其局限性：大模型在處理低頻威脅、對(duì)抗性樣本防御及實(shí)時(shí)決策場(chǎng)景中仍存在性能瓶頸。他強(qiáng)調(diào)，安全工作的核心仍需回歸對(duì)抗本質(zhì)——通過構(gòu)建高保真威脅情報(bào)體系與攻擊成本動(dòng)態(tài)評(píng)估機(jī)制，迫使攻擊者在技術(shù)、資源與時(shí)間維度付出更高代價(jià)。

五、大模型的安全價(jià)值對(duì)齊

北京大學(xué)人工智能研究院助理教授、人工智能安全與治理中心執(zhí)行主任、CCF 計(jì)算經(jīng)濟(jì)學(xué)組執(zhí)行委員 楊耀東

在下午的論壇上，北京大學(xué)人工智能研究院助理教授、人工智能安全與治理中心執(zhí)行主任 楊耀東發(fā)表《大模型的安全價(jià)值對(duì)齊》的主題演講。

楊耀東從 ChatGPT 時(shí)代“Delve”一詞被頻繁使用開始講起，提出現(xiàn)實(shí)中如何確保強(qiáng)大的大模型符合人們的價(jià)值觀和意圖，即大模型的安全價(jià)值對(duì)齊問題。當(dāng)前的大模型對(duì)齊工作主要以強(qiáng)化學(xué)習(xí)為主，包括預(yù)訓(xùn)練、學(xué)習(xí)人類反饋以及強(qiáng)化學(xué)習(xí)人類反饋。

針對(duì)大模型能不能被對(duì)齊的問題，楊耀東表示，大模型有非常強(qiáng)的抗拒對(duì)齊的表現(xiàn)，大規(guī)模預(yù)訓(xùn)練已經(jīng)讓模型參數(shù)空間緊繃，進(jìn)一步調(diào)整可能會(huì)導(dǎo)致性能下降或崩潰。楊耀東認(rèn)為，大語言模型挺難被被對(duì)齊，但可以嘗試讓大模型變得更加安全。如在事前做Moderation，通過數(shù)據(jù)標(biāo)記有害內(nèi)容，增強(qiáng)模型魯棒性；事中可以利用數(shù)據(jù)進(jìn)一步做安全對(duì)齊，采用MAX MIN方法優(yōu)化獎(jiǎng)勵(lì)與有害性平衡；事后引入后置對(duì)齊器修正答案，提升模型安全性。這樣一來，在某種程度可以緩解模型的安全問題，但不能完全解決模型的安全問題。

面對(duì)多模態(tài)挑戰(zhàn)，楊耀東團(tuán)隊(duì)嘗試通過語言反饋合成偏好來解決不同模態(tài)間的對(duì)齊難題。此外，面對(duì)具身智能大模型對(duì)齊的問題，尤其是在將大模型應(yīng)用于物理世界時(shí)，如何保證其行為安全成為關(guān)鍵問題。為此，需要構(gòu)建一個(gè)可驗(yàn)證的安全框架，結(jié)合傳統(tǒng)控制論的方法，確保機(jī)器人和其他智能體在與現(xiàn)實(shí)世界的互動(dòng)中遵循安全規(guī)范。目前，楊耀東團(tuán)隊(duì)開展初期工作，如Safe VLA項(xiàng)目，通過明確的安全約束確保機(jī)器人在與物理世界交互時(shí)的安全性，已在仿真環(huán)境中取得積極成果。最后，楊耀東指出，面對(duì)具身智能模型的對(duì)齊問題，應(yīng)從以人類反饋為基準(zhǔn)的后訓(xùn)練對(duì)齊思路轉(zhuǎn)向到構(gòu)建事前可驗(yàn)證的 100％ 價(jià)值安全體系，為未來智能無人系統(tǒng)與物理世界的安全交互奠定基礎(chǔ)。

六、AI系統(tǒng)的安全風(fēng)險(xiǎn)和挑戰(zhàn)

Certik 首席安全官、騰訊云TVP李康

Certik 首席安全官、騰訊云TVP李康在《AI系統(tǒng)的安全風(fēng)險(xiǎn)和挑戰(zhàn)》的主題演講中，談到目前AI安全討論通常集中在抽象層面（如AI對(duì)人類社會(huì)的威脅）和算法層面，但忽略系統(tǒng)安全層面的重要性和緊迫性，如今，AI智能體的普及帶來新的安全挑戰(zhàn)，這些智能體帶有執(zhí)行環(huán)境，允許代碼執(zhí)行，這為攻擊者提供機(jī)會(huì)。李康舉例如何利用傳統(tǒng)安全手段攻擊AI智能體，通過簡(jiǎn)單的手段如命令注入、越權(quán)訪問等，可輕易地對(duì)AI智能體進(jìn)行攻擊。

“攻擊者并不一定針對(duì)AI的偏見或利用Prompt和幻覺進(jìn)行攻擊智能體，而是尋找有價(jià)值的目標(biāo)，并用最簡(jiǎn)單的方式達(dá)成目的，當(dāng)前AI的安全監(jiān)管和檢測(cè)尚未充分考慮這一點(diǎn)，未來需關(guān)注具體事件的爆發(fā)以應(yīng)對(duì)這些潛在威脅。”李康提醒說。

隨后，李康進(jìn)一步分析物理世界中的AI Agent同樣面臨安全風(fēng)險(xiǎn)，闡述AI系統(tǒng)在現(xiàn)實(shí)世界中的安全隱患。李康表示，AI Agent 為安全研究帶來機(jī)會(huì)與責(zé)任，既讓我們重新審視和應(yīng)用過去的安全手段進(jìn)行防護(hù)，同時(shí)也要求我們?cè)诎l(fā)現(xiàn)攻擊路徑和方法上進(jìn)行創(chuàng)新，尤其是在面對(duì)真實(shí)場(chǎng)景時(shí)，不依賴傳統(tǒng)的直接互動(dòng)方式。

李康提醒道，AI 的普及不僅帶來技術(shù)平權(quán)，也引入新的安全風(fēng)險(xiǎn)，希望安全從業(yè)者獲得更多話語權(quán)和重視，尤其是在監(jiān)管層面應(yīng)更加關(guān)注底層安全問題。最后，李康呼吁更多人參與到AI安全的研究和實(shí)踐中來。

七、AI模型的安全性分析與理解

中國科學(xué)院信息工程研究所主任、騰訊云 TVP、CCF 安全專委和系統(tǒng)軟件常委、CCF-IEEE CS青年科學(xué)家獎(jiǎng)獲得者 陳愷

中國科學(xué)院信息工程研究所主任、騰訊云TVP、CCF 安全專委和系統(tǒng)軟件常委、CCF-IEEE CS青年科學(xué)家獎(jiǎng)獲得者 陳愷在《AI模型的安全性分析與理解》的報(bào)告中，展示AI模型安全性方面的多項(xiàng)研究成果，強(qiáng)調(diào)提升AI模型安全性的必要性。

陳愷的研究方向有人工智能賦能安全攻防（AI for Security）和人工智能技術(shù)本身的安全（Security for AI）。團(tuán)隊(duì)在2017、2018 年開始做模型對(duì)抗攻擊的研究，如通過添加噪點(diǎn)誤導(dǎo)分類模型識(shí)別物體，隨后擴(kuò)展到針對(duì)物理世界的研究，如讓自動(dòng)駕駛車輛誤識(shí)路標(biāo)或雷達(dá)系統(tǒng)忽視前方障礙物。

對(duì)此，陳愷團(tuán)隊(duì)探索了一些防御方法，包括使用自編碼器自動(dòng)過濾對(duì)抗補(bǔ)丁和自研“神經(jīng)網(wǎng)絡(luò)手術(shù)刀”技術(shù)。神經(jīng)網(wǎng)絡(luò)手術(shù)刀通過精確修復(fù)導(dǎo)致錯(cuò)誤的小部分神經(jīng)元，從而避免大規(guī)模調(diào)整模型帶來的負(fù)面影響。此外，陳愷團(tuán)隊(duì)提出一種新的映射方法，通過利用模型后門將輸入樣本映射到不同的類別來抵御對(duì)抗樣本攻擊，由此降低攻擊成功率并保持模型性能。

當(dāng)前，針對(duì)大模型的安全性挑戰(zhàn)層出不窮，例如越獄攻擊，即通過特定提示詞使模型輸出有害的信息。對(duì)此，我們正在探索從模型分析角度入手解決此類問題。會(huì)上，陳愷討論當(dāng)前流行的可解釋性工具存在的局限性及其改進(jìn)方向，強(qiáng)調(diào)開發(fā)更有效的模型解釋工具的重要性。

八、大模型應(yīng)用落地的安全風(fēng)險(xiǎn)與防護(hù)實(shí)踐

火山引擎大模型應(yīng)用防火墻產(chǎn)品負(fù)責(zé)人 鄭炎亭

火山引擎大模型應(yīng)用防火墻產(chǎn)品負(fù)責(zé)人 鄭炎亭在《大模型應(yīng)用落地的安全風(fēng)險(xiǎn)與防護(hù)實(shí)踐》的分享中，探討大模型應(yīng)用在各行各業(yè)落地過程中面臨的安全風(fēng)險(xiǎn)及相應(yīng)的防護(hù)實(shí)踐。

鄭炎亭觀察到，過去，不同行業(yè)在引入新技術(shù)時(shí)注重快速驗(yàn)證和部署，安全往往被視為次要考慮因素。隨著DeepSeek等工具的普及，AI技術(shù)的成本降低、門檻變低，越來越多的企業(yè)開始重視AI應(yīng)用的安全性，特別是在生產(chǎn)環(huán)境暴露面增大后帶來的潛在威脅。

當(dāng)前的安全挑戰(zhàn)不僅包括傳統(tǒng)的DDoS攻擊、薅羊毛濫用等，還涉及大模型特有的風(fēng)險(xiǎn)，如提示詞注入、模型幻覺等問題。以提示詞注入為例，通過簡(jiǎn)單的拼接即可實(shí)現(xiàn)對(duì)模型的操控，使得攻擊成本大幅降低，這對(duì)企業(yè)的數(shù)據(jù)安全構(gòu)成嚴(yán)重威脅。

為應(yīng)對(duì)這些挑戰(zhàn)，鄭炎亭提出一些實(shí)踐思路：一是對(duì)提示詞過濾與監(jiān)控，對(duì)輸入輸出實(shí)施嚴(yán)格過濾，減少惡意利用的可能性。二是對(duì)運(yùn)行環(huán)境做安全保障，使用加密技術(shù)和機(jī)密計(jì)算來保護(hù)敏感信息處理過程中的安全性。三是模型安全性測(cè)評(píng)，測(cè)試模型識(shí)別并拒絕執(zhí)行惡意代碼或生成有害內(nèi)容。

鄭炎亭談到大模型的幻覺問題確實(shí)不易解決。大模型幻覺分為事實(shí)性幻覺和忠實(shí)性幻覺。對(duì)于不同的幻覺應(yīng)設(shè)計(jì)不同的應(yīng)對(duì)方案，鄭炎亭介紹幾種在推理端處理幻覺問題的方法，強(qiáng)調(diào)在推理端更具性價(jià)比且更可控。

九、AIGC內(nèi)容安全治理趨勢(shì)與實(shí)踐

中國科學(xué)院計(jì)算技術(shù)研究所實(shí)驗(yàn)室主任、中科睿鑒創(chuàng)始人、騰訊云 TVP、曹娟

中國科學(xué)院計(jì)算技術(shù)研究所實(shí)驗(yàn)室主任、中科睿鑒創(chuàng)始人、騰訊云TVP曹娟發(fā)表《AIGC內(nèi)容安全治理趨勢(shì)與實(shí)踐》的主題演講。

曹娟首先介紹為什么大模型時(shí)代的鑒偽如此重要，一是 AI 生成的數(shù)據(jù)越來越多，二是大模型已開始在各行各業(yè)落地應(yīng)用，因此鑒偽也會(huì)覆蓋各各業(yè)，三是國家層陸續(xù)推出多個(gè)法律法規(guī)，從模型層、應(yīng)用層、數(shù)據(jù)層對(duì) AI 生成做規(guī)范。然而當(dāng)鑒偽工作真正落地時(shí)，由于各行業(yè)差別巨大，因此她建議每個(gè)行業(yè)指定自己的標(biāo)準(zhǔn)，如科技部禁止AI生成申報(bào)書，教育部禁止AI生成論文和配圖等等。曹娟強(qiáng)調(diào)，這里需要產(chǎn)業(yè)界同心努力，盡快制定各自行業(yè)的標(biāo)準(zhǔn)，才能推動(dòng)產(chǎn)業(yè)的發(fā)展。

曹娟表示，如今，中國人工智能安全治理已進(jìn)入立法和執(zhí)法的深水區(qū)。據(jù) Gartner預(yù)測(cè)，到2028年，50%的企業(yè)將開始采用專門為解決虛假信息安全用例而設(shè)計(jì)的產(chǎn)品、服務(wù)或功能，目前這一比例還不到5%。目前，曹娟團(tuán)隊(duì)聚焦核心技術(shù)攻關(guān)，針對(duì)云端和終端均打造前沿鑒偽產(chǎn)品，來提升數(shù)字內(nèi)容的安全性和可信度。

談及未來AIGC內(nèi)容安全治理的發(fā)展，曹娟闡述遇到的難點(diǎn)，如大模型的泛化，場(chǎng)景泛化等，美顏圖片和造假圖片是相同的技術(shù)，如何識(shí)別無害篡改和有害照片是非常難的。還有手機(jī)視頻，針對(duì)錄屏、截屏做到技術(shù)鑒偽等。

曹娟提醒道，AIGC 發(fā)展日新月異，未來互聯(lián)網(wǎng)可能是真相衰落的時(shí)代。他們按自動(dòng)駕駛將大模型分為L0到L5級(jí)，從全人工潤色重寫續(xù)寫到全自動(dòng)自主分不同的等級(jí)做了實(shí)驗(yàn)，發(fā)現(xiàn)到L3級(jí)后，大平臺(tái)的推薦系統(tǒng)更傾向于推薦生成的內(nèi)容，而不是人類產(chǎn)生的內(nèi)容。他們將AIGC生產(chǎn)的內(nèi)容給人看，80% 的人更愿意看生成的內(nèi)容。未來互聯(lián)網(wǎng)的模式將會(huì)發(fā)生翻天覆地的改變，她建議現(xiàn)在將人類生產(chǎn)的數(shù)據(jù)保護(hù)起來，如打標(biāo)簽保存等。

十、分組腦暴促交流，觀點(diǎn)PK啟新思

除了以上干貨滿滿的主題演講外，論壇注重交流和分享，特別設(shè)置分組討論熱點(diǎn)話題，觀點(diǎn)PK環(huán)節(jié)，促進(jìn)大家的思想交流，共同探索 AI 與安全共生發(fā)展的新模式。

在這一環(huán)節(jié)中，數(shù)十位專家被分為不同的小組，先是三個(gè)小組圍繞主持人提出的熱點(diǎn)問題展開討論，由小組代表進(jìn)行總結(jié)發(fā)言，分享討論成果。

討論問題：大模型時(shí)代，安全行業(yè)往何處去

第一組代表騰訊云安全云鼎實(shí)驗(yàn)室總監(jiān)、云安全技術(shù)專家  謝飛表示，對(duì)于企業(yè)最擔(dān)心的安全運(yùn)營問題，他有一個(gè)深刻的感觸：盡管 AI 能協(xié)助做告警分析，但其準(zhǔn)確率和可信度還不夠好。舉例說如果依靠 AI 進(jìn)行夜間無人值守，我們會(huì)擔(dān)心 AI 的準(zhǔn)確率問題，擔(dān)心可能會(huì)錯(cuò)過真正的威脅，導(dǎo)致嚴(yán)重后果。AI對(duì)安全風(fēng)險(xiǎn)的研判準(zhǔn)確率和權(quán)責(zé)問題，才是企業(yè)面臨的痛點(diǎn)問題。

騰訊云安全云鼎實(shí)驗(yàn)室總監(jiān)、云安全技術(shù)專家   謝飛

第二組代表 安恒信息首席安全官&高級(jí)副總裁、騰訊云 TVP 袁明坤表示，不同企業(yè)對(duì)于人工智能在安全領(lǐng)域的應(yīng)用需求各不相同。袁明坤通過鐵匠師傅與徒弟的比喻，形象地描述人類專家像一位鐵匠師傅，AI 像一位徒弟，人類如何指導(dǎo)和利用 AI 工具來提升工作效率和競(jìng)爭(zhēng)力，打造出來的東西才更有競(jìng)爭(zhēng)力。在細(xì)分行業(yè)中，關(guān)鍵在于找到行之有效的方法讓 AI 發(fā)揮最大效能。

  安恒信息首席安全官&高級(jí)副總裁、騰訊云 TVP 袁明坤

第三組代表煉石網(wǎng)絡(luò)創(chuàng)始人&CEO、騰訊云 TVP 白小勇表示，對(duì)于第一個(gè)問題我們認(rèn)為最迫切需要 AI 輔助的是D、F、H（調(diào)查閉環(huán)、數(shù)據(jù)分類分級(jí)以及編寫報(bào)告）。企業(yè)在提升網(wǎng)絡(luò)安全工作中，首先應(yīng)評(píng)估哪些環(huán)節(jié)消耗大量的人工和成本，并選擇合適的大模型來實(shí)現(xiàn)增效降本。而對(duì)于前三個(gè)和告警相關(guān)的選項(xiàng)，我們選擇了B（告警輔助研判）。此外，我們認(rèn)為文檔撰寫也是企業(yè)的一個(gè)迫切需求，占比應(yīng)該超過50%。

針對(duì)第二個(gè)問題，我們最擔(dān)心的是B（AIGC產(chǎn)生的內(nèi)容的安全問題）。因?yàn)樗赡軐?dǎo)致一些嚴(yán)重問題，如生成內(nèi)容涉及政治敏感信息等紅線問題。A（數(shù)據(jù)安全與個(gè)人隱私保護(hù)問題）和C（提示詞注入攻擊與大模型越獄問題）之間我們存在分歧：A被視為更嚴(yán)重的不可逆轉(zhuǎn)結(jié)果，而C是可恢復(fù)的過程。綜合考慮，我們認(rèn)為 B 是最擔(dān)心的安全問題。

  煉石網(wǎng)絡(luò)創(chuàng)始人&CEO、騰訊云 TVP 白小勇

接下來，由四個(gè)小組進(jìn)行辯論賽，分別從正反兩方的角度來PK討論熱點(diǎn)話題，激發(fā)思維碰撞?，F(xiàn)場(chǎng)討論氣氛濃厚，專家們你來我往，在交鋒中深入探討 AI 安全的未來，啟發(fā)更多的深刻思考與全新見解，碰撞別樣的思維火花。

辯題一：安全大模型應(yīng)選擇通用基座微調(diào)還是垂直領(lǐng)域原生訓(xùn)練？

支持通用基座的代表鴻雪科技 CTO、騰訊云TVP 孫杰提出小組的六點(diǎn)觀點(diǎn)：第一，通用模型基座作為一種資源約束下的最優(yōu)解，通過以20%的成本滿足80%的需求，兼顧經(jīng)濟(jì)與技術(shù)的可行性，具備高效資源利用率和快速迭代能力，通用基?？梢詽M足大部分的需求。第二，可以快速適應(yīng)企業(yè)里面大多數(shù)任務(wù)。第三，通用基模泛化能力強(qiáng)，可以泛化到企業(yè)70-80%的場(chǎng)景。 第四，通用基模便于知識(shí)遷移，通過大模型的知識(shí)蒸餾為專業(yè)領(lǐng)域提供支持，為垂類模型提供能力幫助。第五，具備動(dòng)態(tài)進(jìn)化和安全免疫能力，能在不斷變化的環(huán)境中自我進(jìn)化，對(duì)抗樣本攻擊時(shí)表現(xiàn)出更強(qiáng)的魯棒性。第六，通用基模在泛化能力和微調(diào)之間提供最佳平衡。

 鴻雪科技 CTO、騰訊云TVP 孫杰

支持垂直領(lǐng)域原生訓(xùn)練的代表，北京知其安科技有限公司CEO 郭威表示，做方向性決策，應(yīng)該按照終局思維，即最終期望的效果來分析。既然微調(diào)有諸多已知且天然無法解決的問題，毫無疑問應(yīng)該選擇基于原生的垂直領(lǐng)域訓(xùn)練。垂域模型解決安全問題的優(yōu)勢(shì)有：第一，專業(yè)語料構(gòu)成的認(rèn)知壁壘。模型從誕生起就基于安全語料，有效避免通用大模型常見的幻覺問題，這就如同博士生與高中生的差別。第二，架構(gòu)靈活性與適配優(yōu)勢(shì)。更靈活，可以用更少的參數(shù)，更靈活的軟硬件架構(gòu)，能讓用戶自行開展模型治理，如數(shù)據(jù)對(duì)齊、解決污染問題。第三，數(shù)據(jù)主權(quán)可控性。特殊行業(yè)如軍工等涉及敏感數(shù)據(jù)，無法使用通用大模型進(jìn)行訓(xùn)練。第四，場(chǎng)景化成本優(yōu)勢(shì)。垂直領(lǐng)域模型所需的參數(shù)遠(yuǎn)少于通用大模型，例如工廠的缺陷檢測(cè)場(chǎng)景，用到的 yolo 算法可以完全基于CPU運(yùn)行，讓訓(xùn)練、使用成本都更低。

北京知其安科技有限公司CEO 郭威

辨題二：隱私敏感場(chǎng)景下，是否應(yīng)全面禁止大模型處理原始數(shù)據(jù)？

支持全面禁止的代表霧幟智能 CTO、騰訊云TVP 傅奎直接表示，不可控、不可逆和不接受，不能讓大模型直接處理敏感數(shù)據(jù)。第一，隨著技術(shù)的發(fā)展，個(gè)人隱私幾乎不復(fù)存在。第二，技術(shù)永遠(yuǎn)存在局限性，即使是知名大模型廠商也曾出現(xiàn)信息泄露事件，這說明當(dāng)前技術(shù)無法完全保障敏感數(shù)據(jù)的安全。第三，從倫理道德來看，個(gè)人敏感信息的泄露可能導(dǎo)致嚴(yán)重的社會(huì)后果。最后，傅奎指出在隱私敏感場(chǎng)景下有替代方案可供選擇，直接讓大模型處理原始數(shù)據(jù)風(fēng)險(xiǎn)極高，我們必須捍衛(wèi)人類的隱私權(quán)。

霧幟智能 CTO、騰訊云TVP 傅奎

支持優(yōu)先放開的代表天融信科技集團(tuán)專家 彭禎方則認(rèn)為，隨著DeepSeek的橫空出世，國家已發(fā)文鼓勵(lì)各行業(yè)利用大模型，前提是需使用原始、隱私及業(yè)務(wù)數(shù)據(jù)。其次，我們對(duì)大模型的擔(dān)心，可能源于其初期對(duì)安全措施不到位，但有了AI防火墻等新技術(shù)提供的安全保障，我們可以放心使用大模型。第三，根據(jù)數(shù)字安全法，只要獲得用戶同意，隱私數(shù)據(jù)即可被合法使用。第四，借助鑒偽技術(shù)，隱私數(shù)據(jù)泄露的風(fēng)險(xiǎn)進(jìn)一步降低。最后，如果我們不敢使用原始數(shù)據(jù)，大模型如何賦能千行百業(yè)呢？因此，大家可以放心地將隱私數(shù)據(jù)用于大模型。

天融信科技集團(tuán)專家 彭禎方

結(jié)語

在「大模型時(shí)代：安全如何洗牌」TVP AI與安全高峰論壇上，嘉賓們深入解析AI與安全融合的機(jī)遇、挑戰(zhàn)與未來發(fā)展方向，分享一線實(shí)踐經(jīng)驗(yàn)、研究成果與真知灼見，為與會(huì)者帶來深刻的啟發(fā)與實(shí)踐指導(dǎo)。

本次論壇聚焦大模型時(shí)代下AI與安全的熱點(diǎn)話題，形式多元，通過這次技術(shù)盛會(huì)，我們凝聚行業(yè)智慧，共同為構(gòu)建更加智能、安全的數(shù)字世界出謀劃策。

騰訊云TVP

TVP，即騰訊云最具價(jià)值專家(Tencent Cloud Valuable Professional)，是騰訊云授予云計(jì)算領(lǐng)域技術(shù)專家的一個(gè)獎(jiǎng)項(xiàng)。TVP 致力打造與行業(yè)技術(shù)專家的交流平臺(tái)，促進(jìn)騰訊云與技術(shù)專家和用戶之間的有效溝通，從而構(gòu)建云計(jì)算技術(shù)生態(tài)，實(shí)現(xiàn)“用科技影響世界”的美好愿景。

中國計(jì)算機(jī)學(xué)會(huì)（CCF）

中國計(jì)算機(jī)學(xué)會(huì)（CCF）成立于1962年，全國性學(xué)會(huì)，獨(dú)立社團(tuán)法人，中國科學(xué)技術(shù)協(xié)會(huì)成員，秉承會(huì)員構(gòu)成、會(huì)員治理和會(huì)員享有的理念。CCF每年舉辦千余場(chǎng)/次各種規(guī)模、層次的學(xué)術(shù)會(huì)議、產(chǎn)業(yè)與技術(shù)論壇和培訓(xùn)，開展評(píng)獎(jiǎng)、競(jìng)賽、認(rèn)證、科學(xué)普及、計(jì)算機(jī)術(shù)語審定等系列活動(dòng)。

2017年5月，CCF針對(duì)企業(yè)一線工程師對(duì)技術(shù)的強(qiáng)烈需求，創(chuàng)辦了TF技術(shù)前線。CCF TF創(chuàng)始委員由Intel、LinkedIn、Microsoft、愛奇藝、百度、滴滴、方正、瓜子、華為、京東、鏈家網(wǎng)、聯(lián)想、螞蟻金服、美團(tuán)點(diǎn)評(píng)、摩拜、360集團(tuán)、搜狗、曙光、騰訊、網(wǎng)易、微博、小米、攜程、新浪、中興等25家知名企業(yè)的技術(shù)團(tuán)隊(duì)負(fù)責(zé)人擔(dān)任。目前組建了架構(gòu)、安全、智能前端、知識(shí)圖譜、數(shù)據(jù)科學(xué)、工程師文化、算法與AI、智能制造、智能設(shè)備與交互、數(shù)字化轉(zhuǎn)型與企業(yè)架構(gòu)、研發(fā)效能、質(zhì)量工程等12個(gè)SIG（Special Interest Group） 。