Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

自去年ChatGPT上線以來,就不斷受到全球各界人士關注。在本月,ChatGPT宣布其成為IT史上最快達成月活用戶超一億的應用。對比54個月達成過億月活用戶的Facebook,以及9個月用戶過億的抖音國際版,ChatGPT這一成就

自去年ChatGPT上線以來,就不斷受到全球各界人士關注。在本月,ChatGPT宣布其成為IT史上最快達成月活用戶超一億的應用。對比54個月達成過億月活用戶的Facebook,以及9個月用戶過億的抖音國際版,ChatGPT這一成就可謂前無古人,而這也正印證了AI技術的無限可能。在我國,ChatGPT相關話題也于近日登上熱搜,一眾AI相關公司也受到資本市場熱捧。

然而,對于網(wǎng)絡犯罪分子如何利用 OpenAI 平臺,特別是 ChatGPT 來生成釣魚郵件和惡意軟件等惡意內容,業(yè)界眾說紛紜,且已有頗多研究。在 Check Point Research (CPR) 今年初的報告中,描述了使用 ChatGPT 完成的一個完整的感染流程:從創(chuàng)建令人信服的魚叉式網(wǎng)絡釣魚電子郵件到運行能夠接受英文命令的反向 shell。 

CPR 研究人員最近發(fā)現(xiàn)了一個網(wǎng)絡犯罪分子使用 ChatGPT 來“改進”一款簡易 Infostealer 惡意軟件代碼的實例。該惡意軟件最早出現(xiàn)于 2019 年,雖然其代碼并不復雜,也不難創(chuàng)建,但 ChatGPT 對其代碼進行了優(yōu)化。

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 1.網(wǎng)絡犯罪分子使用 ChatGPT 來改進 Infostealer 的代碼

使用 OpenAI 模型

截至目前,可通過兩種方法訪問和使用 OpenAI 模型:

1、Web 用戶界面——用于使用 ChatGPT、DALLE-2 或 OpenAI Playground。

2、API——用于構建應用、流程等。你可以使用自己的用戶界面,在后臺運行 OpenAI 模型和數(shù)據(jù)。

下面的示例顯示了已將 OpenAI 的 API 模型整合到旗下應用的合法品牌。

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 2.使用 OpenAI 的 API 模型的品牌

阻礙惡意內容創(chuàng)建的障礙

作為內容政策的一部分,OpenAI 設置了相關障礙和限制,以阻止在其平臺上創(chuàng)建惡意內容。ChatGPT 在其用戶界面上設置了一些限制來防止模型的濫用。舉例來說,如果用戶要求 ChatGPT 編寫一封冒充銀行的釣魚郵件或創(chuàng)建一個惡意軟件,系統(tǒng)將不會執(zhí)行。

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 3.ChatGPT 對濫用請求的響應示例

繞過限制創(chuàng)建惡意內容

然而,CPR 表示,網(wǎng)絡犯罪分子正想方設法繞過 ChatGPT 的限制。在地下論壇上有關如何使用 OpenAI API 來繞過 ChatGPT 障礙和限制的討論帖不斷激增。

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 4.網(wǎng)絡犯罪分子對通過 API 將 ChatGPT 整合到其 Telegram 頻道中表現(xiàn)出興趣

當前版本的 OpenAI API 雖為外部應用所使用(例如,將 OpenAI 的 GPT-3 模型整合到 Telegram 頻道中),但幾乎沒有任何防濫用措施。它并未實施 ChatGPT 在其用戶界面上設置的限制或障礙,允許創(chuàng)建釣魚郵件和惡意軟件代碼等惡意內容。

例 1——Telegram OpenAI 機器人即服務

在一個地下論壇上,CPR 發(fā)現(xiàn)有網(wǎng)絡犯罪分子正在宣傳一項新創(chuàng)建的服務:支持無限制地使用 OpenAI API 的 Telegram 機器人。

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 5.宣傳 Telegram OpenAI 機器人的地下論壇廣告

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 6.在利用 OpenAI API 的 Telegram 機器人中創(chuàng)建的釣魚郵件示例

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 7.在利用 OpenAI API 的 Telegram 機器人中創(chuàng)建無防濫用限制的惡意軟件代碼的示例

作為商業(yè)模式的一部分,網(wǎng)絡犯罪分子可以使用 ChatGPT 進行 20 次免費查詢,此后每 100 次查詢需支付 5.50 美元。

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 8.基于 OpenAI API 的 Telegram 頻道的商業(yè)模式

例 2——網(wǎng)絡犯罪分子提供的一個可繞過防濫用限制的簡單腳本

網(wǎng)絡犯罪分子創(chuàng)建了一個使用 OpenAI API 來繞過防濫用限制的簡單腳本。

Check Point: 網(wǎng)絡犯罪分子繞過 ChatGPT 的限制,生成惡意內容

圖 9.可直接查詢 API 并繞過限制來開發(fā)惡意軟件的腳本示例

通過這些案例,Check Point觀察到網(wǎng)絡犯罪分子不斷探索如何利用 ChatGPT 來滿足其開發(fā)惡意軟件和創(chuàng)建釣魚郵件的需求。隨著 ChatGPT 控制措施的改進,網(wǎng)絡犯罪分子也將不斷尋找新的方法來使用 OpenAI 模型。因此可以預見,隨著AI技術的不斷落地,網(wǎng)絡犯罪分子的“技術成本”將進一步降低;隨之而來的網(wǎng)絡攻擊數(shù)量也將不斷增長。因此,以預防為主、以AI對抗AI的網(wǎng)絡安全模式可能將成為未來幾年的主要發(fā)展趨勢。

(本內容屬于網(wǎng)絡轉載,文中涉及圖片等內容如有侵權,請聯(lián)系編輯刪除。市場有風險,選擇需謹慎!此文僅供參考,不作買賣及投資依據(jù)。)

原創(chuàng)文章,作者:陳晨,如若轉載,請注明出處:http://m.2079x.cn/article/568492.html

陳晨陳晨管理團隊

相關推薦