科技公司并非唯一热衷于创建AI驱动聊天机器人的参与者。事实上，网络犯罪分子也加入其中。他们不仅利用生成式AI技术协助他们的活动，甚至利用这些工具发起商业电子邮件欺诈（BEC）攻击。一种名为WormGPT的工具尤其令人瞩目，这是一个专为恶意活动设计的GPT模型的黑暗版本。
WormGPT和其后出现的FraudGPT的涌现清晰地标志着一个趋势——黑客们正抓住了创建AI聊天机器人的机会，借此更加便利、更加高效地进行网络犯罪和诈骗。
善金局TAKEAWAY
• 如WormGPT和FraudGPT这些工具可以帮助创建更具说服力的钓鱼邮件和其他形式的网络诈骗，以增强其犯罪活动的有效性。
• 生成式AI允许犯罪分子以低成本大规模进行攻击，通过更加精确的定位来提高攻击的成功率。
• 使用AI防御来对抗可能是最有效的策略，包括使用AI来发现、检测和最终阻挡复杂且快速变化的AI生成内容威胁。
WormGPT：邮件诈骗高端局
全球科技公司SlashNext是多渠道网络钓鱼和人为黑客攻击方面的权威。根据SlashNext的报告，WormGPT经过各种数据源的训练，重点关注与恶意软件相关的数据，能够根据收到的输入生成类似人类的文本，并创建高度真实的假电子邮件。
网络犯罪论坛的截图揭示了恶意行为者之间关于如何部署ChatGPT来辅助成功的BEC攻击的交流，这表明目标语言流利度有限的人类黑客可以使用生成式AI来编造令人信服的电子邮件。
研究团队还对与WormGPT相关的潜在风险进行了评估，特别关注了BEC攻击，他们要求该工具生成一封电子邮件，用来向毫无戒心的账户经理施压，让他为虚假发票付款。结果显示，WormGPT不仅能够使用有说服力的语气，而且还拥有“狡猾的战略”。这些特性证明了它有发起复杂的网络钓鱼和BEC攻击的能力。
最近在网络犯罪论坛上，网络犯罪分子展示了利用
生成式AI来改进可用于网络钓鱼或BEC攻击的潜力
“就像ChatGPT，但它没有任何道德边界或限制。” 报告指出，包括WormGPT在内的生成式AI技术开发工具的出现，即使在初级网络犯罪分子手中，也凸显了其构成威胁的可能性。
报告还揭示，网络犯罪分子正在设计“越狱”工具，这些工具是专门设计的提示命令，用于操纵生成式AI接口生成可能涉及披露敏感信息、生成不当内容，甚至执行有害代码的输出。
一些雄心勃勃的网络犯罪分子甚至进一步发展，制作类似于ChatGPT使用的自定义模块帮助他们进行攻击，这一进化可能使网络防御变得更加复杂。
在SlashNext一个实验中，指示WormGPT生成一封
电子邮件迫使毫无戒心的客户经理支付欺诈性发票
“恶意行为者现在可以以零成本大规模发起攻击，并且他们可以比以前进行更加有针对性的精准攻击，”SlashNext的首席执行官Patrick Harr解释道。“如果他们首次的BEC攻击或网络钓鱼尝试不成功，他们可以简单地使用调整过的内容再次尝试。”
Harr称，生成式AI的使用将导致 “多态性攻击”，这些攻击可以以极高的速度发起。“正是这种有针对性的特性，加上攻击的频率，将真正使公司重新考虑他们的安全态度。”他说。
FraudGPT：邪恶聊天机器人
在WormGPT之后，本月安全研究人员发现了另一个邪恶的聊天机器人，这个机器人正如其诈骗的性质一样，被恰当地命名为FraudGPT。
据云安全提供商Netenrich透露，FraudGPT的开发者近期开始在一个黑客论坛上公开宣传这个恶意聊天程序。“这个前沿的工具肯定会改变社区和你的工作方式！”开发者宣称。
这个机器人提供了类似于WormGPT的功能。一个聊天框可以接收你的提示并相应地做出回应。在一个视频演示中，FraudGPT快速地输出了一条假装是银行的有效的SMS钓鱼信息。这个机器人也可以被编程来提供关于哪些网站最适合进行信用卡欺诈的情报。此外，它还可以提供未经Visa验证的银行识别号码，以帮助用户窃取信用卡权限。
FraudGPT是一种恶意AI机器人，旨在促进鱼叉式
网络钓鱼电子邮件、创建破解工具和梳理
FraudGPT的开发者似乎也在贩卖被黑客攻击的信息，如被盗的信用卡号码，同时还提供犯罪指南。因此，所有这些信息都可能被融入到聊天机器人服务中。
FraudGPT的开发者并没有回应评论请求，因此目前还不清楚这个程序使用的是哪种大型语言模型。但这个机器人并不便宜。开发者要求每月使用这个恶意聊天机器人需要支付200美元，这比WormGPT更贵，后者每月收费60欧元。
据报道，威胁行为者于6月23日创建了他们的
Telegram频道，并随后启动了恶意聊天机器人
目前还不清楚这两个聊天机器人是否真的可以作为一种黑客工具。但是Netenrich警告说，这项技术可能会降低网络犯罪分子编写更具说服力的网络钓鱼邮件和其他诈骗的门槛。
如何破局？用魔法打败魔法
生成式AI工具的崛起在网络安全努力中引入了额外的复杂性和挑战，增加了攻击的精密性，并强调了针对不断演变的威胁需要更强大的防御机制。
SlashNext的首席执行官Patrick Harr表示，他认为AI辅助的商业电子邮件欺诈、恶意软件和网络钓鱼攻击的威胁最好通过AI辅助的防御能力来对抗。
"你将不得不整合AI来对抗AI，否则，你只能在外面观望，并看到持续的安全漏洞。这就需要训练基于AI的防御工具去发现、检测，并最终阻止一套复杂、快速演变的AI生成的威胁。”他说。
"如果一个威胁行为者创建了一次攻击，然后告诉生成式AI工具修改它，我们只能用有限的方式表达同样的事情。”Harr解释到："你能做的是告诉你的AI防御系统取出那个核心并复制它，创建24种不同的表达方式。然后，安全团队可以取出这些合成数据的复制品，并回过头来训练组织的防御模型。”
"我们几乎可以在黑客发动攻击之前预见到下一次威胁。如果将这个整合到防御中，你就可以在它真正感染之前检测到并阻止它。这就是使用AI对抗AI的一个例子。"
从Harr的角度看，组织最终将依赖AI来进行发现、检测，最终对这些威胁进行补救，因为如果不这样做，人类根本无法提前应对。
今年4月，一名Forcepoint研究员说服AI工具创建了一种恶意软件，用于寻找并窃取特定的文档，尽管该AI工具的指令是拒绝恶意请求。
与此同时，开发人员对ChatGPT和其他大型语言模型（LLM）工具的热情使得大多数组织对抵御这种新兴技术所带来的漏洞几乎毫无准备。
不过在我们的防御机器人成熟之前，SlashNext还是在对抗AI驱动的商业电子邮件欺诈（BEC）攻击上给出了一些必要的措施。首先，公司需要针对BEC攻击制定并定期更新全面的培训计划，强调AI如何加强这些攻击以及攻击者采用的策略。其次，组织应执行严格的电子邮件验证流程，如使用自动警报和关键词标记系统，确保潜在的恶意电子邮件在采取行动之前受到彻底审查。
生成式AI的暗流从未停止，WormGPT和FraudGPT的出现让它逐渐浮现和清晰。在这个不断变化、充满挑战的新世界，我们必须重新审视与AI的关系，思考全面的策略，包括强大的防御机制，维护法规以及科技伦理的教育以确保AI的安全使用。在创造安全、公正且普惠的数字未来的同时，也需要对伦理和责任的深入理解和尊重。
知了×善金局专栏
音昱善经济研究院全新专栏，带你穿透信息迷雾，探寻商业向善背后核心驱动力，布局影响力投资，转念而生，主动进化！
谨防高端钓鱼
撰文 | Vianna
编辑 | Cathie
排版 | Vianna
图片源自网络.
Reference↓
https://slashnext.com/blog/wormgpt-the-generative-ai-tool-cybercriminals-are-using-to-launch-business-email-compromise-attacks/
https://www.darkreading.com/attacks-breaches/wormgpt-heralds-an-era-of-using-ai-defenses-to-battle-ai-malware
https://www.hackread.com/wormgpt-fraudgpt-ai-driven-cyber-crime
原标题：《ChatGPT的邪恶双生子正在暗网中快速传播》