阅读： 781
2022年底ChatGPT风潮席卷全球。ChatGPT在OpenAI开放测试后仅仅两个月用户数量便达到1亿，并在各行各业受到了巨大的关注，获得了普遍正面的评价。ChatGPT不仅能够以非常自然的词句与人类用户交流，保持聊天过程的上下文状态，而且在信息行业多个应用领域测试的效果也非常令人惊艳，例如，按照用户的要求编写代码等。从绿盟科技的网络舆情分析中心得到ChatGPT话题和文章的数据可以看出，在2022年12月ChatGPT在发布之初话题讨论和文章发布的情况就呈现了增长态势。此前，微软宣布将对OpenAI进行为期数年、价值数十亿美元的投资，随后全球资本市场ChatGPT相关概念股表现强势。谷歌、微软等国外公司发布类ChatGPT项目，却因为相关产品引发的回答错误等问题导致ChatGPT概念股大起大落。春节复工后，ChatGPT的效果逐渐被各行各业认可，这把火也烧到了港股和A股。国内很多公司相继声称做类ChatGPT的产品，也有公司公布了其产品的上线时间表。此外，科技圈已功成名就的大佬美团联合创始人王慧文也按捺不住，其本希望携巨资下场加入合适的公司，而后决定再次创业。国内外这些事件导致ChatGPT几个月的热度不降，话题数量与文章数量均于2023年2月14号达到顶峰，目前开始有所回落。
结合知识图谱和自然语言处理技术对国内外相关源数据的爬取并统计分析处理后，发现相关ChatGPT话题类别和关键词中也不乏网络安全的内容。关于ChatGPT对于网络安全行业会产生怎样影响的讨论越来越多，主要集中在四个方面，攻击方面、安全隐私方面、社会影响方面以及赋能产品方面。早在ChatGPT发布初期，绿盟科技就发布了《ChatGPT在信息安全领域的应用前景》[2]等文章，对ChatGPT在网络安全领域中的应用做了详细的评估，例如，ChatGPT生成漏洞利用代码、逆向分析、安全检查和漏洞挖掘以及安全告警评估等。目前，无论是绿盟科技还是相关从业人员均发布了许多案例测试ChatGPT恶意软件生成以及撰写网络钓鱼电子邮件等功能。相关测试结果表明，虽然，ChatGPT在很多情况下确实给出了准确回答，例如生成钓鱼邮件以及对于包含明显操作系统命令、编程语言函数和关键字的告警研判等方面。但是，ChatGPT也存在效果不稳定和效果差的情况，例如：对于非文本类的载荷（比如序列化数据、ELF片段等）等进行解释，以及复杂代码撰写等。
目前，ChatGPT的能力仍不能达到或超越具有专业知识和经验的安全领域从业人员，其起到的作用主要是提高安全领域从业人员的效率。绿盟科技推出的安全智能分析技术白皮书《智能基座，开启安全分析新时代》[1]中曾指出网络安全行业中AI模型在真实场景的落地受限于诸多因素，导致一些其他领域效果较好的人工智能模型在网络安全领域的效果不尽人意。由于ChatGPT相比与之前人工智能聊天机器人，知识更加丰富，关联上下文能力强大，并可以在各个细分领域下针对提问给出有效的回复。随着ChatGPT技术的发展，其对于网络安全产品中人机交互模块会起到明显的推动作用。后续如果能开发出网络安全领域中效果较佳的类ChatGPT产品，辅助或者独立执行一些网络安全任务，就表明真正变革网络安全领域的AI技术很可能终于要到来了。
研究人员[3-4]指出LLM模型具备某种“涌现能力”，如果一种能力没有出现在较小的模型中，而是出现在较大的模型中，那么这种能力就是涌现，并将其分类为few-shot prompting和augmented prompting strategies。通常当模型参数规模未能达到某个阀值时，模型基本不具备解决此类任务的任何能力，体现为其性能和随机选择答案效果相当，但是当模型规模跨过阀值，LLM模型对此类任务的效果就出现突然的性能增长。但是在研究人员的实验结果中可以看出目前在BIG-Bench中数十个任务中语言模型还有很多不能通过涌现实现的能力，在这些任务中最大的GPT-3和PaLM模型都不能实现高于随机的表现。研究人员还在继续研究为什么BIG-Bench一些抽象推理类的任务中涌现能力没有出现。因此，即使目前有很多涌现能力的例子，但是对于这种能力为什么会以这种方式出现还没有令人信服的解释。随着升级版必应和Bard的拉跨，LLM模型的前景也不断被讨论。其中，影响力最大的发言来自于图灵奖得主Yann LeCun。LeCun表示LLM在实现人类水平AI方面扮演的角色有限。LeCun等学者认为最终会有更好的系统出现，但是不会是LLM。目前， ChatGPT还处于高速发展中，本身技术存在一些不足，并且在网络安全领域应用AI技术赋能相关产品也不是新鲜事。但是，ChatGPT在网络安全领域的影响还是超过以往的人工智能技术，被诸多网络安全公司所关注。从ChatGPT在网络安全领域展示的能力可以看出，在困难告警研判和复杂代码分析生成等方面ChatGPT远远不能和人类相比。但是，作为一个通用自然语言处理工具，ChatGPT在代码相关问答中具备让人们感到惊喜的推理能力，能协助网络安全从业人员处理网络安全事件，相较于其他工具已经是一个重大技术突破。LLM擅长与代码相关任务的原因在于程序可操纵的变量的状态是有限的、离散的、确定的和完全可观察的。LLM推理相关工作包括基于Prompt的方法和在预训练过程中引入程序代码的方法。前者是通过合适的提示语或提示样本，更好地激发出LLM本身就具备的推理能力，后者是利用代码增强LLM推理能力，增加多样性的训练数据，直接增强LLM推理能力。当LLM能综合运用网络安全领域的相关知识点，具备强大推理能力，才是网络安全领域所期待LLM模型具备的“涌现能力”。
LLM模型站在现在这个时刻还完全没有能力去解决网络安全领域中一些复杂任务，由于其具备“涌现能力”，一旦持续投入，某天在网络安全领域的任务中“涌现能力”解锁后，会给网络安全领域一个惊喜，引领网络安全领域的变革。这种能力的解锁，需要多方面的投入。其中，扩大模型的规模和数据的规模可以增加语言模型的能力，但是此类方案的成本是昂贵的。尤其是在网络安全领域，无论是计算资源的投入还是网络安全数据的获取和梳理都面临巨大的挑战，例如：数据治理方面，网络安全领域可用数据集的质量远远小于自然语言处理等领域。因此，让网络安全领域的模型具备“涌现能力”的方案可以考虑改善现有模型的架构，例如：稀疏混合专家架构，通过局部的学习策略等。此外，对prompting通用性技术的优化进一步扩展语言模型的能力也是可以考虑的方案。随着LLM发展，如何促进其在网络安全领域的任务中具备“涌现能力”还有很长的路要走，这需要网络安全人员共同探索。
尽管存在上述多种问题和难点,网络安全行业依旧期待ChatGPT将驱使网络安全从目前的 “劳动密集型”产业重回“技术密集型”产业。随着ChatGPT的不断发展，如何让一名网络安全从业人员完成多人的工作，使ChatGPT在告警研判，漏洞挖掘，规则生成，软件开发，威胁检测等多个方面真正的为安全从业人员提供帮助，是网络安全产业转型的重要驱动力之一。因此，需要在网络安全领域建设网络安全领域不同任务的评测数据集，定义网络安全领域涌现能力的指标等。此外，在使用LLM技术的时候也需要认识到其不足，例如：few-shot prompting并没有包含在预训练中，但是能够通过涌现来实现，那么相关风险存在以类似的方式出现的可能性。在网络安全领域中模型出错的风险相较于其他场景可能会带来更大的损失。只有基于真实的网络安全数据和场景，不断的促进LLM技术在网络安全领域前进，才能将LLM的能力应用到网络安全领域。使用ChatGPT可以帮助网络安全从业人员一定程度地提高工作效率，但是也会引入数据安全问题。例如，数据泄露的隐患，据硅谷媒体报道，亚马逊在ChatGPT生成的内容中发现了与公司机密“非常相似”的文本,如何防范其安全性问题也是各行各业所需要考虑的。后续绿盟科技将发布分析ChatGPT本身数据和模型所面临安全问题的相关文章，敬请期待。
总之，ChatGPT在各行各业的广泛应用可以看作“新的iPhone时刻“到来，也期待其可以打开网络安全领域新世界的大门。
[1] 绿盟科技，《智能基座，开启安全分析新时代》，2022[2] 绿盟科技,《ChatGPT在信息安全领域的应用前景》，2022
[3] Emergent Abilities of Large Language Models，https://arxiv.org/pdf/2206.07682.pdf
[4] 张俊林 ，《通向AGI之路：大型语言模型（LLM）技术精要》，2023
版权声明
本站“技术博客”所有内容的版权持有者为绿盟科技集团股份有限公司（“绿盟科技”）。作为分享技术资讯的平台，绿盟科技期待与广大用户互动交流，并欢迎在标明出处（绿盟科技-技术博客）及网址的情形下，全文转发。
上述情形之外的任何使用形式，均需提前向绿盟科技（010-68438880-5462）申请版权授权。如擅自使用，绿盟科技保留追责权利。同时，如因擅自使用博客内容引发法律纠纷，由使用者自行承担全部法律责任，与绿盟科技无关。
