【论文速读】|理解基于大语言模型的模糊测试驱动程序生成

图片

本次分享论文:Understanding Large Language Model Based Fuzz Driver Generation

基本信息

原文作者:Cen Zhang, Mingqiang Bai, Yaowen Zheng, Yeting Li, Xiaofei Xie, Yuekang Li, Wei Ma, Limin Sun, Yang Liu

作者单位:南洋理工大学, 中国科学院信息工程研究所, 新加坡管理大学, 新南威尔士大学

关键词:模糊驱动生成,模糊测试,大语言模型

原文链接:https://arxiv.org/abs/2307.12469

开源代码:未提供

论文要点

论文简介本研究探讨了使用大语言模型(LLMs)自动生成Fuzz驱动程序的可行性与挑战。通过设计五种查询策略,从基础到增强,系统性地分析了生成Fuzz驱动程序的过程,并通过与工业界使用的驱动程序进行比较,揭示了其实用性和潜在的改进方向。

研究目的:解决Fuzz测试中驱动程序编写的自动化问题,提高生成有效Fuzz驱动程序的能力,减少人工编写的需求。

研究贡献:

(1)首次深入研究基于LLM的Fuzz驱动程序生成的有效性;

(2)设计并实现了五种生成策略,通过大规模评估验证了其有效性;

(3)构建了首个可以大规模评估生成Fuzz驱动程序的框架;

(4)与工业界使用的驱动程序进行了比较,总结了未来改进的方向。

引言

本文介绍了Fuzz测试的必要性和重要性,特别是在发现零日漏洞方面。Fuzz驱动程序是Fuzz测试不可或缺的组成部分,因为它们允许直接执行目标程序。一个有效的驱动程序必须包含正确且健壮的API使用方式,错误或不合理的使用可能会导致大量虚假的正面或负面结果,从而浪费测试资源。尽管Fuzz驱动程序通常需要由人类专家编写,这一过程既费时又费力,但通过使用LLM,研究人员可以尝试自动生成这些驱动程序,简化和加速这一过程。

研究背景

本研究背景部分详细介绍了自动化Fuzz驱动程序生成的挑战及其在安全测试中的重要性。Fuzz测试作为一种有效的软件测试方法,能够发现程序中的漏洞,尤其是那些难以通过传统测试手段发现的缺陷。然而,Fuzz测试的效率和效果很大程度上依赖于高质量的驱动程序。传统的驱动程序生成方法多依赖于手工编写或特定的程序分析工具,这不仅耗时耗力,而且难以适应日益增长的测试需求。本研究通过引入大语言模型(LLM),探索了一种新的自动化生成方法,旨在提高Fuzz驱动程序生成的自动化程度和适应性,从而更有效地支持复杂软件系统的安全测试需求。

研究方法

本研究旨在通过构建一个综合评估框架来评估不同问题生成策略对结果的影响。首先,研究探讨了基础查询策略(Research Question 1, RQ1),采用了基本的API信息和与大语言模型(LLM)的初步互动。其次,研究扩展至更复杂的查询策略(Research Question 2, RQ2),这些策略不仅涉及了更广泛的API应用,还引入了交互式查询功能。进一步地,研究比较了由LLM生成的模糊测试驱动程序与开源软件Fuzzing工具(OSS-Fuzz)生成的驱动程序,深入分析了它们在生成测试用例时的效能和局限性(Research Question 3, RQ3)。这些方法相互补充,共同构成了一个全面的实验设计,旨在评估生成策略的有效性。

研究策略

基本策略:基本策略主要针对简单的API信息进行一次性查询,即仅使用API的基础数据如函数声明和头文件名称。这种策略的目的是快速生成基础但可行的Fuzz驱动程序,用于初步的Fuzz测试。基本策略适用于API使用较为直接和简单的情况,能够在没有复杂依赖或深入API细节知识的情况下快速产生结果。

图片

增强策略:为了处理更复杂的API使用场景并提高生成的Fuzz驱动程序的质量,研究团队设计了多种增强策略。这些策略包括:

图片

1. 利用API文档:通过整合API的官方文档信息,增强策略能够提供更丰富的上下文,帮助模型更准确地理解API的功能和使用方法。这种策略特别适用于API文档详尽且结构化良好的情况。

2. 引入示例代码:将实际的API使用示例代码纳入查询中,可以显著提升模型生成代码的实用性和准确性。示例代码提供了具体的使用场景,使得模型能够在生成过程中模仿这些实际应用,从而生成更加有效和实用的驱动程序。

3. 交互式查询:通过与模型进行交互式对话,逐步调整和优化查询内容,增强策略能够在生成过程中不断纠正和改进,适应复杂的编程需求。这包括基于先前生成结果的反馈进行迭代查询,以细化和优化驱动程序。

驱动程序

在这篇论文中,驱动程序部分详细探讨了如何利用大语言模型(LLM)自动生成Fuzz测试的驱动程序。研究首先基于基本API信息进行单次查询,这是最简单的策略。为了提升生成效果,研究者引入了增强策略,比如结合API的文档和示例代码进行查询,以及与模型的交互式对话,使得生成的驱动程序更加准确和实用。通过这种方式,生成的驱动程序能够在实际的Fuzz测试中表现出较高的有效性和竞争力,从而显著提高了测试的自动化和效率。这项研究展示了利用语言模型处理复杂编程任务的潜力,为自动化软件测试领域带来了新的技术突破。

图片

论文结论

在本论文中,作者首次深入研究了利用大语言模型(LLM)生成Fuzz驱动程序的实用性和挑战。通过设计和实施了基础到增强的多种查询策略,验证了这些策略在自动生成驱动程序中的有效性。研究结果表明,利用LLM进行驱动程序生成显示出了良好的实用性和竞争力。64%的问题可以完全自动解决,如果加入手动的语义验证,这一比例可以提高到91%。然而,研究也揭示了该方法在处理需要复杂API使用细节的驱动程序时的局限性。未来的工作将聚焦于如何通过自动化语义正确性验证、扩展API使用及优化查询策略等方面来进一步提升系统的性能和实用性。

原作者:论文解读智能体

校对:小椰风

图片

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2990507.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

13.电子产品拆解分析-插排带3USB

13.电子产品拆解分析-插排带3USB 一、功能介绍二、电路分析以及器件作用1、三个插座之间通过电线连接,总开关控制火线2、通过FSD3773低待机功耗原边反馈AC/DC驱动芯片控制5V的输出一、功能介绍 ①一键控制总电源开关;②带三路USB输出;③最大支持2500W输出,10A输出电流;④8…

排序算法-计数排序

一、计数排序 这种排序算法 是利用数组下标来确定元素的正确位置的。 如果数组中有20个随机整数,取值范围为0~10,要求用最快的速度把这20个整数从小到大进行排序。 很大的情况下,它的性能甚至快过那些时间复杂度为O(nlogn)的排序。…

汽车底盘域的学习笔记

前言:底盘域分为传统车型底盘域和新能源车型底盘域(新能源系统又可以分为纯电和混动车型,有时间可以再研究一下) 1:传统车型底盘域 细分的话可以分为四个子系统 传动系统 行驶系统 转向系统 制动系统 1.1传动系…

Golang | Leetcode Golang题解之第52题N皇后II

题目: 题解: func totalNQueens(n int) (ans int) {columns : make([]bool, n) // 列上是否有皇后diagonals1 : make([]bool, 2*n-1) // 左上到右下是否有皇后diagonals2 : make([]bool, 2*n-1) // 右上到左下是否有皇后var backtrack func(int)…

git如何查询回退之前的提交记录

git如何查询回退之前的提交记录 使用 git reflog 命令: 使用 git reflog 命令: git refloggit reflog 显示的是你的本地引用日志,它包含了所有HEAD指向变更的历史记录,即使那些已经被删除的提交也会出现在这里。当你误操作回退并…

【QA】Git的底层原理

前言 本文通过一个简单的示例,来理解Git的底层原理。 示例 1、新建本地仓库并上传第一个文件 相关步骤: 新建仓库及创建文件查看文件状态将文件添加到暂存区将文件提交到本地仓库 HMTeenLAPTOP-46U4TV6K MINGW64 /d/GSF_Data/Github/Java/Git/git-…

国产麒麟v10系统下打包electron+vue程序,报错unknown output format set

报错如下: 报错第一时间想到可能是代码配置原因报错,查看代码似乎感觉没啥问题 又查看具体报错原因可能是因为icon的原因报错,后面查阅发现ico在各系统平台会不兼容,也就是ico是给win下使用的,此处改下图标格式就ok&am…

生成扩散模型漫谈:信噪比与大图生成(下)

©PaperWeekly 原创 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 上一篇文章《生成扩散模型漫谈:信噪比与大图生成(上)》中,我们介绍了通过对齐低分辨率的信噪比来改进 noise schedule,从而改善直接…

Flutter应用下拉菜单设计DropdownButtonFormField控件介绍

文章目录 DropdownButtonFormField介绍使用方法重点代码说明属性解释 注意事项 DropdownButtonFormField介绍 Flutter 中的 DropdownButtonFormField 是一个用于在表单中选择下拉菜单的控件。它是 DropdownButton 和 TextFormField 的组合,允许用户从一组选项中选择…

Unity类银河恶魔城学习记录15-1,2 p153 Audio Manager p154 Audio distance limiter

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释,可供学习Alex教程的人参考 此代码仅为较上一P有所改变的代码 【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibili AudioManager.cs using System.Collections; using System.Collections.Gen…

uniapp制作分页查询功能

效果 代码 标签中 <uni-pagination change"pageChanged" :current"pageIndex" :pageSize"pageSize" :total"pageTotle" class"pagination" /> data中 pageIndex: 1, //分页器页码 pageSize: 10, //分页器每页显示…

【iconv】Linux c++ 中文字符串转十六进制 GBK 编码/内码

文章目录 问题描述c 代码CMakeLists.txt参考链接 问题描述 Linux 系统默认使用的是 UTF-8 编码&#xff0c;并且 c 中没有标准库可以直接将中文字符转为 GBK 编码/内码。因此需要借助 iconv 库来实现。 在实现代码之前&#xff0c;可以在一下在线工具网站进行中文字符到各个编…

Java根据模板动态生成Pdf(添加页码、文件加密、Spire免费版本10页之后无法显示问题、嵌入图片添加公章、转Base64)

Java根据模板动态生成Pdf&#xff1a;添加页码、文件加密、Spire免费版本10页之后无法显示问题、嵌入图片添加公章、转Base64 引言【Java根据模板动态生成Pdf资源地址】示例一&#xff1a;动态生成带页码的PDF报告示例二&#xff1a;加密PDF以保护敏感信息示例三&#xff1a;应…

「51媒体」城市推介会,地方旅游推荐,怎么做好媒体宣传

传媒如春雨&#xff0c;润物细无声&#xff0c;大家好&#xff0c;我是51媒体网胡老师。 城市推介会和地方旅游推荐是城市形象宣传的重要组成部分&#xff0c;通过有效的媒体宣传可以提升城市的知名度和吸引力。&#xff1a; 一&#xff0c;活动内容层面&#xff1a; 突出亮点…

qt5core.dll怎么下载,qt5core.dll丢失能否修复?

qt5core.dll的丢失真是让人头疼。这个Visual C Redistributable for Visual Studio 2015的运行时库被许多程序和游戏所依赖&#xff0c;一旦缺失了qt5core.dll&#xff0c;就会面临无法打开程序或游戏&#xff0c;甚至系统崩溃等一系列问题。 qt5core.dll的消失会带来以下麻烦 …

【React】Sigma.js框架网络图-入门篇(2)

通过《【React】Sigma.js框架网络图-入门篇》有了基本认识 由于上一篇直接给出了基本代码示例&#xff0c;可能看着比较复杂也不知道是啥意思&#xff1b; 今天从理论入手重新认识下&#xff01; 一、基本认识 首先&#xff0c;我们先了解下基础术语&#xff1a; 图(Graph)&…

echarts地图叠加百度地图底板实现数据可视化

这里写自定义目录标题 echarts地图叠加百度地图实现数据可视化echarts地图叠加百度地图实现数据可视化 实现数据可视化时,个别情况下需要在地图上实现数据的可视化,echarts加载geojson数据可以实现以地图形式展示数据,例如分层设色或者鼠标hover展示指标值,但如果要将echa…

城市建筑轮廓矢量边界、建设用地数据、城市道路网分布、城市土地利用规划分布、土地利用数据、城市绿地分布

数据下载链接&#xff1a;数据下载链接 中国主要城市建筑底面轮廓和建筑高度空间分布数据&#xff0c;包括省会城市、地级市及县级市等主要城市。城市建筑底面轮廓和建筑高度数据&#xff0c;数据坐标为 WGS84地理坐标&#xff0c; 数据格式为 SHP 文件。数据范围基本覆盖城市…

更新!!!Unity移动端游戏性能优化简谱

UWA官方出品&#xff0c;结合多年优化经验撰写了《Unity移动端游戏性能优化简谱》&#xff0c;文章从Unity移动端游戏优化的一些基础讨论出发&#xff0c;例举和分析了近几年基于Unity开发的移动端游戏项目中最为常见的部分性能问题&#xff0c;并展示了如何使用UWA的性能检测工…

.NET Core Swagger运行异常

遇到的问题 因为新增了一个控制器方法&#xff0c;从而导致在运行Swagger的时候直接报错&#xff0c;异常如下&#xff1a; SwaggerGeneratorException: Conflicting method/path combination "POST api/UserOperationExample" for actions - WebApi.Controllers.Us…