iSE实验室博士生刘佳玮在深度学习库测试方面取得新进展

iSE实验室博士生刘佳玮在深度学习库测试方面取得新进展

深度学习库封装了人工智能领域的复杂算法,极大地优化了人工智能软件的开发与部署,是支撑人工智能软件的重要基础架构。近年来,人工智能技术的全面发展也推动了学术界和工业界对于深度学习库测试的密切关注,深度学习库的质量保障已成为一项迫切而必要的需求,而差分模糊测试技术也成为了测试深度学习库所采用的主流方法。但是,随着深度学习库不断被使用在多领域、多任务的场景下,对于已有的深度学习库差分模糊测试方法而言,它们是否依旧能展现出积极作用?在测试深度学习库时,模糊测试所采用的各种策略对于测试的有效性会有什么样的影响?在引入差分测试后,现有方法又能发现哪些错误?这些重要问题直接影响深度学习库及相关软件的质量,进而影响整个人工智能生态,却未得到妥善解决。



为了解决上述问题,iSE实验室房春荣老师指导博士生刘佳玮,首次通过全面的实证研究探索了现有的差分模糊测试方法在测试深度学习库方面的实际表现,发现现有方法:(1)极大地约束了测试输入的多样性,(2)限制了其在不同领域、不同任务上的测试有效性,(3),忽视了不同深度学习库之间的固有差异,产生了差分测试偏差,导致了大量的误报。为了突破现有方法局限性,本研究提出了首个基于启发式生成的深度学习库模糊测试方法。该方法创造性地引入了深度学习模型的上下文无关语法,实现了基于生成的深度学习库模糊测试方法来确保多种场景下的测试有效性;进一步引入强化学习技术来引导测试生成,显著提高了测试输入的多样性;同时,利用等价蜕变关系来移除不同深度学习库固有差异带来的影响,从而极大地减少了测试的误报。


该研究深入探索了差分模糊技术在深度学习库测试领域的问题,对人工智能软件的发展具有重要意义,值得后续研究人员的持续关注。该工作相关研究成果《 Generation-Based Differential Fuzzing Testing for Deep Learning Library 》已被软件工程领域顶级国际期刊 ACM Transactions on Software Engineering andMethodology( TOSEM, CCF - A 类期刊 )全文录用,南京大学为第一单位。


刘佳玮同学由陈振宇老师和房春荣老师共同指导,主要研究方向为智能软件测试,研究成果先后发表在 ISSTA、TOSEM 等权威国际学术会议和期刊。