乐鱼体育平台冠名大巴黎

近日，在乐鱼体育平台冠名大巴黎王焱林老师的指导下，2021级本科生龚敬、2021级本科生吴仰晖和2022级本科生梁琳茜以共同一作身份投稿的学术论文“CoSQA?:Enhancing Code Search Evaluation with a Multi-Choice Benchmark and Test-Driven Agents”被软件工程领域的国际顶级期刊IEEE Transactions on Software Engineering （TSE）2025接收。

期刊简介

IEEE Transactions on Software Engineering （TSE），全称为IEEE软件工程汇刊，是软件工程领域的旗舰级学术期刊，由IEEE计算机学会主办。在中国计算机学会（CCF）的国际学术期刊排名中，TSE为软件工程领域的A类顶级期刊，也是该领域公认的国际权威期刊之一。TSE专注于发表软件工程领域具有创新性、深度和实践价值的研究成果，涵盖软件设计、开发、测试、维护、质量保证等多个方向，对推动软件工程学科的理论发展与产业应用具有重要影响力。

成果介绍

语义代码搜索旨在根据自然语言查询检索功能匹配的代码，是提升软件开发效率的关键技术。然而，现有代码搜索基准（如CoSQA、CodeSearchNet）普遍遵循“单一正确代码”的评估范式，这与现实开发场景严重脱节。调查表明，开发者每次查询平均需参考近3个代码示例，且超过60%的查询天然对应多个有效代码片段，突显出对多选择基准的迫切需求。当前构建此类基准面临严峻挑战：依赖人工标注存在可扩展性瓶颈与主观判断误差；而现有基于大语言模型的自动标注方法虽提升了规模，却因缺乏功能验证，难以保证标注的准确性。这些局限性导致现有基准无法有效支撑多选择代码搜索模型的训练与评估。

为应对上述挑战，我们提出了CoSQA?——一个专为多选择代码搜索设计的大规模基准，并引入了创新的测试驱动智能体以实现高质量自动标注。我们的解决方案构建于一个全自动流水线之上（如下图所示）。首先从CoSQA和CodeSearchNet收集真实的查询与Python代码，随后通过多模型集成策略为每个查询筛选出Top-20高置信度候选代码，最后用测试驱动智能体对候选代码进行精准标注。测试驱动智能体通过“初步筛选器”快速判定明确案例，对模糊案例则启动“测试程序生成器”创建可执行测试，并由“测试执行器”在隔离环境中运行验证，辅以“错误修复器”解决依赖问题，最后由“最终仲裁器”依据测试结果等信息作出判断。该方法将标注依据从主观的语义理解转变为客观的功能验证，达到了93.9%的标注准确率，从而成功地构建了首个高质量、大规模的多选择代码搜索基准。

指导老师

竞彩网中国体育彩票竞猜构建以全程导师制为基础的学术育人体系，三位同学在本科阶段加入了竞彩网中国体育彩票竞猜王焱林老师的课题组，接受全面的科研训练和开展学术研究。

王焱林，助理教授，硕士生导师。2022年