豆包代码大模子，不小心给曝光了！

在字节开源的代码大模子评估基准 FullStack Bench 内部，出现了此前字节未透露过的 Doubao-Coder。

不外目下还仅仅 Preview 版，还并莫得上线。

它在多种编程言语上的性能发达如下，可以看到在闭源模子中名按序五。

本年 6 月，字节还发布了 AI 编程助手豆包MarsCode。据传即由 Doubao-Coder 模子撑捏。

目下，豆包 MarsCode 每月为用户孝敬百万量级代码。

而回到这个评估基准，据先容 FullStack Bench 是目下最全面的代码评估数据集。

团队还同步开源了可随时测评代码大模子的沙盒奉行环境 SandBox Fusion，单职业器即可部署，也可径直在线体验。

全新代码大模子评估基准 FullStack Bench

既然如斯，那就先来了解一下这个最新评估基准。

有一说一，当今代码大模子越来越卷，评估 AI 编程水平的"考卷"也被动升级 ~

代码评估基准可以匡助代码大模子束缚优化。不外，面前的主流基准越来越难以反馈代码大模子的真正水平了。

主要体当今题目类型相对单调，障翳的应用限制和编程言语少，模子即便在西宾中拿了高分，实践中可能也曾难以应付复杂的编程问题。

为了更真正地评估 AI 编程水平，字节豆包大模子团队齐集 M-A-P 社区，开源了全新代码大模子评估基准 FullStack Bench。

这是一个专注于全栈编程和多言语编程的代码评估数据集，它初度囊括了编程全栈时刻中逾越 11 类真正场景，障翳 16 种编程言语，包含 3374 个问题。

FullStack Bench 的应用限制抽取自寰球最大的活动员时刻问答社区 Stack Overflow，比较 HumanEval 等基准障翳的编程限制扩大了一倍以上。

此前业界基准难以反馈真正寰宇代码诞生的各样性和复杂性。

举例，HumanEval 和 MBPP 中近 80% 数据只聚焦于基础编程和高等编程问题；DS-1000 中逾越 95% 数据聚合于数据分析和机器学习，且仅对 Python 言语进行评测；xCodeEval 虽障翳多项任务，但基本局限于高等编程和数学限制；McEval 和 MDEval 推广了支捏的编程言语，但应用限制仍局限于基础编程和高等编程，未波及更世俗的场景。

为模拟全栈诞生的实质应用场景，字节豆包大模子和 M-A-P 商讨团队分析了寰球最大的活动员时刻问答社区 Stack Overflow 上的问题溜达，从中索要出常见的真正编程应用限制。

团队从 Stack Overflow 上马上抽取了 50 万个问题，并使用大模子为每个问题标注应用限制类型。

商讨团队筛选出占总问题数前 88.1% 的主要应用限制，其余限制归类为"其他"。再通过对限制溜达作念相宜调理来保证鲁棒性，最终酿成了 FullStack Bench 关切的逾越 11 种应用场景及溜达比例。

FullStack Bench 包含 3374 个问题（汉文及英文问题各占一半），每个问题均包括题目描画、参考处治决策、单位测试用例及标签，计较 15168 个单位测试。

为保证评估准确性，每个问题内容均由关系限制的编程内行策画，并经 AI 和东谈主工考证进行质料复核。举例，数据分析关系问题，由数据工程内行提倡并把关配套内容。

在运行数据集构建后，团队把柄主流代码大模子测试恶果，按问题难度、污秽性和可解性对数据质料进行了交叉评估和进一步完善。

FullStack Bench 数据组成情况如下图所示。

为便捷诞生者对大模子代码智力进行系统性测试，豆包大模子团队还开源了一款高效的代码沙盒奉行器具—— SandboxFusion，用于评估来自不同言语的不同编程任务。

除了 FullStack Bench，SandboxFusion 还兼容逾越 10 种世俗使用的代码评估数据集，支捏 23 种编程言语。诞生者在单职业器上即可随意部署 SandboxFusion，也可径直在 GitHub 上进行体验。

评测恶果：处治遏抑，闭源模子仍优于开源模子

发布评测基准及沙盒的同期，商讨团队也基于 FullStack Bench 测评了寰球 20 余款代码大模子及言语大模子的编程发达。

模子包括 Qwen2.5-Coder、DeepSeek-Coder-v2、CodeLlama 等开源模子，以及 GPT-4o、OpenAI-o1、Doubao-Coder-Preview 等闭源模子。关于开源模子，把柄模子大小，分为五个组别：1B+、6B+、13B+、20B+ 和 70B+。

跨限制发达：数学编程限制相反最大

收获于广漠的推明智力，OpenAI o1-preview 果不其然地率先。

不外，一些开源模子也有可以的发达。如 DeepSeekCoderv2-Instruct，在 AP ( 高等编程）、OS ( 操作系统）和其他类别中得到高分，拉开了与其他开源模子的差距。

OpenCoder-1.5B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen2.5-Coder-14B-Instruct 在其各自开源组别中拔得头筹，并罕见了一些更高参数级别的模子。

为了全面评估现有大言语模子在不同场景下的发达，商讨团队可视化了模子在 FullStack Bench 各限制的发达。

在 BP（基础编程）、AP（高等编程）、MA（数学编程）、ML（机器学习）和 MM（多媒体）等限制中，模子发达相反权贵，其中以 MA 限制的差距最大。

MA 最好发达者为 OpenAI o1-preview（得分 80.42），而最差的是 CodeLlama-34B-Instruct（得分 14.34）。数学编程条目模子同期具备数学和编程智力，那些在高度专科化代码语料库上西宾的模子，在 MA 限制每每发达较差。

这一恶果进一步诠释，FullStack Bench 好像更全面地评估模子的笼统编程智力。

跨言语发达：C++、C 和 Ruby 上存较大相反

商讨团队对不同模子在多种编程言语上的性能发达进行了分析。

大精深模子在 Bash 编程任务中发达精深。然而，在 C++、C 和 Ruby 的发达上存在较大相反，这标明模子策画者可能在西宾语料库中对这些言语进行了选用性采样。部分 1B+ 的袖珍模子在 D、R 和 Scala 言语上的发达较差，其通过率低于 10%，这标明它们的多言语处明智力王人较弱。

由于 SandboxFusion 提供了来自编译器的反馈，商讨东谈主员评估了模子在部分编程言语上的编译通过率。实验恶果标明，编译通过率与测试通过率之间存在正关系关系，但编译通过并不虞味着测试一定通过。同期，商讨还琢磨了中英文抒发对模子性能的影响。

处治遏抑，闭源模子精深优于开源模子

不同模子在不同难度问题上的发达有在赫然相反。总体而言，1B+ 模子和 CodeLlama 系列在所有难度级别上的发达均不尽如东谈见识。其余模子在处治简单问题时发达相同，但在中等难度问题上存在一定差距。关于难度较大的问题，闭源模子精深优于开源模子。

使用 SandboxFusion，可普及模子发达

商讨东谈主员对比了"反想计策（Reflection）"和" N 次揣摸计策（BoN）"两种计策。在 Reflection 计策中，通过欺诈 SandboxFusion 的反馈迤逦文对谜底进行 N 次精练，复现了自我精练计策 [ Madaan et al., 2024 ] 。而在 BoN 计策中，仅进行 N 次揣摸以获取恶果。

恶果如图所示，" Reflection "计策赫然优于" BoN "，这标明 SandboxFusion 提供的反馈迤逦文具有较高的灵验性。

了解这篇商讨的深信，可见文内 Arxiv 结合，或关切「豆包大模子团队」公众号，查阅更严防解读。

参考结合：

[ 1 ] 论文结合：https://arxiv.org/pdf/2412.00535v2

[ 2 ] 数据集开源地址：https://huggingface.co/datasets/ByteDance/FullStackBench

[ 3 ] 沙盒开源地址：https://github.com/bytedance/SandboxFusion

[ 4 ] 沙盒体验进口：https://bytedance.github.io/SandboxFusion/playground/datasets

* 本文系量子位获授权刊载，不雅点仅为作家所有。

—  完  —

量子位  QbitAI

վ ' ᴗ ' ի 跟踪 AI 时刻和家具新动态

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再见 ~