蚂蚁集团最新消息：开源代码大模型CodeFuse提升编程效率

蚂蚁集团最新消息，在9月8日的外滩大会分论坛上，蚂蚁集团首次开源了代码大模型CodeFuse。这是蚂蚁集团自研的代码生成专属大模型，能够根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释，自动生成测试用例，修复和优化代码等，以提升研发效率。

不论用户是初学者还是有经验的开发者，CodeFuse都能够极大地提高编程效率和准确性，让人人可编程、可创新成为现实。CodeFuse基于蚂蚁基础大模型研发，在最近的代码补全的HumanEval评测中，CodeFuse得分74.4%，超过了GPT-4(67%)和WizardCoder-34B(73.2%)，在开源模型中位于国际前列。

本次开源内容包括代码框架、模型等，已经上架相关平台，模型可在HuggingFace进行下载。代码框架部分包括自研的多任务微调(Multi-task fine-tuning，缩写为MFT)框架。MFT支持代码生成、代码翻译、测试用例生成、bug修复等十个任务一起微调，充分利用多任务之间的信息互补，通过创新的loss设计处理不同任务之间收敛难易不均衡的难题，最终取得比单任务微调SFT更好的效果。MFT微调框架支持蚂蚁自研模型，以及多个开源大模型的代码能力微调。同时，框架内含创新的微调数据打包技术，提升微调速度约8倍，并使用多重部署优化技术，使推理加速约2倍。模型部分包括CodeFuse-13B和CodeFuse-CodeLlaMa34B-MFT两个大模型。模型训练过程中，CodeFuse使用了程序分析校验技术，对高质量代码数据进行筛选，并构建了代码领域专用字典，编码平均长度低10%+。

早在2022年1月，蚂蚁集团内部成立了代码智能生成专项，随着公司整体战略的推进，在统一软硬件基础设施支持下，从零到一训练了多个代码大模型。最终基于13B版本，打造了CodeFuse，并在今年6月开始内测，用以真实开发环境。CodeFuse可以助力开发者低门槛编程，例如用自然语言编写H5小游戏、快速开发支付宝小程序等。

通过蚂蚁集团的开源行动，CodeFuse代码大模型的发布将在编程领域带来革命性的变革，提升开发者的效率和准确性。无论是初学者还是有经验的开发者，都可以通过CodeFuse实现更加高效的编程工作。这项创新技术的推出，将进一步推动互联网开放平台的发展，为用户提供更便捷、智能的数字生活服务。

蚂蚁集团是一家诞生于2004年的互联网公司，起步于支付宝，致力于解决社会的信任问题。经过18年的发展，蚂蚁集团已经成为世界领先的互联网开放平台。通过科技创新，蚂蚁集团为合作伙伴、消费者和小微企业提供普惠便捷的数字生活和数字金融服务。同时，蚂蚁集团持续开放产品与技术，助力企业的数字化升级与协作，并在全球范围内广泛合作，为当地商家和消费者提供服务。