AReaL-boba— 蚂蚁联合清华开源的强化学习训练框架

发布时间：2025-04-01

点击次数：

areal-boba：一款高效开源强化学习训练框架

AReaL-boba是由蚂蚁技术研究院和清华大学联合打造的开源强化学习训练框架，它基于AReaL框架进行了升级，显著降低了强化学习训练的门槛，让用户能够更轻松地训练高性能推理模型。该框架不仅训练速度快，还支持多种计算资源，并通过创新优化技术大幅提升了训练吞吐量。值得一提的是，其7B模型在数学推理任务中表现突出，刷新了AIME分数纪录。更重要的是，AReaL-boba全面开源了训练数据、脚本和模型，甚至仅需200条数据和200美元的成本，就能在32B模型规模上复现QwQ-32B的推理效果，极大地推动了强化学习技术的普及。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AReaL-boba— 蚂蚁联合清华开源的强化学习训练框架

AReaL-boba核心功能：

高效训练： 凭借对SGLang推理框架的优化和适配，AReaL-boba实现了显著的训练吞吐量提升，并支持从小规模到大型分布式训练。
卓越推理能力： 在数学推理等任务上表现卓越，其7B模型在AIME基准测试中创下了同尺寸模型的新纪录。
低资源需求： 利用创新的数据蒸馏技术，AReaL-boba仅需少量数据即可复现高性能模型的推理效果，大幅降低了训练成本。
完全开源： 提供完整的代码、数据集、训练脚本和评估脚本，确保结果可复现，方便开发者学习、使用和改进。

AReaL-boba技术原理概述：

AReaL-boba的核心技术基于强化学习、SGLang推理框架集成、工程优化和数据蒸馏技术。它利用强化学习算法优化模型行为，通过与环境交互学习最优策略，提升语言模型的生成能力和特定任务表现。同时，集成SGLang推理框架提升了计算效率，工程优化则进一步提升了训练吞吐量。最后，数据蒸馏技术有效减少了训练所需的数据量。