Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Lawv6.37.95.36

Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law游戏介绍

⚾2025-10-21 03:23 「百科/秒懂百科」【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law】🍓支持:32/64bi🐯系统类型:(官方)官方网站IOS/Android通用版/手机APP(2024APP下载)《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

🏈2025-10-20 21:31 「百科/秒懂百科」【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law】🍌支持:32/64bi🦈系统类型:(官方)官方网站IOS/Android通用版/手机APP(2024APP下载)《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

🏊2025-10-20 20:14 「百科/秒懂百科」【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law】🐳支持:32/64bi🍒系统类型:(官方)官方网站IOS/Android通用版/手机APP(2024APP下载)《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

🦈2025-10-21 00:06 「百科/秒懂百科」【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law】🐰支持:32/64bi🐍系统类型:(官方)官方网站IOS/Android通用版/手机APP(2024APP下载)《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

🐬2025-10-21 02:05 「百科/秒懂百科」【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law】🐙支持:32/64bi🥌系统类型:(官方)官方网站IOS/Android通用版/手机APP(2024APP下载)《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law版本特色

1. 🐪「科普」🏄 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v8.45.41.23(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

2. 🤸「科普盘点」🐱 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v9.20.76.31(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

3. 🍂「分享下」🚴 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v0.71.57.23(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

4. 🏹「强烈推荐」🤼‍♀️ Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v4.44.00.87(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

5. 🐪「重大通报」🏌️ Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v8.56.08.91(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

6. 🐢「返利不限」🌳 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v2.20.44.94(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

7. 🏐「欢迎来到」🏀 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v0.22.48.04(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

8. 🌸「娱乐首选」🦆 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v3.56.58.10(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

9. ⛳「免费试玩」🤾 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官网-APP下载🎾🥑🦊支持:winall/win7/win10/win11🐦系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载(2024全站)最新版本IOS/安卓官方入口v1.27.14.40(安全平台)登录入口🍁《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》

Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law下载方式:

①通过浏览器下载

打开“Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law”手机浏览器（例如百度浏览器）。在搜索框中输入您想要下载的应用的全名，点击下载链接【3g.www.blog.www.3g.m.m.blog.blog.blog.blog.m.lituxb.com】网址，下载完成后点击“允许安装”。

②使用自带的软件商店

打开“Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law”的手机自带的“软件商店”（也叫应用商店）。在推荐中选择您想要下载的软件，或者使用搜索功能找到您需要的应用。点击“安装”即 可开始下载和安装。

③使用下载资源

有时您可以从“”其他人那里获取已经下载好的应用资源。使用类似百度网盘的工具下载资源。下载完成后，进行安全扫描以确保没有携带不 安全病毒，然后点击安装。

Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law安装步骤:

🦛🤽🏇第一步：🏀访问Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law官方网站或可靠的软件下载平台：访问（http://3g.www.blog.www.3g.m.m.blog.blog.blog.blog.m.lituxb.com/）确保您从官方网站或者其他可信的软件下载网站获取软件，这可以避免下载到恶意软件。

🏌️🚴🐌第二步：💐选择软件版本：根据您的操作系统（如 Windows、Mac、Linux）选择合适的软件版本。有时候还需要根据系统的位数（32位或64位）来选择Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law。

🐋🛺🦁第三步：🐼 下载Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law软件：点击下载链接或按钮开始下载。根据您的浏览器设置，可能会询问您保存位置。

⛳🐳🏐第四步：💐检查并安装软件： 在安装前，您可以使用 杀毒软件对下载的文件进行扫描，确保Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law软件安全无恶意代码。 双击下载的安装文件开始安装过程。根据提示完成安装步骤，这可能包括接受许可协议、选择安装位置、配置安装选项等。

🌰🦘🏂第五步：🦘启动软件：安装完成后，通常会在桌面或开始菜单创建软件快捷方式，点击即可启动使用Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law软件。

🎋🏋️🐮第六步：🏈更新和激活（如果需要）： 第一次启动Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law软件时，可能需要联网激活或注册。 检查是否有可用的软件更新，以确保使用的是最新版本，这有助于修复已知的错误和提高软件性能。

特别说明：Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law软件园提供的安装包中含有安卓模拟器和软件APK文件，电脑版需要先安装模拟器，然后再安装APK文件。

Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law使用讲解

🎢第一步：选择/拖拽文件至软件中点击“🥉添加Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law”按钮从电脑文件夹选择文件《🐢🧸3g.www.blog.www.3g.m.m.blog.blog.blog.blog.m.lituxb.com》，或者直接拖拽文件到软件界面。

🥀第二步：选择需要转换的文件格式 打开软件界面选择你需要的功能，Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law支持，PDF互转Word，PDF互转Excel，PDF互转PPT，PDF转图片等。

🍃第三步：点击【开始转换】按钮点击“开始转换”按钮， 开始文件格式转换。等待转换成功后，即可打开文件。三步操作，顺利完成文件格式的转换。

进入Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law教程

1.打开Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law，进入Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law前加载界面。

2.打开修改器

3.狂按ctrl+f1，当听到系统“滴”的一声。

4.点击进入Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law，打开选关界面。

5.关闭修改器(不然容易闪退)

以上就是没有记录的使用方法，希望能帮助大家。

Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law特点

🏋️‍♀️2025-10-21 02:03 🍏MBAChina🐮【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law 】系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law(官方)官方网站IOS/Android通用版/手机APP(2024APP)【下载次数75084】🤾🏑🍓支持:winall/win7/win10/win11🐠🍃现在下载,新用户还送新人礼包🐙Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law

🥇2025-10-21 06:52 🤼‍♀️欢迎来到🎾【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law 】系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law(官方)官方网站IOS/Android通用版/手机APP(2024APP)【下载次数10197】🌴🦨🎾支持:winall/win7/win10/win11🌿🐶现在下载,新用户还送新人礼包🦇Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law

🥋2025-10-21 06:54 🦊HOT🐸【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law 】系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law(官方)官方网站IOS/Android通用版/手机APP(2024APP)【下载次数83846】🤼⛷️🦐支持:winall/win7/win10/win11🏀🏋️‍♀️现在下载,新用户还送新人礼包🐯Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law

🤺2025-10-21 06:02 🦎娱乐首选🍊【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law 】系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law(官方)官方网站IOS/Android通用版/手机APP(2024APP)【下载次数42453】🍐🦧🐮支持:winall/win7/win10/win11🥋🏈现在下载,新用户还送新人礼包🦢Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law

🚵2025-10-21 03:01 👾返利不限🏏?【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law 】系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law(官方)官方网站IOS/Android通用版/手机APP(2024APP)【下载次数76995】🏂🥇🍊支持:winall/win7/win10/win11🍒👾现在下载,新用户还送新人礼包🍁Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law

相关介绍

🤾ωειcοmε🌴【 Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law 】🐺🦁🍊系统类型:Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law(官方)官方网站-IOS/安卓通用版/手机app🌵支持:winall/win7/win10/win11🌳🌿🌻【下载次数999】🐜🎴现在下载,新用户还送新人礼包🀄Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law

　　这一日，东皇的太阳神殿、三藏的地府、吕布的天都、天刑

> 厂商新闻《Meta用40万个GPU小时做了一个实验，只为弄清强化学习Scaling Law》特朗普继续对日本施压：日本需要开放市场 时间：2025-10-21 07:36

• 编辑:CN





机器之心报道

编辑：张倩

在 LLM 领域，扩大强化学习算力规模正在成为一个关键的研究范式。但要想弄清楚 RL 的 Scaling Law 具体是什么样子，还有几个关键问题悬而未决：如何 scale？scale 什么是有价值的？RL 真的能如预期般 scale 吗？

为了解答这些问题，来自 Meta 等机构的研究者做了一个看起来耗资不菲的实验：用40 万 GPU 小时跑出了一张 RL 训练「说明书」，让强化学习后训练不再像碰运气，让训练效果变得可预测。





作者提到，近期的 RL 进展，大多来自对特定算法的孤立研究或个别模型的训练报告 —— 这些研究往往给出针对具体任务的解决方案，但并没有提供一套可随算力扩展的通用方法。由于缺乏系统化的 scaling 理论，研究进展被严重限制：由于没有可靠的方法先验地识别有前景的强化学习候选方案，科研者只能依赖高昂的大规模实验，这让绝大多数学术团队无法参与其中。

这项研究旨在奠定 RL scaling 的科学基础，借鉴预训练阶段中早已成熟的「Scaling Law」概念。预训练领域已经发展出能够随算力稳定扩展的算法范式，但 RL 领域尚无明确标准。因此，RL 研究者面临大量设计抉择，却难以回答「应该如何 scale」与「扩展什么」这两个最基本的问题。





论文标题：The Art of Scaling Reinforcement Learning Compute for LLMs论文链接：https://arxiv.org/pdf/2510.13786

为了解决这一问题，作者提出了一个预测性框架，用以刻画 RL 性能与算力之间的关系，如公式（1）所示：





具体而言，他们用一种类 sigmoid 的饱和曲线，将在独立同分布验证集上的期望奖励（R_C）与训练算力（C）联系起来。曲线中的参数 A 表示渐近性能上限，B 表示算力效率，C_mid 则决定性能曲线的中点。图 3 对这些参数进行了示意性解释。





公式（1）中的框架使研究者能够根据小规模实验结果推测更大算力下的表现，从而在不耗尽算力预算的前提下评估 RL 方法的可扩展性。

基于该框架，作者设计了ScaleRL—— 一种能够随算力可预测地 scale 的 RL 训练配方。在一项耗时 10 万 GPU 小时的大规模实验中，他们验证了 ScaleRL 的表现与该框架预测的曲线高度一致（图 1）。更重要的是，即便只利用训练初期的数据所外推的曲线，也能准确预测最终性能，证明了该框架在极大算力下的预测能力。





ScaleRL 的设计建立在一项覆盖超过 40 万 GPU 小时的系统化实证研究之上（在 Nvidia GB200 GPU 上进行）。该研究在 8B 参数规模的模型上探索了多种设计选择，每次实验使用约 1.6 万 GPU 小时，比最大规模实验便宜约 6 倍。这项研究总结出三条关键原则：

RL 性能上限并非普适：不同方法在算力扩展时会遇到不同的性能天花板（A 值），而这个上限可通过损失函数类型、batch size 等设计选择进行调整。拥抱「苦涩的教训」：在小算力下表现出色的方法，放大到大规模算力时可能效果更差（如图 2 所示）。通过在训练早期使用公式（1）中的框架估计参数 A 与 B，可以提前识别真正具有可扩展性的方法。重新审视常见经验：许多被认为能提高峰值性能的技巧（如损失聚合、数据课程、长度惩罚、优势归一化）主要影响的是算力效率（B），而非最终性能上限。





基于这些洞察，ScaleRL 并未引入新的算法，而是整合了现有的成熟方法以实现可预测的扩展。具体而言，它结合了异步的 Pipeline-RL 结构、生成长度中断机制、截断重要性采样 RL 损失（CISPO）、基于提示的损失平均、batch 级优势归一化、FP32 精度的 logits、零方差过滤以及 No-Positive-Resampling 策略。每个组件的作用都通过「留一法」消融实验验证，每次实验耗时约 1.6 万 GPU 小时。

ScaleRL 不仅能够稳定扩展，还在性能与效率上都超过了现有 RL 配方。更进一步，当作者在多个训练维度上（如 2.5 倍的 batch size、更长的生成长度、多任务 RL 以及更大的混合专家模型）增加算力时，ScaleRL 仍保持预测一致性，并能持续提升下游任务表现。总体而言，这项工作建立了一种严谨的、可量化的方法论，使研究者能够以成本更可控的方式预测新的 RL 算法的可扩展性。

这篇论文是首个关于 LLM 强化学习扩展的开源、大规模系统性研究，其内容非常翔实，结论也足够有参考价值，因此受到了 Ai2 科学家 Nathan Lambert 等人的强烈推荐。













以下是论文的详细内容。

一个关于 RL Scaling 的全面实验

作者使用一个 8B 稠密模型在可验证的数学问题上进行强化学习实验。他们从可预测的计算规模扩展行为角度研究了几个设计维度，即渐近性能（A）和计算效率（B），如图 3 所示。

异步强化学习设置

作者首先研究异步的 off-policy RL 训练结构，因为它决定了训练的稳定性与算力效率，并且通常独立于其他设计选择。具体来说，作者比较了两种 off-policy 学习方式：PPO-off-policy-k 和 PipelineRL-k。

如图 4a 所示，PipelineRL 与 PPO-off-policy 在最终的性能上限 (A) 相近，但 PipelineRL 显著提升了算力效率 (B)，也就是说，它能更快地达到性能天花板 A。这是因为 PipelineRL 减少了训练过程中 GPU 的空闲时间。该结构能以更少的 token 实现稳定增益，从而在有限算力预算下完成更大规模的实验。作者还改变了 PipelineRL 的最大 off-policyness 参数 k，发现 k = 8 时性能最佳（如图 4b 所示），因此后续实验采用 PipelineRL-8 作为基础设置。





算法设计选择

在前述结果的基础上，作者将 PipelineRL-8 设为新的基线方法，并进一步研究了六个算法设计维度：

损失函数类型精度修正损失聚合方式优势归一化batch 定义方式数据课程策略

损失函数类型

图 5a 表明，GSPO 和 CISPO 的表现都显著优于 DAPO，在最终通过率 A 上有大幅提升。CISPO 在训练过程中展现出更长时间的线性回报增长趋势，并在后期略优于 GSPO，因此作者选择 CISPO 作为 ScaleRL 的最佳损失类型。





LLM Logits 的 FP32 精度

如图 5b 所示，在 logits 层采用精度修正能显著提高最终性能 A，从 0.52 提升至 0.61。鉴于这一明显收益，作者在 ScaleRL 配方中加入 FP32 精度修正。

损失聚合方式

作者比较了不同的损失聚合策略，结果显示 prompt-average 达到了最高的最终性能（图 14a），因此 ScaleRL 采用此方式作为默认选项。





优势归一化

作者比较了三种优势归一化策略：提示级（prompt-level）、batch 级（batch-level）、 无归一化。

图 14b 的结果显示，三者性能相近，但 batch 级归一化在理论上更合理，且略优于其他选项；在后续更大规模的 leave-one-out 实验中，这一选择也得到了进一步验证。

零方差过滤（Zero-Variance Filtering）

图 6a 中的结果表明，使用「有效 batch」（即过滤掉奖励方差为零的样本）可以获得更好的最终性能，因此作者在 ScaleRL 中采用该策略。





自适应提示过滤

为提高采样效率，已有多种数据课程策略被提出。作者评估了一种简单的变体，其核心观察是：当某个提示对当前策略来说变得过于容易后，它通常会一直保持容易。 此类提示虽然仍消耗算力，却不再提供有价值的梯度信号，因此最好从后续训练中剔除。

作者的实现方式是：维护每个提示的历史通过率，一旦某提示的通过率 ≥ 0.9 ，就在之后的训练周期中永久移除它 —— 他们称这种策略为 No-Positive-Resampling。 图 6b 显示，与传统的「所有提示均匀重采样」做法相比，这种课程策略能显著提升 RL 的可扩展性与最终回报 A。

接下来，他们将这些最优选择整合为一个统一的 RL 配方，称为 ScaleRL（可扩展强化学习），并在 16,000 GPU 小时规模上进行了留一法消融实验。

ScaleRL：让强化学习算力高效且可预测地扩展

基于前面各项设计轴的研究结果，作者将性能最优的配置整合成一个统一配方，称为 ScaleRL（Scale-able RL）。

ScaleRL 是一种异步强化学习方案，核心特征包括：

使用 PipelineRL 结构，设置 8 步的 off-policyness；采用基于中断的长度控制策略来实现序列截断；在 logits 计算中使用 FP32 精度；优化 J_ScaleRL (θ) 损失函数。

该损失函数综合了以下关键设计：

提示级损失聚合batch 级优势归一化截断重要性采样的 REINFORCE 损失（CISPO）零方差过滤no-positive resampling





为了验证上述设计在组合后的有效性，作者进行了留一法（LOO）实验。实验结果（如图 7 所示，规模均为 16,000 GPU 小时）显示：在所有设计轴上，ScaleRL 一直是最优配置，无论在最终回报还是算力效率上，都略优于任何单项被移除的变体。





RL 在不同算力维度下的可预测回报

在固定或增长的算力预算下，哪一个扩展维度 —— 上下文长度、批大小、每个提示的生成数或模型规模 —— 能带来最可靠的性能提升？ 并且，我们能多早预测到这种回报？

作者通过以下步骤回答这一问题：

在训练早期（精确来说，使用目标算力预算的一半）为每个设定拟合公式 (1) 中的饱和幂律曲线；将该曲线外推至目标算力预算；继续训练以验证预测结果。

在所有下述扩展轴上，他们都观察到干净、可预测的曲线拟合，其外推结果与延长训练后的真实轨迹高度吻合 —— 与作者在 100,000 GPU 小时训练（图 1）及不同 RL 配方间的交叉对比实验（图 2）中观察到的行为一致。

模型规模（MoE）

ScaleRL 在更大模型上是否仍保持可预测性与稳定性？

当作者使用 ScaleRL 训练 17B×16 Llama-4 Scout MoE 模型时，结果显示它与 8B 模型一样，展现出可预测的扩展行为：具有较低的截断率（truncation rate）且无训练不稳定问题。

图 1 展示了其训练曲线，延长训练得到的额外数据点与早期拟合曲线对齐，说明 ScaleRL 的配方在模型规模上具备尺度不变性（model-scale invariance）。此外，17B×16 的 MoE 大模型表现出远高于 8B 稠密模型的 RL 最终性能（asymptotic performance），并且仅使用了后者 1/6 的 RL 训练算力。

生成长度

将生成长度从 14k token 增加至 32k token 会在训练初期放慢进展（即表现为较小的 B 和更高的 C_mid），但最终提升拟合曲线的上限 A， 从而在提供足够算力后获得更高的最终性能（见图 9）。

这验证了长上下文强化学习是一种「提升性能天花板」的手段，而不仅仅是效率上的权衡。

从早期训练拟合得到的外推曲线能够准确预测 32k-token 训练在延长阶段的表现。





全局批大小

作者观察到，小批次训练在下游任务上会过早停滞，即便其在分布内验证集上的性能仍在上升。相反，较大的批次 能够稳定地提高性能上限 A，并避免这种停滞。图 10a 展示了中等规模实验中的相同趋势：在训练初期，小批次似乎表现更好，但随着算力增加，大批次最终会超越。





在本文最大规模的数学任务（见图 1）中，将 batch size 提升至 2048 个 prompt 后，不仅稳定了训练，还使得从 50k GPU 小时拟合的曲线能够准确外推到最终 100k 小时的结果。

每个提示的生成次数

在固定总批量的前提下，是分配更多提示更好，还是每个提示分配更多生成次数更好？将每个提示的生成次数在 8、16、24、32 之间进行调整，并相应调整提示数量以保持总批量固定，结果显示拟合的缩放曲线基本没有变化。这说明在中等批量下，这种分配对性能上限（A）和效率（B）都是次要因素。作者推测，在更大批次（例如超过 2000）时，差异可能会更加明显 —— 这一方向留待未来研究。

更多细节请参见原论文。

更新内容

一、修复bug，修改自动播放;优化产品用户体验。

二、 1.修复已知Bug。2.新服务。

三、修复已知bug;优化用户体验

四、1，交互全面优化，用户操作更加便捷高效;2，主题色更新，界面风格更加协调;3，增加卡片类个人数据

五、-千万商品随意挑选，大图展现商品细节-订单和物流查询实时同步-支持团购和名品特卖，更有手机专享等你抢-支付宝和银联多种支付方式，轻松下单，快捷支付-新浪微博，支付宝，QQ登录，不用注册也能购物-支持商品收藏，随时查询喜爱的商品和历史购物清单。

六、1.bug修复，提升用户体验;2.优化加载，体验更流程;3.提升安卓系统兼容性

七、1、修复部分机型bug;2、提高游戏流畅度;