Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

【PaddlePaddle Hackathon 2】12、为 Paddle 新增 OneCycleLR 优化调度器 #40322

Closed
TCChenlong opened this issue Mar 8, 2022 · 0 comments

Comments

@TCChenlong
Copy link
Contributor

TCChenlong commented Mar 8, 2022

(此 ISSUE 为 PaddlePaddle Hackathon 第二期活动的任务 ISSUE,更多详见 【PaddlePaddle Hackathon 第二期】任务总览

【任务说明】

任务标题:为 Paddle 新增 OneCycleLR 优化调度器

技术标签:深度学习框架,Python,优化调度算法

任务难度:简单

详细描述: OneCycleLR最早在Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates中提出,它在整个训练过程中只有一个周期(OneCycle),即从小学习率上升至最大学习率,然后又下降至低于初始学习率的大小,它的一个特征是每个batch都进行学习率调整。此任务的目标是在 Paddle 框架中,新增 OneCycleLR 优化调度器,调用路径为:paddle.optimizer.lr.OneCycleLR。

【提交流程】

请按 新增API 开发&提交流程中的描述,完成任务提交过程中的相关步骤。

【提交内容】

【合入标准】

【技术要求】

  • 熟悉 OneCycleLR 优化调度算法原理和适用场景
  • 熟练掌握 Python

【参考内容】

【答疑交流】

  • 如果在开发中对于上述任务有任何问题,欢迎在本 ISSUE 下留言交流。
  • 对于开发中的共性问题,在活动过程中,会定期组织答疑,请大家关注官网&QQ群的通知,及时参与。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

1 participant