ImageNet Training in Minutes

[nocotan]

一言でいうと

DNNの学習をスケールさせるためのアルゴリズムであるLayer-wise Adaptive Rate Scaling (LARS)がどれだけImageNetの学習を効率化できるかを，1024GPUを用いた大規模実験で検証した．

論文リンク

ICPP2018
https://dl.acm.org/doi/10.1145/3225058.3225069

著者/所属機関

Yang You (UC Berkeley), Zhao Zhang (TACC), Cho-Jui Hsieh (UC Davis),
James Demmel (UC Berkeley), Kurt Keutzer (UC Berkeley)

投稿日付(yyyy/MM/dd)

2018/01/31

概要

大規模なDNNの学習は複雑なタスクを解く方法として非常に有望であるが，その学習は当然計算コストが大きく，大規模DNNの学習の効率化は重要な課題になっている．
大規模DNNの学習の効率化のためのアプローチの一つとして，SGDのデータパラレル化によってバッチサイズを巨大にするというものがあるが，大きなバッチサイズではDNNの学習が不安定になるという問題が存在する．これを解決するための既存アルゴリズムとしてLayer-wise Adaptive Rate Scaling (LARS)があり，この論文では，LARSがどれだけの大規模化に耐えうるのかを数値実験によって確かめた．

結果は以下の通り：

we found that using LARS we could scale DNN training on ImageNet to 1024 CPUs and finish the 100-epoch training with AlexNet in 11 minutes with 58.6% accuracy. Furthermore, we could scale to 2048 KNLs and finish the 90-epoch ImageNet training with ResNet50 in 20 minutes without losing accuracy. State-of-the-art ImageNet training speed with ResNet-50 is 74.9% top-1 test accuracy in 15 minutes (Akiba, Suzuki, and Fukuda 2017). We got 74.9% top-1 test accuracy in 64 epochs, which only needs 14 minutes.

新規性・差分

既存研究より高速にImageNetの学習を完了できることを示した．

手法

LARSアルゴリズムによってバッチサイズを巨大化してImageNetの高速学習を達成．

結果

コメント