러닝레이트 줄이기 vs 배치사이즈 키우기
"[1] Don't decay the learning rate, increase the batch size" 리뷰, 설명입니다. Learning rate decay 라는 것을 들어보셨나요? 머신 러닝에서 굉장히 중요하고 민감한 learning rate라는 하이퍼 파라미터를,..
honeyjamtech.tistory.com
러닝 레이트란 산에서 내려갈때 보폭(step size) 느낌이다.
러닝레이트를 줄이는 것과 배치사이즈를 키우는 것은 동일한 효과를 낸다.
논문 연구 결과로 밝혀졌다고 한다.
텐서플로우를 쓸때 배치사이즈 조절을 많이 하는데, 중요한 개념이다.
결국 너무 큰 배치사이즈도 별로이고, 너무 작은 배치사이즈도 별로다.
적절한 배치사이즈가 필요하다.
이는 데이터 양에 따라, 학습 모델에 따라 경험적으로 알 것 같다.
'모두의 연구소 AIFFEL 교육' 카테고리의 다른 글
| pooling 이란 (0) | 2021.02.01 |
|---|---|
| 전체적인 model.fit() 과정 (0) | 2021.02.01 |
| 원 핫 인코딩 (0) | 2021.01.29 |
| CS231n 4강 후기 (0) | 2021.01.29 |
| cs231n 5장 정리 (0) | 2021.01.26 |