미니배치 경사 하강법은 각 스텝에서 전체 훈련 세트나 하나의 샘플을 기반으로 그레이디언트를 계산하는 것이 아니라 미니배치라 부르는 임의의 작은 샘플 세트에 대해 그레이디언트를 계산합니다. 이때 미니배치 경사 하강법의 배치 크기를 설정하는 것은 아주 중요한 문제입니다.

그렇다면

• 배치 크기가 모델 학습에 미치는 영향은 무엇일까?
• 어떤 경우에 큰 배치가 유리하고 어떤 경우에 작은 배치가 유리한가?
• 여러 배치 크기를 일일이 실험해보는 것 없이 효율적으로 최적화된 배치 크기를 찾는 방법은 없을까?

Deep Dive를 통해 파헤쳐봅시다.