배치 크기란 무엇인가?
배치 크기는 모델이 매개변수를 업데이트하기 전에 처리하는 훈련 샘플의 수입니다. 배치 크기가 32이면, 모델은 가중치를 조정하기 전에 32개의 이미지를 봅니다.
배치 크기가 중요한 이유
- 훈련 안정성에 영향을 미침: 작은 배치는 변동성을 추가하고, 큰 배치는 결과를 부드럽게 만듭니다.
- 하드웨어 사용에 영향을 줌: 큰 배치는 더 많은 메모리를 필요로 합니다.
- 학습 행동을 변화시킴: 정확도와 수렴 속도에 영향을 미칩니다.
올바른 배치 크기 선택하기
- 작은 배치 (8–32): 제한된 GPU에 적합
- 중간 배치 (64–128): 균형 잡힘
- 큰 배치 (256+): 빠르지만 일반화가 더 나쁠 수 있음
배치 크기 FAQ
더 큰 배치 크기가 더 빠른 훈련을 의미하나요?
대개 그렇지만 항상 더 나은 품질을 의미하지는 않습니다.
작은 배치를 사용하는 이유는 무엇인가요?
더 자연스러운 학습 노이즈를 시뮬레이션합니다.