파라미터와 하이퍼파라미터는 이름이 유사하여 두 단어를 혼용하여 사용하는 경우가 있기도 하다. 하지만 두 단어는 혼용해서는 안되는, 차이점이 명확한 단어들이다. 따라서 하이퍼파라미터를 알아보기 전에 파라미터가 무엇인지 먼저 알아보도록 하자.
파라미터는 한국어로 직역하면 매개변수이다. 파라미터의 특징은 그 값이 모델 내부에서 결정된다는 것이다. 또한 그 값은 데이터로부터 결정된다. Deep Learning에서는 Loss function에서 얻은 Gradient 값을 통해 이 파라미터 값을 계속해서 업데이트해나간다.
더 자세한 내용을 확인하기 위해 예시를 통해 살펴보도록 하자.
파라미터 예시
한 클래스에 속해 있는 학생들의 키에 대한 정규분포를 그린다고 가정했을 때 정규분포를 그리면 평균(μ)과 표준편차(σ) 값이 구해진다. 여기서 평균과 표준편차가 파라미터가 된다.
선형 회귀의 가중치값도 마찬가지이다. 수많은 데이터가 있고, 그 데이터에 대해 선형 회귀를 진행하게 되면 가중치가 결정된다.
<aside> 💡 즉, 파라미터의 값은 모델 내부에서 정해지는 값들이다. 사용자가 직접 수정을 하는 값이 아닌 데이터로 정해진다는 특징이 있다.
</aside>
하이퍼파라미터란 파라미터와는 반대로 사용자가 직접 세팅해주는 값이다. 이러한 하이퍼파라미터는 정해진 최적의 값이 없기 때문에 경험에 의해 결정되는 경우가 많다.
베이지안 최적화를 사용하여 자동으로 하이퍼파라미터를 정해주는 라이브러리가 존재하기도 한다.
하이퍼파라미터 예시
하이퍼파라미터를 사용하는 예시에는 딥러닝 모델의 Learning Rate, 서포트 벡터 머신의 C, sigma 값, KNN 알고리즘 에서의 K값 등이 있다.
