step size1 최적화와 경사하강법(Gradient Descent) 최적화와 경사하강법(Gradient Descent) 1. 손실 함수(loss function)의 최적화(Optimization) 최적화란 일상에서 우리가 익숙하게 경험하고 있는 원리다. 집에서 직장까지의 최단 경로를 고려해서 출퇴근을 하거나, 여행 계획을 짤 때 시간과 비용을 고려해서 최적의 장소를 선별하는 등 일상에서 우리는 수많은 최적화 과정을 거친다. 머신러닝 분야에서 최적화(Optimization)는 손실 함수(loss function)을 최소화하는 파라미터를 구하는 과정을 말한다. 손실 함수는 지도학습(Supervised Learning) 시 알고리즘이 예측한 값과 실제 정답의 차이를 비교하기 위한 함수이다. 즉, '학습 중에 알고리즘이 얼마나 엉터리인지를 측정하는 기준'를 확인하기 위한 함수로.. 2022. 11. 17. 이전 1 다음
