DAY 04학습의 출발점·수렴과 발산
학습률이 너무 크면
빠른 발걸음이 항상 좋은 결과를 주는지 실험합니다.
01 / UNDERSTAND
핵심 개념
학습률은 한 번에 얼마나 멀리 이동할지 정합니다. 적당한 값은 손실의 바닥으로 접근시키지만, 너무 크면 바닥을 넘어 반대편으로 튑니다.
반복할수록 손실이 줄어 안정되는 것을 수렴이라고 합니다. 반대로 진동하거나 손실이 커지면 학습률을 줄이는 등의 조정이 필요합니다.
더 큰 학습률이 더 빠른 학습을 보장하지 않습니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
w=0.5의 기울기는 -14입니다.
02
학습률 0.05의 첫 이동은 +0.7로 w=1.2가 됩니다.
03
학습률 0.5라면 첫 이동이 +7로 w=7.5까지 튑니다.
03 / EXPLORE
직접 실험해 보기
학습률을 크게 바꾸고 여러 걸음 뒤 손실이 어떻게 변하는지 보세요.
LIVE EXPERIMENT · 01
손실 곡선을 걸어 보세요
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
학습률이 과도하게 크면?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Linear regression: Gradient descentGoogle Machine Learning Crash Course이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.