DAY 33텍스트 생성·학습 곡선
과적합의 신호
학습을 더 했는데 새 문제는 더 못 푸는 장면을 봅니다.
01 / UNDERSTAND
핵심 개념
학습이 진행되면 훈련 손실은 대체로 낮아집니다. 그러나 검증 손실이 어느 시점부터 높아진다면 훈련 예제에 지나치게 맞춰졌을 수 있습니다.
학습 곡선은 이런 차이를 시간에 따라 보여 줍니다. 원인과 처방은 데이터, 모델 크기, 정규화 등 상황에 따라 달라지므로 한 가지 숫자만으로 결론내리지 않습니다.
학습 곡선은 일반화 상태를 보여 주는 단서입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
초기에는 훈련·검증 손실이 함께 줄어듭니다.
02
뒤에는 훈련 손실만 계속 줄고 검증 손실은 오릅니다.
03
검증 손실 최저점 부근을 확인합니다.
03 / EXPLORE
직접 실험해 보기
스텝 슬라이더를 옮기며 두 손실 곡선이 갈라지는 시점을 찾으세요.
LIVE EXPERIMENT · 06
훈련과 검증을 함께 보기
훈련검증
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
과적합을 의심할 수 있는 패턴은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Linear regression: Gradient descentGoogle Machine Learning Crash Course이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.