DAY 29데이터와 튜닝·역전파와 기울기
오차를 뒤로 보내기
출력의 실수가 앞쪽 가중치까지 어떻게 전달되는지 봅니다.
01 / UNDERSTAND
핵심 개념
출력에서 계산한 손실은 여러 층의 가중치에 영향을 받습니다. 역전파는 연쇄법칙을 이용해 각 파라미터가 손실에 얼마나 기여했는지 기울기를 계산합니다.
기울기를 얻은 뒤 경사하강법 계열의 최적화기가 파라미터를 갱신합니다. 역전파는 기울기를 계산하는 과정이고, 최적화기는 그 기울기를 사용해 값을 바꾸는 과정입니다.
손실 → 기울기 → 파라미터 갱신의 순서입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
출력 오차를 먼저 계산합니다.
02
FFN과 Attention을 거슬러 각 가중치의 기울기를 구합니다.
03
최적화기가 그 기울기를 사용해 파라미터를 갱신합니다.
03 / EXPLORE
직접 실험해 보기
흐름을 역방향으로 재생하며 기울기 계산과 갱신을 구분하세요.
LIVE EXPERIMENT · 05
단계를 눌러 흐름 따라가기
손실
예측과 정답의 차이에서 출발합니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
역전파의 주된 역할은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Training using backpropagationGoogle Machine Learning Crash Course이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.