DAY 24학습 파이프라인·정규화
값의 규모를 정리하기
층을 지나며 표현 값의 규모가 달라지는 문제를 봅니다.
01 / UNDERSTAND
핵심 개념
LayerNorm은 한 토큰 표현의 차원들을 기준으로 값의 중심과 규모를 정리한 뒤 학습 가능한 조정을 적용합니다. 이는 깊은 모델의 계산을 안정적으로 다루는 데 쓰입니다.
정규화는 정보를 모두 같은 값으로 지우는 과정이 아닙니다. 상대적인 패턴은 남기면서 각 층이 받는 숫자의 범위를 다루기 쉽게 합니다.
정규화는 표현의 숫자 규모를 조정합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
벡터 [2,4]의 평균은 3입니다.
02
평균을 빼면 [-1,1]이 됩니다.
03
실제 LayerNorm은 분산으로 나누고 학습 파라미터로 다시 조정합니다.
03 / EXPLORE
직접 실험해 보기
정규화 전후 막대의 중심과 퍼짐을 비교하세요.
LIVE EXPERIMENT · 05
단계를 눌러 흐름 따라가기
입력 [2,4]
두 차원의 값은 2와 4입니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
LayerNorm은 보통 무엇을 기준으로 계산하나요?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.