DAY 17Transformer 내부·점수의 규모
왜 √dₖ로 나눌까
내적이 커질 때 Softmax가 어떻게 달라지는지 봅니다.
01 / UNDERSTAND
핵심 개념
벡터 차원 수가 커지면 내적 점수의 규모도 커질 수 있습니다. Transformer는 점수를 √dₖ로 나눈 뒤 Softmax에 넣습니다.
이 조정은 점수가 지나치게 큰 범위로 벌어지는 현상을 완화합니다. 모든 점수를 같은 양수로 나누므로 한 행 안에서 점수의 순서는 유지됩니다.
스케일링은 점수의 규모를 조정합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
점수 [2,4]와 dₖ=4를 가정합니다.
02
√dₖ=2이므로 조정된 점수는 [1,2]입니다.
03
더 큰 점수의 위치는 그대로 두 번째입니다.
03 / EXPLORE
직접 실험해 보기
스케일 값을 바꿔 색의 강도와 Softmax 비중을 비교하세요.
LIVE EXPERIMENT · 04
Attention 한 행을 해부하기
QUERY ↓ / KEY →나고양이본다
310
132
024
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
양수 √dₖ로 나누면 점수 순서는?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.