DAY 18Transformer 내부·점수 → 확률
Softmax로 비중 만들기
원시 점수를 합이 1인 비중으로 바꿉니다.
01 / UNDERSTAND
핵심 개념
Softmax는 각 점수를 양수로 바꾼 뒤 행의 합으로 나눕니다. 결과는 모두 0보다 크고 합이 1이어서 Value를 섞을 비중으로 사용할 수 있습니다.
큰 점수는 보통 큰 비중을 얻지만, 다른 점수들과의 차이에 따라 실제 비중이 달라집니다. Attention 비중은 입력마다 다시 계산됩니다.
Attention 점수와 Attention 비중은 다른 값입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
점수 [0,0]이면 두 위치의 비중은 [0.5,0.5]입니다.
02
점수를 [0,2]로 바꾸면 두 번째 비중이 커집니다.
03
두 비중의 합은 여전히 1입니다.
03 / EXPLORE
직접 실험해 보기
점수 차이를 조절하며 막대의 합이 1인지 확인하세요.
LIVE EXPERIMENT · 04
Attention 한 행을 해부하기
QUERY ↓ / KEY →나고양이본다
310
132
024
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
Softmax 출력 한 행의 합은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.