DAY 27데이터와 튜닝·로짓과 출력층
다음 토큰 점수 만들기
마지막 표현이 어휘표의 후보 점수로 바뀝니다.
01 / UNDERSTAND
핵심 개념
마지막 위치의 표현에 출력 가중치를 적용하면 어휘표의 각 토큰에 대한 점수인 로짓을 얻습니다. 로짓은 아직 확률이 아닙니다.
Softmax를 로짓에 적용하면 각 후보의 확률을 얻습니다. Attention 안의 Softmax와 비슷한 수학이지만, 한쪽은 입력 위치 비중이고 다른 쪽은 다음 토큰 후보 확률입니다.
로짓은 후보 점수, 확률은 정규화된 선택 비중입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
후보 ‘고양이’, ‘강아지’, ‘책’의 로짓이 [2,1,0]입니다.
02
Softmax 뒤 첫 후보가 가장 높은 확률을 얻습니다.
03
확률을 이용해 다음 토큰을 선택합니다.
03 / EXPLORE
직접 실험해 보기
로짓을 움직여 후보 확률이 어떻게 달라지는지 보세요.
LIVE EXPERIMENT · 07
다음 토큰 분포 바꾸기
“오늘 날씨는 ▌”
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
로짓과 확률의 관계는?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.