DAY 38추론 최적화·확률 분포의 날카로움
온도를 바꾸면
같은 로짓에서 다양한 정도가 달라지는 이유를 봅니다.
01 / UNDERSTAND
핵심 개념
온도는 로짓을 Softmax에 넣기 전에 나누는 값입니다. 낮은 온도는 높은 점수의 후보에 확률을 더 몰아주고, 높은 온도는 분포를 상대적으로 평평하게 합니다.
온도는 지식의 정확도를 직접 높이는 버튼이 아닙니다. 분포의 모양과 샘플링 다양성을 바꾸는 설정입니다.
온도는 선택 분포의 모양을 조정합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
후보 로짓 [3,2,1]을 고정합니다.
02
낮은 온도에서 첫 후보의 확률이 더 커집니다.
03
높은 온도에서 뒤 후보가 선택될 가능성도 커집니다.
03 / EXPLORE
직접 실험해 보기
온도 슬라이더를 움직여 세 후보의 막대 길이를 비교하세요.
LIVE EXPERIMENT · 07
다음 토큰 분포 바꾸기
“오늘 날씨는 ▌”
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
온도를 낮추면 보통?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Generation configurationHugging Face Transformers이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.