DAY 37추론 최적화·자기회귀 생성
생성은 한 토큰씩
현재 출력이 다음 입력의 일부가 됩니다.
01 / UNDERSTAND
핵심 개념
생성형 언어 모델은 지금까지의 토큰으로 다음 토큰의 확률을 계산하고 하나를 선택합니다. 선택한 토큰을 뒤에 붙여 같은 과정을 반복합니다.
이 방식은 한 번에 전체 답변을 확정하지 않습니다. 초기에 선택한 토큰이 이후 문맥을 바꾸므로 생성 결과가 달라질 수 있습니다.
생성은 예측과 선택의 반복입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
입력 ‘오늘 날씨는’에서 다음 후보를 계산합니다.
02
‘맑다’를 선택해 문장 뒤에 붙입니다.
03
이제 ‘오늘 날씨는 맑다’ 다음 토큰을 다시 계산합니다.
03 / EXPLORE
직접 실험해 보기
다음 토큰을 한 단계씩 선택해 문장이 늘어나는 모습을 확인하세요.
LIVE EXPERIMENT · 07
다음 토큰 분포 바꾸기
“오늘 날씨는 ▌”
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
다음 토큰을 선택한 뒤 모델은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Generation configurationHugging Face Transformers이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.