DAY 39추론 최적화·Top-k와 Top-p
후보를 좁히는 두 방법
확률을 계산한 뒤 어떤 후보를 남길지 비교합니다.
01 / UNDERSTAND
핵심 개념
Top-k는 확률이 높은 후보 k개만 남깁니다. Top-p는 높은 순서로 더한 확률이 기준 p에 도달할 때까지 후보를 남깁니다.
Top-k의 후보 수는 고정이고, Top-p의 후보 수는 분포 모양에 따라 달라질 수 있습니다. 둘 다 선택 범위를 제한하는 샘플링 방식입니다.
샘플링 설정은 후보 선택 범위를 바꿉니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
확률 [0.6,0.25,0.1,0.05]를 놓습니다.
02
Top-2는 앞의 두 후보를 남깁니다.
03
Top-p=0.8도 누적 0.85가 되는 앞의 두 후보를 남깁니다.
03 / EXPLORE
직접 실험해 보기
k와 p를 각각 조절해 남는 후보 개수를 비교하세요.
LIVE EXPERIMENT · 07
다음 토큰 분포 바꾸기
“오늘 날씨는 ▌”
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
분포에 따라 후보 개수가 달라질 수 있는 방식은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Generation configurationHugging Face Transformers이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.