DAY 40추론 최적화·입력 길이의 한계
문맥창과 잊힘
모델이 한 번에 참고하는 토큰 범위를 이해합니다.
01 / UNDERSTAND
핵심 개념
문맥창은 한 번의 추론에서 모델이 처리할 수 있는 토큰의 범위입니다. 대화가 길어지면 오래된 내용이 잘리거나 요약되는 등 서비스별 처리가 필요할 수 있습니다.
문맥창 안에 들어간 정보도 언제나 정확히 활용된다는 보장은 없습니다. 긴 문맥의 성능은 관련 정보를 찾아 쓰는 능력과 별도로 평가해야 합니다.
긴 문맥은 길이와 활용 능력을 따로 봐야 합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
문맥창 8토큰에 이미 7토큰이 들어 있습니다.
02
새 토큰 2개를 추가하면 총 9토큰입니다.
03
모두를 그대로 넣을 수 없으므로 길이 관리가 필요합니다.
03 / EXPLORE
직접 실험해 보기
토큰을 추가해 문맥창의 한계선에 닿는 시점을 확인하세요.
LIVE EXPERIMENT · 02
문장을 토큰으로 쪼개기
“오늘 날씨는 정말 맑습니다”
↓ 토큰화
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
문맥창이 뜻하는 것은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Generation configurationHugging Face Transformers이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.