DAY 07문장을 숫자로·조각과 ID
토큰화와 어휘표
문장을 나누는 방식이 입력 길이에 어떤 영향을 주는지 봅니다.
01 / UNDERSTAND
핵심 개념
토크나이저는 문장을 토큰의 순서로 변환하고 어휘표는 각 토큰에 ID를 대응시킵니다. 토큰 ID는 주소일 뿐, 그 숫자 자체가 뜻의 크기를 나타내지는 않습니다.
같은 문장도 토크나이저에 따라 토큰 수가 달라질 수 있습니다. 토큰 수는 처리해야 할 시퀀스 길이에 영향을 줍니다.
토큰 수와 의미의 크기는 다른 이야기입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
‘반가워요’를 한 조각으로 저장한 어휘표라면 토큰 하나입니다.
02
그 조각이 없다면 ‘반가’, ‘워요’처럼 나눌 수 있습니다.
03
두 경우 모두 원래 문장으로 되돌릴 수 있도록 대응 규칙을 가집니다.
03 / EXPLORE
직접 실험해 보기
토큰 분할 단계를 바꾸고 표시되는 ID 개수를 세어 보세요.
LIVE EXPERIMENT · 02
문장을 토큰으로 쪼개기
“오늘은 맑은 날입니다”
↓ 토큰화
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
토큰 ID 900이 ID 9보다 뜻이 100배 큰가요?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
EmbeddingsGoogle Machine Learning Crash Course이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.