DAY 08문장을 숫자로·조회와 임베딩
토큰 ID에서 벡터로
식별 번호가 어떻게 계산 가능한 표현으로 바뀌는지 봅니다.
01 / UNDERSTAND
핵심 개념
토큰 ID는 임베딩 표에서 한 행을 찾는 데 쓰입니다. 찾은 행에는 여러 실수가 들어 있고, 이 숫자 묶음을 임베딩 벡터라고 합니다.
임베딩 값은 학습 과정에서 조정되는 파라미터입니다. 같은 ID를 조회하면 같은 기본 벡터를 얻지만, 문맥을 통과한 뒤 표현은 주변 토큰에 따라 달라집니다.
ID는 주소이고 임베딩은 학습된 숫자 표현입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
어휘표에서 ‘고양이’의 ID가 42라고 가정합니다.
02
임베딩 표의 42번째 행이 [0.2, -0.4, 0.7]일 수 있습니다.
03
이 값은 ID 42를 계산에 사용할 수 있는 벡터로 바꿉니다.
03 / EXPLORE
직접 실험해 보기
두 벡터의 좌표를 움직여 표현이 숫자 배열이라는 점을 확인하세요.
LIVE EXPERIMENT · 03
벡터 두 개를 비교하기
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
임베딩 표에서 토큰 ID가 하는 일은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
EmbeddingsGoogle Machine Learning Crash Course이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.