DAY 06문장을 숫자로·텍스트의 숫자 표현
컴퓨터에게 문장을 건네기
문장도 모델이 계산할 수 있는 형태로 바꿔야 합니다.
01 / UNDERSTAND
핵심 개념
신경망은 문자열 자체보다 숫자 배열을 입력으로 받습니다. 그래서 문장을 작은 단위로 나누고, 각 단위에 번호를 붙이는 과정이 필요합니다.
이 단위는 항상 단어와 같지 않습니다. 자주 등장하는 조각은 하나로, 드문 표현은 여러 조각으로 나눌 수 있습니다.
텍스트는 토큰을 거쳐 숫자 입력이 됩니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
‘오늘은 맑다’를 입력 문장으로 놓습니다.
02
토크나이저가 문장을 여러 조각으로 나눕니다.
03
각 조각은 어휘표의 번호를 받아 모델로 전달됩니다.
03 / EXPLORE
직접 실험해 보기
같은 문장을 다른 분할 방식으로 보고 조각 수를 비교하세요.
LIVE EXPERIMENT · 02
문장을 토큰으로 쪼개기
“오늘은 맑은 날입니다”
↓ 토큰화
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
토큰은 항상 띄어쓰기 단위인가요?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
EmbeddingsGoogle Machine Learning Crash Course이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.