DAY 50통합과 확장·입력에서 출력까지
한 문장으로 전체 연결하기
50일의 부품을 하나의 계산 흐름으로 조립합니다.
01 / UNDERSTAND
핵심 개념
문장은 토큰으로 나뉘고 임베딩·위치 정보를 거쳐 Transformer 블록에 들어갑니다. Attention이 위치 사이 정보를 섞고 FFN이 각 표현을 가공합니다.
마지막 표현에서 다음 토큰의 로짓과 확률을 만들고 하나를 선택합니다. 학습할 때는 정답과의 손실을 역전파해 파라미터를 바꾸지만, 일반적인 추론에서는 파라미터를 그대로 사용합니다.
토큰 → 표현 → Attention → 로짓 → 선택이 생성의 뼈대입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
‘오늘 날씨는’을 토큰화하고 벡터로 바꿉니다.
02
Attention과 FFN을 거쳐 마지막 위치의 표현을 만듭니다.
03
다음 토큰 확률에서 하나를 선택해 문장을 이어갑니다.
03 / EXPLORE
직접 실험해 보기
각 단계의 이름과 역할을 스스로 말하며 전체 경로를 완주하세요.
LIVE EXPERIMENT · 05
단계를 눌러 흐름 따라가기
토큰
입력을 작은 단위로 준비합니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
추론과 학습의 핵심 차이는?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)Generation configurationHugging Face Transformers이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.