DAY 26데이터와 튜닝·블록의 순서
Transformer 한 층 완성
지금까지의 부품을 하나의 흐름으로 연결합니다.
01 / UNDERSTAND
핵심 개념
입력 표현은 Attention과 FFN을 지나며 바뀝니다. 잔차 연결과 정규화가 각 계산 주변에 놓이고, 이런 블록을 여러 층 쌓아 더 복잡한 문맥 표현을 만듭니다.
오늘은 정확한 구현 순서가 모델별로 다를 수 있다는 점을 기억하며, 각 부품이 해결하려는 문제에 집중합니다.
Transformer는 여러 계산을 쌓아 문맥 표현을 만듭니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
토큰 임베딩과 위치 정보를 입력으로 준비합니다.
02
Attention이 다른 위치의 Value를 가져옵니다.
03
FFN이 위치별로 가공한 표현을 다음 층에 보냅니다.
03 / EXPLORE
직접 실험해 보기
블록의 각 단계를 눌러 입력과 출력이 어떻게 이어지는지 설명해 보세요.
LIVE EXPERIMENT · 05
단계를 눌러 흐름 따라가기
토큰
입력을 작은 단위로 준비합니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
위치 사이 정보를 직접 섞는 부분은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.