DAY 25학습 파이프라인·Feed-forward network
각 위치를 다시 가공하기
토큰끼리 섞은 뒤 각 위치의 표현을 변환합니다.
01 / UNDERSTAND
핵심 개념
Attention은 위치 사이 정보를 섞습니다. 그 뒤 Feed-forward network는 각 위치의 벡터에 같은 형태의 작은 신경망을 적용합니다.
보통 선형 변환, 비선형 활성화, 다시 선형 변환으로 구성됩니다. 위치마다 가중치는 공유하지만 입력 벡터가 다르면 결과도 달라집니다.
Attention은 위치를 섞고 FFN은 각 표현을 가공합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
A와 B 위치에 서로 다른 벡터가 있습니다.
02
같은 FFN 가중치를 두 위치에 적용합니다.
03
입력이 달라 출력도 서로 다르게 나옵니다.
03 / EXPLORE
직접 실험해 보기
Attention 단계와 FFN 단계를 번갈아 선택해 역할을 비교하세요.
LIVE EXPERIMENT · 05
단계를 눌러 흐름 따라가기
토큰 표현
각 위치의 벡터를 따로 받습니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
FFN이 위치마다 사용하는 가중치는?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.