DAY 49통합과 확장·찾기와 활용
긴 문맥의 함정
문서가 들어갔다고 필요한 내용을 쓴 것은 아닙니다.
01 / UNDERSTAND
핵심 개념
긴 문맥창에 많은 자료를 넣을 수 있어도, 모델이 중간의 중요한 사실을 놓치거나 서로 충돌하는 정보를 잘못 합칠 수 있습니다. 길이 제한과 활용 성능은 다른 문제입니다.
긴 문서 과제는 근거 위치가 앞·중간·뒤에 있을 때 각각 시험해 볼 수 있습니다. 검색, 요약, 문서 분할을 통해 필요한 정보를 더 명확하게 제공하기도 합니다.
긴 문맥은 실제 질문으로 활용 능력을 평가해야 합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
긴 문서의 앞에 날짜 A가 있습니다.
02
중간에 수정된 날짜 B가 있고 뒤에 최종 날짜 C가 있습니다.
03
질문은 최종 날짜이므로 C를 찾아야 합니다.
03 / EXPLORE
직접 실험해 보기
근거 위치를 옮겨도 답변이 같은지 확인하는 평가를 설계하세요.
LIVE EXPERIMENT · 08
답의 근거를 직접 고르기
질문: 최종 확정 일정은 언제인가요?
선택한 근거
초기 일정은 5월 12일입니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
문맥창이 길면 모든 정보 활용이 보장되나요?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Lost in the Middle: How Language Models Use Long ContextsLiu et al. (2023)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.