컨텍스트

모델이 특정 시점의 입력 데이터(Token)를 해석하고 다음 정답을 예측하기 위해 참조하는 주변 정보 및 가용 메모리 스페이스.

— Attention Is All You Need 논문 및 현대 LLM 아키텍처 명세

"지능이 부족한 AI에게 수백 페이지짜리 오픈북 시험지를 쥐여주며 '제발 이 안에서만 찾아서 대답해라'라고 애원하는 행위." 컨텍스트를 아무리 길게 줘도 AI는 기가 막히게 중간 내용을 까먹고 구라를 친다.(...)

1. 개요

머신러닝, 특히 현대 테크 생태계를 지배하는 대형언어모델(LLM)과 자연어 처리(NLP) 분야에서 모델이 현재 입력받은 데이터를 정확하게 이해하고 추론하기 위해 함께 고려하는 '주변 문맥과 배경 지식'의 총체를 뜻한다. 영문 명칭은 Context. AI에게 '차(Car)'라는 단어를 던졌을 때, 주변 컨텍스트에 '마시다, 녹차'가 있으면 음료로, '운전, 도로'가 있으면 탈것으로 판별해 내는 인공지능의 핵심 심장이다.(...)

2. 컨텍스트 윈도우의 스케일 대전쟁과 RAG의 등장

현대 생성형 AI의 성능은 컨텍스트 윈도우(Context Window), 즉 한 번에 기억할 수 있는 글자 수(토큰 수)의 크기가 결정한다고 해도 과언이 아니다. 라떼 시절 GPT-3급 모델들은 몇 페이지 읽으면 대가리가 리셋되어 대화 앞부분을 까먹는 붕어 기억력을 자랑했으나, 2026년 현재는 수백만 토큰을 한 번에 삼켜 책 수십 권을 통째로 기억하는 괴물 모델들이 판을 치고 있다. 하지만 무작정 컨텍스트를 늘리면 GPU의 황제 엔비디아(NVIDIA)에게 바쳐야 하는 VRAM 비용이 감당 안 되기 때문에, 실무에서는 외부 데이터베이스(Database)에서 질문과 가장 관련된 문서 조각만 칼같이 뜯어와 컨텍스트에 쑤셔 넣어주는 검색 증강 생성(RAG, Retrieval-Augmented Generation) 패턴이 백엔드 아키텍처의 필수 교양으로 자리 잡았다.1

3. 관련 밈 및 드립

3.1. 건초더미 속의 바늘 (Needle In A Haystack)

AI 벤더사들이 '우리 모델은 200만 토큰의 컨텍스트를 지원합니다!'라고 자랑할 때 엔지니어들이 송곳 검증을 위해 쓰는 밈이자 벤치마크 기법이다. 수만 줄의 장황한 텍스트(컨텍스트) 정중앙에 '철수는 오늘 짜장면을 먹었다'라는 뜬금없는 한 줄(바늘)을 숨겨놓고 찾아보라고 시키는 시험인데, 겉으로는 다 기억하는 척하던 AI가 정작 중간에 박힌 바늘을 못 찾고 헛소리를 시전하며 기만극을 벌이다 걸리는 촌극을 뜻한다.

3.2. 컨텍스트 초기화 증후군

AI와 긴밀하게 코드 버그를 잡거나 찐한 대화를 나누던 중, 대화가 길어져 컨텍스트 용량이 꽉 차는 순간 AI가 갑자기 바로 전 단계에서 합의한 규칙과 변수명을 싹 까먹고 '안녕하세요! 무엇을 도와드릴까요?'라며 새침하게 첫인사를 건네는 킹받는 현상이다. 개발자는 졸지에 영혼의 파트너에게 기억상실증으로 버림받은 비련의 주인공이 되어 처음부터 다시 프롬프트를 복붙해야 하는 고통을 겪는다.

4. 여담

  • 인간의 컨텍스트: 인간 개발자들도 코딩 도중 슬랙 메시지 답변을 하거나 동료가 말을 걸면 뇌의 '컨텍스트 스위칭'이 일어나며, 기존 짜던 코드 맥락을 완전히 상실하고 멍을 때리게 된다. AI의 토큰 만료와 소름 돋게 닮아있다.
  • 시퀀스 길이의 저주: Transformer 모델의 핵심인 셀프 어텐션(Self-Attention) 알고리즘은 컨텍스트 길이가 길어질수록 연산량이 기하급수적($O(N^2)$)으로 폭증한다. 즉, 컨텍스트가 2배 늘어나면 컴퓨팅 비용은 4배로 비싸지는 자비 없는 과금 구조를 자랑한다.
  • 롱컨텍스트 과과잉 엔지니어링: 최신 모델들이 책 한 권 분량을 다 읽는다고 하니까, 귀찮은 데이터 전처리(Chunking)를 다 생략하고 사내 매뉴얼 PDF 수백 장을 프롬프트에 무지성으로 통째로 때려 박아 질문을 던졌다가, 단 한 번의 질문에 몇만 원씩 청구되는 영수증을 보고 기겁하는 기획자들이 속출하고 있다.

5. 관련 문서

각주

  1. 실제로 RAG 아키텍처를 구현하다 보면, 멍청한 검색 엔진이 질문과 무관한 쓰레기 문서를 긁어와 컨텍스트랍시고 AI에게 배달하는 바람에 멀쩡하던 모델이 오염되어 단체로 바보가 되는 눈물겨운 튜닝 쇼를 매일 보게 된다.(...) ↩