테마
01. 프롬프트는 왜 작동하는가
프롬프트가 효과를 가지는 이유는 모델이 지금 받은 질문만 보는 것이 아니라, 함께 제공된 맥락을 바탕으로 다음 출력을 결정하기 때문이다.
1. LLM은 질문 한 줄만 읽고 답하지 않는다
실무에서 사용하는 LLM은 보통 아래 요소를 함께 참고한다.
- 시스템 지시
- 현재 사용자 질문
- 이전 대화 내역
- 첨부된 문서나 코드
- 도구 호출 결과
즉, 모델 입장에서는 "현재 질문"만 따로 존재하는 것이 아니라 하나의 큰 컨텍스트 묶음이 존재한다.
그래서 같은 질문이라도 아래처럼 결과가 달라질 수 있다.
- 아무 맥락 없이 물었을 때
- 역할과 목적을 먼저 준 뒤 물었을 때
- 참고 문서를 첨부한 뒤 물었을 때
프롬프트 엔지니어링은 바로 이 컨텍스트 구성을 다루는 기술이다.
2. attention은 어떻게 이해하면 좋은가?
강의 원문은 "대부분의 현상은 attention 때문에 생긴다"고 설명한다.
입문 단계에서는 이 말을 다음처럼 이해하면 충분하다.
모델은 입력된 토큰들 사이의 관련성을 계산하면서, 지금 어떤 정보가 더 중요할지 반영해 다음 출력을 만든다.
즉, attention을 아주 단순하게 말하면 "어떤 맥락을 더 눈여겨보는가" 와 관련된 메커니즘이라고 볼 수 있다.
이 설명만으로도 다음 현상을 이해할 수 있다.
- 앞에서 정한 말투가 뒤 답변에 계속 남는 이유
- 긴 대화에서 이전 규칙이 새 답변에 영향을 주는 이유
- 관련 없는 정보가 많아지면 출력 품질이 흐려지는 이유
정확한 수학적 구현까지 지금 당장 이해할 필요는 없다.
입문 단계에서는 모델이 현재 컨텍스트 전체를 읽고 우선순위를 잡는다는 점이 더 중요하다.
3. 왜 이전 대화가 이후 답변에 영향을 줄까?
멀티턴 대화에서는 예전 메시지가 다음 답변의 배경 규칙처럼 작용할 수 있다.
여기서 세 번째 질문에는 "쉽게 설명해줘"라는 문구가 직접 들어 있지 않다.
그런데도 모델은 이전 대화에서 받은 가이드를 참고해 같은 스타일을 유지할 수 있다.
이 현상 덕분에 가능한 일은 많다.
- 한 채팅방을 특정 업무 전용으로 세팅해두기
- 원하는 답변 톤을 미리 정해두기
- 반복되는 작업 규칙을 계속 복붙하지 않고 재사용하기
4. 프롬프트가 잘 작동할 때 얻는 이점
맥락이 적절하게 정리되어 있으면 모델은 단순 질답을 넘어 다음과 같은 작업을 더 잘 수행할 수 있다.
| 상황 | 프롬프트가 주는 도움 |
|---|---|
| 문서 작성 | 독자, 톤, 길이, 형식을 맞춘 결과 생성 |
| 요약 | 무엇을 남기고 무엇을 버릴지 기준 제공 |
| 분석 | 비교 기준과 관점을 먼저 고정 |
| 반복 업무 | 같은 규칙을 여러 입력에 재사용 |
예를 들어 법률 문서, 회의록, 고객 응대 문안처럼 형식과 목적이 중요한 작업에서는 프롬프트 구조의 차이가 결과 차이로 바로 이어진다.
5. 맥락이 많아질수록 생기는 부작용
프롬프트 엔지니어링은 강력하지만, 컨텍스트가 많아질수록 항상 좋은 것만은 아니다.
대표적인 부작용은 아래와 같다.
5.1 우선순위가 흐려진다
예전 규칙, 최근 규칙, 참고 자료가 섞이면서 무엇이 가장 중요한지 애매해질 수 있다.
5.2 잘못된 규칙이 오래 남는다
초반에 애매하게 정한 역할이나 잘못된 예시가 뒤까지 계속 영향을 줄 수 있다.
5.3 컨텍스트가 길수록 수정 비용이 커진다
어디서 잘못됐는지 찾기 어려워지고, 수정할 때마다 다시 많은 배경 설명이 필요해진다.
6. 그래서 실무에서는 어떻게 쓰는가?
프롬프트가 작동하는 원리를 이해하면 다음 전략이 자연스럽게 나온다.
- 작업별로 대화방을 분리한다.
- 핵심 규칙은 앞부분에 짧고 분명하게 둔다.
- 입력 데이터와 작업 지시를 섞지 않는다.
- 대화가 길어지면 새 채팅에서 다시 정리한다.
이 전략들은 모두 "모델이 컨텍스트를 함께 읽는다"는 사실에서 나온다.
7. 기억해야 할 한계
프롬프트를 잘 쓴다고 해서 다음 문제가 자동으로 사라지지는 않는다.
- 사실 확인이 필요한 최신 정보
- 고위험 법률, 의료, 금융 판단
- 수학적 증명이나 복잡한 추론 오류
- 근거 없이 그럴듯하게 꾸며내는 환각
프롬프트는 출력의 방향과 품질을 개선하지만, 진실성 자체를 보장하지는 않는다.
핵심 정리
- 모델은 현재 질문만이 아니라 시스템 지시, 이전 대화, 첨부 자료까지 함께 참고한다
- attention은 어떤 맥락이 더 중요할지 반영하는 메커니즘으로 이해하면 입문 단계에서는 충분하다
- 이전 규칙이 이후 답변에 영향을 주기 때문에 프롬프트 설계가 실질적인 효과를 가진다
- 하지만 맥락이 너무 길어지면 우선순위가 흐려지고 출력 품질이 떨어질 수 있다