Responses API가 뭔지 1분 만에 파악하기

OpenAI Responses API는 2025년 3월에 처음 출시된 OpenAI의 새로운 핵심 API 기본 단위입니다. 기존의 Chat Completions API를 ‘진화’시킨 형태로, 단순한 대화 응답을 넘어 에이전트형 애플리케이션을 구축하는 데 최적화된 통합 인터페이스를 제공합니다. OpenAI는 공식 문서에서 “모든 신규 프로젝트에는 Chat Completions 대신 Responses API를 권장한다”고 명시하고 있습니다.

이 API가 등장한 배경에는 Assistants API 베타 개발자들의 피드백이 있었습니다. 기존 Assistants API는 Thread·Run·Step이라는 복잡한 계층 구조를 강제했는데, 이 구조가 오히려 개발 속도를 늦힌다는 지적이 많았습니다. Responses API는 이러한 복잡함을 제거하고 단일 요청 안에서 멀티 툴 호출, 상태 관리, 추론 요약까지 처리할 수 있도록 설계되었습니다.

2026년 3월 5일 GPT-5.4 출시와 동시에 Responses API에는 Tool Search, 내장 Computer Use, 100만 토큰 컨텍스트 윈도우 지원이 추가되면서 사실상 현재 OpenAI의 모든 최신 기능은 Responses API를 통해서만 완전히 사용할 수 있게 되었습니다.

▲ 목차로 돌아가기

Chat Completions와 무엇이 다른가 — 핵심 비교표

가장 많이 받는 질문 중 하나가 “기존 Chat Completions 코드를 굳이 바꿔야 하냐”입니다. 결론부터 말씀드리면, 단순 텍스트 생성만 한다면 당장 바꿀 필요는 없습니다. 그러나 웹 검색, 파일 분석, 코드 실행, MCP 연동, Computer Use 등 에이전트형 기능을 하나라도 쓰고 싶다면, Responses API 없이는 불가능하거나 직접 구현해야 하는 기능들이 대부분입니다.

두 API의 가장 큰 철학적 차이는 “컨텍스트 관리 주체”에 있습니다. Chat Completions는 매 요청마다 전체 대화 기록을 개발자가 직접 배열로 만들어 보내야 합니다. 반면 Responses API는 store: true 옵션 하나로 서버가 컨텍스트를 유지하며, previous_response_id만 넘기면 이전 대화가 자동으로 이어집니다. 이는 토큰 관리 실수로 인한 버그를 원천 차단해 줍니다.

표를 보면 알 수 있듯이, Chat Completions가 Responses API보다 우위에 있는 기능은 현재 없습니다. OpenAI는 공개적으로 Assistants API의 일몰 일정을 2026년 8월 26일로 공표했으며, Chat Completions도 장기적으로는 Responses API로 통합될 방향입니다.

▲ 목차로 돌아가기

2026년 3월 GPT-5.4와 함께 추가된 신기능 3가지

2026년 3월 5일, OpenAI는 GPT-5.4를 출시하면서 Responses API에 세 가지 중요한 기능을 동시에 추가했습니다. 이 기능들은 Chat Completions API에서는 사용할 수 없으며, GPT-5.4 모델을 Responses API로 호출할 때만 활성화됩니다.

① Tool Search — 동적 툴 로딩으로 토큰 낭비 제로

기존에는 모든 함수 정의를 시스템 프롬프트에 미리 나열해야 했습니다. 툴이 50개가 넘어가면 프롬프트 토큰만으로도 수천 토큰이 낭비되는 구조였습니다. Tool Search는 defer_loading: true로 표시된 툴을 모델이 필요할 때만 불러오는 방식으로, 비용과 레이턴시를 동시에 줄여 줍니다. OpenAI 내부 테스트에서는 대규모 툴셋 환경에서 토큰 비용이 절반 이하로 줄어든 사례도 보고되었습니다.

② 내장 Computer Use — 스크린샷 기반 UI 자동화

GPT-5.4에는 computer 툴이 내장되어, 스크린샷을 기반으로 UI를 자동으로 조작하는 에이전트를 구현할 수 있습니다. OSWorld-Verified와 WebArena Verified 벤치마크에서 역대 최고 점수를 기록했으며, 이 기능도 역시 Responses API를 통해서만 제공됩니다. 실제 업무 자동화 분야에서 RPA 툴을 대체할 수 있는 수준의 정확도를 보여 줍니다.

③ 1M 토큰 컨텍스트 윈도우 + Compaction

GPT-5.4는 API에서 최대 100만 토큰의 컨텍스트 윈도우를 지원합니다. 이는 OpenAI 모델 기준 역대 최대 규모입니다. 동시에 /responses/compact 엔드포인트를 통해 장기 대화의 컨텍스트를 자동 압축(Compaction)하는 기능도 제공되어, 긴 에이전트 워크플로우에서 비용을 통제할 수 있습니다.

▲ 목차로 돌아가기

Tool Search 실전 코드: 토큰 비용을 반으로 줄이는 법

Tool Search를 사용하려면 두 가지만 기억하면 됩니다. 첫째, tools 배열에 {"type": "tool_search"}를 추가합니다. 둘째, 나중에 불러올 함수에 "defer_loading": true를 지정합니다. 이 두 줄의 변경만으로 모델은 필요할 때만 해당 툴을 로딩합니다. 아래는 CRM 시스템에 연동된 실전 예시입니다.

Python 실전 예시 — CRM 툴 네임스페이스

from openai import OpenAI
client = OpenAI()
# CRM 네임스페이스: get_customer_profile은 즉시 호출 가능
# list_open_orders는 필요할 때만 로딩 (defer_loading=True)
crm_namespace = {
"type": "namespace",
"name": "crm",
"description": "CRM 고객 조회 및 주문 관리 툴 모음",
"tools": [
{
"type": "function",
"name": "get_customer_profile",
"description": "고객 ID로 프로필을 조회합니다.",
"parameters": {
"type": "object",
"properties": {
"customer_id": {"type": "string"}
},
"required": ["customer_id"],
"additionalProperties": False,
},
},
{
"type": "function",
"name": "list_open_orders",
"description": "고객 ID의 미결 주문 목록을 반환합니다.",
"defer_loading": True,   # ← 핵심: 필요할 때만 로딩
"parameters": {
"type": "object",
"properties": {
"customer_id": {"type": "string"}
},
"required": ["customer_id"],
"additionalProperties": False,
},
},
],
}
response = client.responses.create(
model="gpt-5.4",
input="고객 CUST-12345의 미결 주문을 모두 보여줘.",
tools=[
crm_namespace,
{"type": "tool_search"},   # ← Tool Search 활성화
],
parallel_tool_calls=False,
)
print(response.output_text)

위 코드에서 모델은 list_open_orders가 필요하다고 판단할 때만 해당 함수 스키마를 컨텍스트에 로딩합니다. 요청 초반에는 네임스페이스 이름과 설명만 보이므로, 수십 개의 함수가 있어도 초기 토큰 소모가 최소화됩니다. 응답 객체에는 tool_search_call과 tool_search_output 아이템이 추가되어 어떤 툴이 언제 로딩되었는지 완전히 추적 가능합니다.

Hosted vs Client-Executed Tool Search 선택 기준

툴 목록이 요청 시점에 이미 확정되어 있다면 Hosted 방식을 선택하세요. 서버가 알아서 로딩 결정을 해 줍니다. 반면 사용 가능한 툴이 테넌트 상태나 프로젝트 설정에 따라 달라진다면 Client-Executed 방식으로 애플리케이션이 직접 툴 탐색 결과를 반환해야 합니다. 두 방식 모두 캐시 보존 구조를 따르기 때문에, 어떤 방식을 선택해도 비용 절감 효과는 동일하게 적용됩니다.

▲ 목차로 돌아가기

마이그레이션 체크리스트: Assistants·Chat Completions 이전 완전 가이드

⚠️ 중요: OpenAI는 Assistants API의 일몰 일정을 2026년 8월 26일로 공식 확정했습니다. 현재 Assistants API를 사용 중인 서비스라면 약 5개월의 마이그레이션 시간이 남아 있습니다. Chat Completions는 당장 일몰 계획은 없지만, 신기능이 전혀 추가되지 않으므로 조기 전환을 권장합니다.

Chat Completions → Responses API 마이그레이션 5단계

▲ 목차로 돌아가기

비용 구조 완전 해부 — 캐시 절감 40~80%의 진짜 의미

OpenAI가 공개한 내부 테스트 결과에 따르면, 동일한 워크플로우를 Responses API로 전환했을 때 캐시 활용률이 Chat Completions 대비 40~80% 향상됩니다. 이 수치가 의미하는 것은 단순히 “가끔 싸다”가 아니라, 반복적인 에이전트 루프가 있는 서비스에서 입력 토큰 비용이 절반 미만으로 줄어들 수 있다는 뜻입니다.

캐시 절감이 더 잘 되는 이유는 구조적 차이에 있습니다. Responses API는 컨텍스트를 서버에 저장하기 때문에, 다음 턴에서 이미 캐싱된 토큰을 재활용합니다. Tool Search도 이 캐시 구조를 의도적으로 따르도록 설계되어, 새로운 툴이 발견되면 컨텍스트 끝에만 추가됩니다. 이렇게 하면 캐시된 앞부분 토큰들이 무효화되지 않아 비용 절감이 극대화됩니다.

내장 툴 요금 구조 (참고)

위 요금은 2026년 3월 기준이며, 공식 가격 페이지(platform.openai.com/docs/pricing)에서 항상 최신 정보를 확인하시기 바랍니다. 중요한 점은 내장 툴을 직접 구현했을 때 들어가는 개발·운영 비용과 비교해야 한다는 것입니다. 웹 검색 한 번에 $0.03이라는 숫자는 자체 검색 API 구축 비용과 비교하면 압도적으로 저렴합니다.

▲ 목차로 돌아가기

지금 바로 써야 하는 이유 — 나의 솔직한 총평

솔직히 말하면, Responses API가 처음 출시된 2025년 3월에는 “Chat Completions와 크게 다를 게 없다”는 반응도 많았습니다. 그런데 1년이 지난 지금, 상황이 완전히 달라졌습니다. GPT-5·5.1·5.2·5.3을 거쳐 5.4에 이르기까지, 모든 신기능이 Responses API에만 집중되어 왔습니다. Tool Search, Computer Use, 1M 컨텍스트 윈도우, WebSocket 모드, Skills, Hosted Shell 등 굵직한 기능이 전부 Responses API 전용입니다.

개인적으로 가장 인상적인 변화는 캐시 구조의 설계 의도입니다. Tool Search가 항상 컨텍스트 끝에 새 툴을 추가하도록 설계된 이유는 단순한 기술적 결정이 아닙니다. 이는 비용 절감을 기능의 핵심 원칙으로 내재화한 것입니다. 이런 설계 철학이 앞으로의 기능 추가에도 일관되게 적용된다면, Responses API는 점점 더 비용 효율적인 방향으로 발전할 것입니다.

한 가지 우려는 API 복잡도의 증가입니다. Tool Search의 Hosted/Client-Executed 이분화, phase 필드, Compaction 엔드포인트 등 새로운 개념이 빠르게 추가되고 있어 학습 곡선이 가파릅니다. 그럼에도 불구하고, Assistants API 일몰(2026년 8월)을 고려하면 지금 당장 Responses API에 익숙해지는 것이 가장 합리적인 선택입니다. 나중에 급하게 마이그레이션하는 것보다, 지금 여유 있게 전환하는 편이 훨씬 낫습니다.

▲ 목차로 돌아가기