Microsoft Foundry IQ
Azure AI Search 기반
Foundry IQ, 무료 5천만 토큰의 진짜 의미를 확인했습니다
Microsoft가 “무료로 시작할 수 있다”고 강조하는 Foundry IQ. 월 5천만 토큰 무료가 맞긴 합니다. 그런데 그게 전부가 아닙니다. 공식 가격 페이지와 벤치마크 보고서를 직접 뜯어봤더니 숫자가 좀 다르게 보였습니다.
Foundry IQ가 뭔지 한 줄로 정리하면
Foundry IQ는 Microsoft Foundry 안에 내장된 에이전트용 지식 레이어입니다. 기업이 보유한 SharePoint, Azure Blob Storage, OneLake 같은 내부 데이터를 AI 에이전트가 검색·참조할 수 있도록 연결해주는 역할을 합니다. 쉽게 말하면 “에이전트의 기억 저장소”를 기업 데이터 위에 얹는 구조입니다.
기존 RAG(검색 증강 생성) 방식과 다른 핵심 포인트는 하나의 지식 베이스(Knowledge Base)를 여러 에이전트가 공유할 수 있다는 점입니다. 기존에는 에이전트마다 각각 검색 인프라를 붙여야 했는데, Foundry IQ는 단일 진입점 하나로 최대 10개 지식 소스를 한꺼번에 묶습니다. (출처: Microsoft Learn, Foundry IQ 공식 문서, 2026.02.27)
핵심 구성 요소는 세 가지입니다. 지식 베이스(Knowledge Base)가 최상위 오케스트레이터 역할을 하고, 지식 소스(Knowledge Source)가 실제 데이터 연결을 담당하며, 에이전틱 검색(Agentic Retrieval)이 복잡한 질의를 여러 하위 쿼리로 분해해서 병렬 실행합니다. 3단계 처리 구조라고 보면 됩니다.
💡 공식 발표문과 실제 아키텍처를 같이 놓고 보니 이런 차이가 보였습니다.
Microsoft는 Foundry IQ를 “제품”이 아닌 “아키텍처 레이블”로 설계했습니다. 별도로 구매하거나 온·오프할 수 있는 SKU가 아니라, Azure AI Search + Azure OpenAI + Foundry Agent Service 세 서비스가 묶여 작동하는 통합 레이어입니다. 이 점이 비용 구조를 복잡하게 만드는 출발점입니다.
무료 5천만 토큰, 어디에만 해당하는 얘기인가
Microsoft 공식 가격 페이지에는 이렇게 나와 있습니다. “에이전틱 검색 추론 토큰: 월 첫 5천만 토큰 무료, 이후 100만 토큰당 $0.022.” (출처: Azure AI Search pricing, azure.microsoft.com) 검색 추론 토큰만 봤을 때는 맞는 말입니다.
문제는 Foundry IQ가 검색 추론 토큰 단 하나로 돌아가지 않는다는 점입니다. 실제 Azure 청구서에 찍히는 항목을 나열하면 Azure AI Search 서비스·티어 요금, 에이전틱 검색 추론 토큰, Azure OpenAI 쿼리 계획용 LLM 토큰, 응답 합성(Answer Generation)용 LLM 토큰, Azure Blob Storage 저장 용량, 네트워크 전송 비용, Azure Monitor 로그 비용, Foundry Agent Service 런타임 컴퓨트 비용까지 총 8개 항목입니다. (출처: Azure AI Foundry Pricing Guide PDF, Microsoft, 2025.08)
| 청구 항목 | 무료 구간 | 유료 구간 |
|---|---|---|
| 에이전틱 검색 추론 토큰 | 월 5천만 토큰 | 100만 토큰당 $0.022 |
| 쿼리 계획 LLM (gpt-4o 등) | 없음 | Azure OpenAI 별도 청구 |
| Azure AI Search 서비스 티어 | Free 티어 존재 | Basic부터 $73.73/월~ |
| Azure Blob Storage | 일부 무료 구간 | GB당 별도 요금 |
| Azure Monitor, 네트워킹 등 | 제한적 | 별도 청구 |
가장 중요한 포인트는 이겁니다. Low 또는 Medium 추론 레벨을 사용하면 쿼리 계획에 LLM이 개입하는데, 이 LLM 토큰 비용은 무료 5천만 토큰과 완전히 별개입니다. 단순 PoC 테스트 수준에서는 큰 금액이 아니지만, 멀티소스에 Medium 레벨을 상시 운영하면 Azure OpenAI 청구가 빠르게 올라갑니다. 실제로 Frames 데이터셋 기준으로 Medium 레벨은 쿼리당 평균 5.6개의 하위 쿼리를 발행합니다. (출처: Foundry IQ 벤치마크 보고서, Azure AI Foundry Tech Community, 2026.03.10)
36% 향상이라는 수치, 어떤 조건에서 나온 건지
Microsoft 공식 기술 블로그에는 “에이전틱 검색이 기존 단일 RAG 대비 평균 36% 더 높은 응답 품질을 달성한다”고 나옵니다. (출처: Foundry IQ — Boost Response Relevance by 36% with Agentic Retrieval, Azure AI Foundry Tech Community Blog, 2026.03.10) 이 수치는 진짜입니다. 단, 조건이 있습니다.
36%는 Minimal 추론 레벨과 Medium 추론 레벨을 비교한 수치입니다. Medium은 LLM 쿼리 계획 + 반복 검색(Reflective Search)까지 모두 켠 상태입니다. 비용이 가장 많이 드는 설정과 가장 저렴한 설정을 비교한 결과가 36%인 셈입니다. 실제 배포 시 비용·레이턴시·품질의 트레이드오프를 고려하면 쓸 수 있는 레벨이 달라집니다.
📊 데이터셋별 Minimal → Medium 응답 점수 변화 (공식 벤치마크)
| 데이터셋 | Minimal | Low | Medium | 향상폭 |
|---|---|---|---|---|
| NQ (단순 사실 검색) | 97 | 98 | 98 | +1% |
| HotpotQA (멀티홉) | 79 | 88 | 91 | +16% |
| SEC-hardest (복잡 금융) | 49 | 50 | 62 | +26% |
| Frames (어려운 RAG) | 54 | 80 | 86 | +60% |
(출처: Foundry IQ 벤치마크 보고서, Azure AI Foundry Tech Community Blog, 2026.03.10)
NQ 데이터셋처럼 “회사 근무 시간은 몇 시부터?” 수준의 단순 질의에서는 Minimal과 Medium 점수가 97 vs 98로 1%p밖에 차이가 없습니다. Medium 레벨로 고정하면 LLM 쿼리 계획 비용이 추가로 발생하는데, 그 비용을 쓰면서 얻는 게 1점이라면 실무에서 합리적인 선택이 아닙니다. 복잡도가 높은 쿼리에만 Medium을 적용하는 방식이 더 현실적입니다.
지식 소스 이름 하나가 정확도를 43% 바꿉니다
Foundry IQ의 에이전틱 검색 엔진은 쿼리를 받으면 먼저 “어느 지식 소스에서 찾을지”를 결정합니다. 이 소스 선택(Source Selection) 단계가 이름과 설명 설정에 크게 좌우된다는 게 공식 내부 실험에서 드러났습니다.
Microsoft 벤치마크 팀의 실험 결과, 지식 소스 이름이 모호한 3자리 약어(예: HR1, LGL, MFG)일 때 정확도가 최대 43% 하락했습니다. 반대로 의도가 명확한 이름(예: accounting_tax_services, human_resources)을 쓰면 이 문제가 거의 사라졌습니다. (출처: Foundry IQ 벤치마크 보고서, Azure AI Foundry Tech Community Blog, 2026.03.10) 이름 하나가 품질의 절반 가까이를 결정하는 셈입니다.
💡 공식 실험에서 나온 지식 소스 명명 원칙
- ✅ 좋은 예:
accounting_tax_services,insurance,legal,product_manuals - ❌ 나쁜 예: 3자리 약어, 영역이 겹치는 이름, 창의적 비유(“knowledge_ocean” 등)
- 이름이 좋으면 설명이 부실해도 버텨줍니다. 반대는 성립하지 않습니다.
- 설명은 과도하게 길면 오히려 소스 선택 단계를 혼란스럽게 만듭니다.
이건 설정 방법론인데, 기존 한국어 블로그에서 거의 다루지 않는 부분입니다. Foundry IQ 도입 초기에 지식 소스를 내부 약어나 프로젝트 코드명으로 등록하면 나중에 검색 품질 문제가 생겨도 원인을 파악하기 어려워집니다. 처음 설계 시 이름 체계를 잡아두는 게 훨씬 중요합니다.
MS 생태계 밖에선 아예 안 보이는 데이터가 있습니다
Foundry IQ가 연결할 수 있는 지식 소스는 Azure Blob Storage, SharePoint, OneLake, 공개 웹(Bing 경유)입니다. 반대로 연결이 불가능한 소스는 Slack, Gmail, GitHub Issues, Zoom 녹화본, Notion, Jira, Confluence입니다. (출처: Graphlit vs Microsoft Foundry IQ 비교 분석, graphlit.com, 2025.11.19)
이 데이터를 Foundry IQ에 연결하려면 Slack 대화를 내보내서 SharePoint에 올리고, GitHub 이슈를 다운로드해서 Azure Blob에 업로드하는 과정이 필요합니다. 업로드 시점에 이미 최신 데이터가 아닌 상태가 됩니다. 에이전트가 어제 오후 Slack에서 결정된 사항을 모르는 채로 답변하는 상황이 생길 수 있습니다.
이 제약은 Foundry IQ의 버그가 아니라 설계 방향입니다. Microsoft 365 환경에 이미 데이터가 통합된 대기업 엔터프라이즈에 맞게 설계됐기 때문입니다. 반대로 Slack·GitHub·Notion 위주로 협업하는 스타트업이나 하이브리드 환경에서는 이 제약이 결정적인 한계가 됩니다. 공식 FAQ에도 SharePoint용 원격 소스는 Copilot 라이선스가 필요하다고 별도로 명시하고 있습니다. (출처: Foundry IQ FAQ, Microsoft Learn, 2026.03.10)
💡 모델 선택 자유도도 같은 논리로 제한됩니다.
Foundry IQ의 쿼리 계획 LLM은 Azure OpenAI의 gpt-4o, gpt-4.1, gpt-5 시리즈만 지원합니다. Google Gemini나 Anthropic Claude를 쿼리 계획에 쓰고 싶어도 공식적으로 지원하지 않습니다. Anthropic 모델은 최근 Azure에 추가됐지만, 쿼리 계획 LLM 지원 목록에는 아직 포함되지 않았습니다. (출처: Foundry IQ FAQ, Microsoft Learn)
Foundry IQ가 실제로 맞는 상황과 맞지 않는 상황
써봤을 때 잘 맞는 그림은 하나로 요약됩니다. 데이터의 80% 이상이 이미 SharePoint나 OneLake에 있고, Azure 인프라를 운영 중인 조직입니다. 인사 정책, 법무 계약서, 제품 매뉴얼 같은 공식 문서 중심의 기업 지식 베이스라면 Foundry IQ가 제공하는 Entra ID 기반 권한 제어와 자동 ACL 동기화가 큰 강점입니다.
반대로 맞지 않는 상황도 분명합니다. Slack·GitHub·Zoom 녹화본처럼 MS 생태계 밖에 핵심 데이터가 있거나, 특정 LLM을 쿼리 계획에 직접 연결해야 하거나, Azure 인프라를 처음 구성하는 팀이라면 시작 단계에서 상당한 러닝커브를 감당해야 합니다. Azure Portal, ARM 템플릿, Entra ID 설정, Azure AI Search 인덱스 스키마까지 한꺼번에 익혀야 하는 구조이기 때문입니다.
개인적인 판단을 덧붙이면, Foundry IQ는 “아직 직접 써보기 전에 기대치를 높이기 쉬운 제품”입니다. 무료 토큰, 36% 향상, 단일 진입점이라는 세 가지 마케팅 메시지가 상당히 매력적으로 들리지만 실제로는 각각 조건이 달립니다. 이 조건들을 먼저 체크하고 시작하면 나중에 비용 예측이 빗나가거나 연결 안 되는 데이터 소스 때문에 재설계하는 상황을 피할 수 있습니다.
💡 도입 전 체크리스트 (공식 문서 기준)
- 핵심 데이터가 SharePoint·OneLake·Azure Blob에 있는가?
- Azure AI Search 서비스 티어 비용(Basic $73.73/월~)을 예산에 포함했는가?
- 쿼리 계획 LLM 비용(Azure OpenAI)이 별도 청구됨을 인지했는가?
- 지식 소스 이름을 명확한 영문 소문자 언더스코어 형식으로 정의했는가?
- 원격 SharePoint 소스 사용 시 Copilot 라이선스 보유 여부 확인했는가?
자주 나오는 질문 5가지
마치며 — 숫자를 확인하고 나서의 정리
Foundry IQ는 꽤 완성도 높은 엔터프라이즈 에이전트 지식 레이어입니다. 36% 성능 향상이라는 벤치마크 수치는 실제로 유의미한 조건에서 나온 진짜 데이터입니다. 무료 5천만 토큰도 있습니다.
그런데 이 두 가지가 동시에 작동하는 건 아닙니다. 무료 토큰 구간에서 최대 성능을 내려면 Medium 레벨을 써야 하고, Medium 레벨을 쓰면 LLM 쿼리 계획 비용이 별도로 발생합니다. 단순 질의 위주라면 Minimal로 충분하고, 그 경우엔 36% 향상도 해당 사항이 아닙니다.
MS 생태계에 데이터가 이미 집중된 조직이라면 Foundry IQ는 지금 당장 써볼 만한 선택지입니다. 반대로 Slack과 GitHub에 핵심 맥락이 더 많이 쌓여 있다면, 도입 전 이 제약을 어떻게 해결할지 설계 단계에서 짚어두는 게 맞습니다.
📚 본 포스팅 참고 자료
- What is Foundry IQ? — Microsoft Learn (2026.02.27)
- Foundry IQ — Boost Response Relevance by 36% with Agentic Retrieval — Azure AI Foundry Blog (2026.03.10)
- Foundry IQ FAQ — Microsoft Learn
- Azure AI Search Pricing — Microsoft Azure
- Microsoft Foundry IQ vs Graphlit 비교 — graphlit.com (2025.11.19)
- Making Sense of Microsoft’s AI Strategy: Work IQ, Fabric IQ, Foundry IQ — James Serra (2026.02.12)
※ 본 포스팅 작성 이후 Microsoft Foundry IQ의 서비스 정책·UI·기능·가격이 변경될 수 있습니다. 수치 및 사양은 2026.03.27 기준 공식 문서 기반이며, 최신 정보는 Microsoft Learn 공식 페이지에서 확인하시기 바랍니다.
댓글 남기기