AI 에이전트 개발 및 MCP 서버 연동: 언어 모델을 이미 운영 중인 시스템에 붙이는 일

데모는 전부 잘 돌아갑니다. 사내 문서를 요약해 준 파일럿은 인상적이었고, 고객 문의에 답하던 프로토타입은 당장이라도 쓸 수 있어 보였습니다. 그러다 실제 CRM, 실제 권한 모델, 실제 데이터를 만나면서 쓸 수 있는 상태가 아니게 됩니다.

그 간극이 곧 작업입니다. 모델이 아닙니다. 모델은 이제 쉬운 쪽입니다. 어려운 쪽은 언어 모델과, 인증·레이트 리밋·테넌시·열람 권한에 관해 나름의 입장을 가진 시스템 사이에 놓인 모든 것입니다.

우리가 구축하는 것

사내 시스템을 위한 MCP 서버

Model Context Protocol은 도구와 데이터를 AI 어시스턴트에 노출하는 개방형 표준이며, 클라이언트가 달라도 방식이 일관됩니다. "어시스턴트마다 별도 연동을 만들지 않고 어떻게 사내 시스템을 쓰게 할 것인가"에 대한 현실적인 답이 되었습니다.

우리는 비즈니스가 실제로 돌리는 것들 위에 운영 등급 MCP 서버를 만듭니다. CRM, 티켓 시스템, 데이터 웨어하우스, 사내 API, 문서 저장소, ERP가 대상입니다. 토큰을 하드코딩한 데모 서버가 아니라, 제대로 된 인증, 기존 시스템이 이미 강제하는 권한을 그대로 따르는 사용자별 인가, 멀티테넌트 격리, 레이트 리밋, 구조화 로깅, 그리고 호출이 실패했을 때 모델에게 쓸모 있는 정보를 주는 오류 표면을 갖춘 서버입니다.

맞춤형 AI 에이전트와 어시스턴트

일을 끝에서 끝까지 처리하는 에이전트입니다. 수신 큐 분류, 서로 어긋난 두 시스템의 대사, 사람이 검토할 문서의 초안 작성, 사내외 자료를 넘나드는 리서치 과제 수행 같은 일입니다. 재미없는 부분을 포함해서 만듭니다. 재시도, 타임아웃, 비용 상한, 쓰기를 수반하는 모든 동작에 대한 멱등성, 그리고 되돌리기 어려운 동작 앞에는 사람의 승인 단계입니다.

자사 콘텐츠에 대한 검색 증강

RAG를 제대로 합니다. 글자 수가 아니라 문서 구조를 존중하는 수집과 청킹, 임베딩과 벡터 검색, 순수 벡터 검색이 정확 일치를 놓치므로 키워드와 시맨틱을 결합한 하이브리드 검색, 리랭킹, 그리고 답변을 확인할 수 있도록 원문으로 돌아가는 인용입니다. 여기에 눈에 띄지 않는 나머지 절반이 붙습니다. 원본 문서가 바뀌는 동안 색인을 최신으로 유지하는 일, 그리고 접근 권한을 지켜 사용자가 원래 열 수 없는 문서가 검색 결과로 새어 나오지 않게 하는 일입니다.

워크플로와 백오피스 자동화

모든 일에 에이전트가 필요하지는 않습니다. 기업이 AI에 기대하는 것의 상당 부분은 분류, 추출, 라우팅입니다. 수신 메일을 읽고 무엇인지 판단하는 일, 비정형 문서에서 구조화된 데이터를 뽑는 일, 설명을 카탈로그 항목에 맞추는 일 같은 것들입니다. 이런 작업은 에이전트보다 저렴하고 안정적이며 평가하기도 쉽습니다. 그쪽이 맞는 답이라면 그것을 만듭니다.

평가, 관측 가능성, 가드레일

평가 체계가 없는 AI 기능은 아무도 개선할 수 없는 기능입니다. 실제 사례로 테스트 세트를 만들고 변경마다 그에 대해 측정하며, 모든 호출을 입력, 도구 사용, 지연시간, 비용과 함께 추적하고, 폭주 루프가 API 청구서를 발견하기 전에 한도를 걸어 둡니다. 프롬프트 인젝션은 에이전트가 신뢰할 수 없는 콘텐츠를 읽으면서 동시에 행동할 수 있게 된 순간부터 실재하는 위험입니다. 악의적인 문서가 파괴적인 동작으로 바뀌지 못하도록 도구 경계를 설계합니다.

모델 제공자를 대하는 방식

한 곳에 묶여 있지 않습니다. Anthropic의 Claude 모델, OpenAI, Google, 그리고 자체 인프라에서 돌리는 오픈웨이트 모델을 모두 다루며, 모델이 교체 가능한 부품이 되도록 연동을 설계합니다. 어떤 모델을 써야 하는지는 작업의 성격, 요구되는 지연시간, 해당 물량에서의 호출당 비용, 그리고 유럽에서는 점점 더 결정적인 요소가 되고 있는 데이터의 이동 허용 범위에 달려 있습니다.

데이터 소재지 제약이 있는 고객사에는 EU 리전이나 자체 하드웨어의 셀프 호스팅 추론으로 배포하며, 그로 인해 어떤 성능을 포기하게 되는지는 있는 그대로 말씀드립니다.

우리가 하지 않는 일

AI 전략 컨설팅이 아닙니다. 무언가의 변혁적 잠재력에 관한 워크숍은 하지 않습니다.

에이전트가 필요 없는 문제에 에이전트를 만들지도 않습니다. 문의를 받는 AI 프로젝트 중 적지 않은 비중은 잘 정의된 API 연동, 검색 색인, 또는 그 밑에 깔린 데이터 품질 문제를 고치는 편이 낫습니다. 그렇게 권하면 우리는 더 큰 계약을 잃고 귀사는 유지보수해야 할 시스템 하나를 아낍니다.

효과가 나는 지점

기술적으로는 있지만 실질적으로는 닿지 않는 사내 지식: 위키, 공유 드라이브, 티켓 시스템에 흩어진 수천 건의 문서, 그리고 어느 것이 최신인지 아는 사람은 휴가 중인 상황입니다.

대량 분류 업무: 지원 큐, 접수 처리, 인바운드 영업, 지원서 검토. 사람이 무언가를 읽고 그것이 무엇인지 판단해 다음으로 넘기는 모든 일입니다.

끝내 연동되지 않은 시스템: 서로 대화해야 할 두 도구가 그러지 못하고, 우회책은 스프레드시트를 든 담당자입니다. 양쪽에 MCP로 접근하는 에이전트가 정식 연동 프로젝트보다 짧은 경로인 경우가 많습니다.

문서 중심 업무: 계약서, 인보이스, 사양서, 규제 제출 서류. 사람의 검토 단계를 둔 추출은 이미 이런 프로세스의 경제성을 바꿀 만큼 신뢰할 수 있습니다.

자사 코드베이스 안에서의 개발 생산성: 사내 도구, 코드 리뷰 지원, 테스트 생성, 그리고 팀의 어시스턴트가 빌드 시스템, 이슈 트래커, 로그에 접근할 수 있게 하는 MCP 서버입니다.

프로젝트 진행 방식

디스커버리, 1~2주. 바꾸려는 프로세스, 관련 시스템, 데이터의 실제 상태를 봅니다. 산출물은 무엇이 실현 가능한지, 해당 물량에서 월 운영비가 얼마인지, 실패 양상이 무엇인지를 담은 문서화된 평가입니다. 만들지 말라는 결론이 나오기도 합니다.

개념검증, 3~6주, 통제된 환경에서 실제 데이터로 진행합니다. 목표는 데모가 아니라 신뢰할 수 있는 평가 결과입니다. 귀사가 고른 사례에 대해 측정된 정확도 수치가 나옵니다.

운영 구축, 보통 8~16주이며 인증, 인가, 모니터링, 평가 하네스, 비용 통제, 문서화를 포함합니다. 귀사 인프라에, 귀사 리포지토리에 배포하며 귀사 팀이 처음부터 끝까지 참여합니다.

운영 또는 이관. 런북과 평가 스위트를 넘겨 귀사 팀이 맡거나, 지원 계약으로 우리가 계속 운영합니다. 모델은 바뀌고 프롬프트는 표류하며, 무언가가 조용히 나빠졌다는 것을 알려 주는 것은 평가 스위트입니다.

기술

에이전트와 MCP 작업에는 Python과 TypeScript. 검색에는 pgvector를 얹은 PostgreSQL, Qdrant, Weaviate 또는 OpenSearch. AWS Bedrock, Azure OpenAI, 제공자 API 직접 호출, 그리고 데이터가 나갈 수 없는 경우 vLLM이나 Ollama 기반 셀프 호스팅 추론. OpenTelemetry 기반 트레이싱. 연동 쪽은 귀사의 기존 스택이 무엇이든 그것입니다. 실제 작업이 벌어지는 곳이 거기이기 때문입니다.

자주 묻는 질문

MCP 서버란 쉽게 말해 무엇인가요?

데이터베이스 조회, 티켓 생성, 문서 검색 같은 특정 기능을 AI 어시스턴트가 이해하는 표준 형식으로 노출하는 작은 서비스입니다. 하나를 만들어 두면 MCP를 지원하는 어떤 어시스턴트든 별도 연동 없이 그 기능을 쓸 수 있습니다.

MCP 서버를 만들어야 하나요, 일반 API 연동이면 되나요?

AI 어시스턴트 하나가 시스템 하나만 쓰면 직접 연동이 더 간단합니다. MCP가 값을 하는 경우는 여러 어시스턴트나 여러 팀이 같은 시스템을 필요로 할 때, 아직 고르지 않은 도구에도 그 기능을 열어 두고 싶을 때, 또는 권한과 감사 로깅을 한곳에 모으고 싶을 때입니다.

에이전트가 파괴적인 동작을 하는 것은 어떻게 막나요?

여러 층으로 막습니다. 쓰기 도구는 읽기 도구와 분리하고, 쓰기 도구의 범위는 작업이 허용하는 한 최대한 좁힙니다. 되돌릴 수 없는 동작은 사람의 승인 단계를 거칩니다. 모든 호출은 인자와 함께 기록됩니다. 그리고 에이전트는 그 일에 필요한 권한만 가진 서비스 아이덴티티로 실행되므로, 영향 범위가 프롬프트가 아니라 귀사의 인가 모델로 한정됩니다.

운영 비용은 얼마나 드나요?

거의 전적으로 물량과 호출마다 실려 가는 컨텍스트의 양에 달려 있습니다. 디스커버리 단계에서 실제 수치로 모델링합니다. 매 턴 문서 전체를 보내는 설계와 필요한 부분만 검색해 보내는 설계의 차이가 월 비용에서 한 자릿수 배수 차이가 될 수 있기 때문입니다.

데이터를 EU 밖으로 내보내지 않고 운영할 수 있나요?

가능합니다. 주요 제공자가 EU 리전을 제공하고, 오픈웨이트 모델은 직접 통제하는 인프라에서 돌릴 수 있습니다. 대개 성능상의 트레이드오프가 있으며, 없는 척하지 않고 그것이 무엇인지 구체적으로 말씀드립니다.

지난번 AI 파일럿은 운영까지 가지 못했습니다. 이번은 왜 다른가요?

대개 그 파일럿이 모델이 그 일을 할 수 있다는 것만 증명하고 인증, 권한, 오류 처리, 평가, 비용은 건드리지 않았기 때문입니다. 남은 90퍼센트의 작업이 바로 거기에 있습니다. 우리는 모델이 작동한다는 전제에서 출발해 나머지 전부에 시간을 씁니다.

시작하기

바꾸고 싶은 프로세스와 그것이 닿는 시스템을 설명해 주십시오. 에이전트가 적절한 도구인지, 현실적인 첫 버전이 어떤 모습인지, 구축과 운영에 각각 얼마가 드는지 말씀드리겠습니다.

기술 디스커버리 세션을 잡으시려면 문의해 주십시오.