왜 뛰어난 LLM만으로는 충분하지 않은가

OpenAI와 Anthropic은 지금 치열한 경쟁을 벌이고 있습니다. 모델 성능과 가격, 벤치마크, 개발자 생태계까지 모든 영역에서 경쟁하고 있으며, 안전성 철학과 기업 구조, 차세대 정부 계약을 누가 가져갈 것인가를 두고도 서로 다른 방향을 보여주고 있습니다.

하지만 경쟁과 별개로, 두 회사가 공통적으로 강조하는 메시지는 같습니다.
“아무리 뛰어난 모델이라도, 그것만으로는 충분하지 않다.”

OpenAI

2025년 DevDay에서 샘 올트먼(Sam Altman)은 OpenAI가 앞으로 훨씬 더 엔터프라이즈 시장에 집중하게 될 것이라고 직접 밝혔습니다. 당시 OpenAI가 강조한 것은 단순히 더 뛰어난 추론 성능이나 더 빠른 처리 속도가 아니었습니다. 이제 중요한 것은 모델 자체보다, AI를 실제 기업 환경 안에서 어떻게 연결하고 운영할 것인가라는 점이었습니다.

그리고 2026년 4월, OpenAI 최고매출책임자(CRO) Denise Dresser의 내부 메모가 공개되면서 이러한 방향은 더욱 분명해졌습니다. 메모에는 OpenAI가 단순한 제품 공급업체를 넘어, 기업 운영 전반을 뒷받침하는 인프라 기업으로 자리 잡으려 한다는 내용이 담겨 있었습니다. 더불어, “이제 모델 성능만으로는 충분하지 않다”고 언급하며, 기업 고객들이 실제로 중요하게 보는 것은 AI가 업무 흐름과 제어 체계, 일상적인 운영 환경 안에서 얼마나 자연스럽게 연결되고 실행될 수 있는가라고 설명했습니다.

좋은 모델은 플랫폼의 가치를 높여줍니다. 하지만 기업 시스템과 더 깊게 연결될수록 전환 비용(switching cost)도 함께 높아집니다. 워크플로우와 운영 프로세스가 늘어날수록, 다른 시스템으로 전환하기 어려워지기 때문입니다. 결국 OpenAI가 지향하는 방향은 단순히 AI 모델을 제공하는 기업이 아니라, 엔터프라이즈 운영의 핵심 인프라가 되는 것입니다.

현재 OpenAI는 “Frontier”라는 에이전트 플랫폼을 개발 중이며, 이를 엔터프라이즈 에이전트를 위한 기본 플랫폼으로 포지셔닝하고 있습니다. 또한 DeployCo라는 배포 엔진과 다양한 통합 파트너 네트워크를 구축해, 기업이 AI를 실제 운영 환경에 적용할 수 있도록 지원하고 있습니다.

모델 경쟁은 계속되고 있지만, OpenAI 역시 이제는 모델 성능보다 실제 운영 환경에서의 연결과 실행이 더 중요하다는 점을 강조하고 있습니다.

앤트로픽(Anthropic)

앤트로픽 역시 같은 방향으로 움직이고 있습니다. 다리오 아모데이 (Dario Amodei)는 앤트로픽이 모든 제품 영역을 직접 소유할 필요는 없다고 여러 차례 이야기해왔습니다.

다리오 아모데이가 그리고 있는 방향은 “업무 전반에 자연스럽게 녹아드는 AI”에 가깝습니다. 문서와 엔터프라이즈 도구, 내부 프로세스, 그리고 의사결정 과정까지 AI가 업무 흐름 안에 자연스럽게 스며드는 환경을 의미합니다.

앤트로픽 내부에서도 이런 흐름을 중요하게 보고 있습니다.

“데이터와 애플리케이션, 프로세스, 기술을 AI와 함께 하나로 연결하는 오케스트레이션 구조를 만드는 것은 매우 어려운 일입니다. 워카토는 이를 정말 잘 해내고 있습니다.”Alon Krifcher, Anthropic Solutions Architect Lead

앤트로픽 내부에서도 AI를 실제 비즈니스 환경에 적용하려면 모델 자체만으로는 부족하다는 점을 분명하게 이야기하고 있습니다. 결국 기업들이 고민하는 것도 모델 성능 자체보다, AI를 기존 업무와 시스템 안에 얼마나 안정적으로 연결하고 운영할 수 있는가입니다.

결국 두 회사가 공통적으로 이야기하는 것

AI 모델은 점점 더 보편화되고 있습니다. 이제 중요한 것은 AI를 실제 업무와 시스템 안에서 어떻게 연결하고 활용할 것인가입니다.

LLM은 결국 자신이 학습한 데이터와 주어진 정보 안에서만 동작합니다. 모델에는 학습 데이터와 입력된 정보는 있지만, 기업의 ERP와 CRM, 승인 체계, 비즈니스 로직, 컴플라이언스 정책, 고객 데이터까지 이해하고 있는 것은 아닙니다. 무엇보다 기업 시스템 안에서 직접 작업을 수행하거나, 조직의 권한 체계를 이해하고 따르는 것도 불가능합니다.

그래서 기업에는 AI가 실제 업무를 수행할 수 있도록 연결해주는 안전한 운영 구조가 필요합니다. 모델을 비즈니스 시스템과 연결하고, 적절한 사용자에게만 권한을 부여하며, 정책을 적용하고, 모든 실행 과정을 추적할 수 있어야 합니다. 결국 기업에는 이런 구조를 직접 구축할 역량이나, 이를 안정적으로 지원할 수 있는 플랫폼이 필요해집니다.

기업에 남겨진 과제

OpenAI와 앤트로픽 모두 CIO들에게 비슷한 메시지를 전달하고 있습니다. AI 모델은 출발점일 뿐, 완성형이 아니라는 것입니다. “모든 기업이 AI를 쓰는 단계”와 “AI가 실제 운영 방식을 바꾸는 단계” 사이의 간극을 메우는 기업이 앞으로 경쟁력을 갖게 될 것입니다.

결국 중요한 것은 엔터프라이즈 운영 구조입니다. 이 구조는 크게 세 가지 역할을 해야 합니다.

  • AI를 실제 업무가 이루어지는 시스템과 연결하고
  • 누가 요청했는지에 따라 AI가 볼 수 있는 정보와 수행할 수 있는 작업을 통제하며
  • 전체 실행 과정을 추적하고 감사할 수 있도록 만들어, IT 조직이 운영 주도권을 유지할 수 있게 하는 것입니다.

바로 이런 문제를 해결하기 위해 워카토 엔터프라이즈 MCP가 만들어졌습니다.

워카토는 어떤 LLM이든 기업 환경과 연결할 수 있도록 지원합니다. 14,000개 이상의 애플리케이션과 데이터베이스, ERP, 온프레미스 시스템까지 연동할 수 있으며, 비즈니스 맥락과 사용자 권한, 감사 추적 체계까지 함께 제공합니다.

별도의 마이그레이션 작업이나 새로운 툴 학습 없이도, 기존에 사용하던 AI를 실제 업무 환경에 바로 연결해 활용할 수 있습니다.

OpenAI와 앤트로픽은 지금 차세대 엔터프라이즈 인프라를 만들기 위해 경쟁하고 있습니다. 하지만 기업들은 이미 지금, 그런 구조를 필요로 하고 있습니다.

결국 앞으로의 AI 경쟁력은 어떤 모델을 선택했는가보다, AI를 실제 업무와 시스템 안에 얼마나 자연스럽게 연결하고 운영할 수 있는가에 달려 있습니다.


🎬 YouTube채널 바로가기

Youtube 채널에서도 워카토 코리아 관련 다양한 콘텐츠를 만나보실 수 있습니다.