[CBC뉴스] AI 기반 옵저버빌리티 및 보안 플랫폼을 선도하는 데이터독(DDOG)이 ‘2026 AI 엔지니어링 현황 보고서’를 발표했다.

해당 보고서는 실제 운영 환경에서 AI를 활용 중인 수천 개 조직의 데이터를 분석한 결과물로, AI 시스템이 고도화될수록 운영 복잡성이 누적되는 구조적 문제를 집중 조명한다. 현재 약 10개 기업 중 7개(69%)가 3개 이상의 AI 모델을 사용하고 있으며, 이들 대부분은 점점 더 복잡해지는 에이전트 워크플로우를 함께 운영하고 있다.

운영 환경에서 AI 모델 요청의 약 5%가 실패하고 있으며, 이 중 약 60%는 용량 한계에서 비롯된 것으로 나타났다. 이는 AI 기반 애플리케이션에서의 응답 지연, 오류 발생, 서비스 중단으로 직결되고 있다.

이번 조사에 따르면, 오픈AI는 63%의 점유율로 여전히 가장 널리 사용되는 AI 모델 제공업체로 나타났다. 다만 구글 제미나이와 앤트로픽 클로드의 도입률도 각각 20%, 23% 증가하며 멀티모델 전략이 업계 표준으로 자리 잡고 있다.

AI 에이전트 프레임워크 도입률은 전년 대비 두 배 늘었다. 개발 속도 향상에는 도움이 되지만, 운영 환경에서 관리해야 할 구성 요소가 늘어나는 부담도 커지고 있다.

AI 활용 규모도 확대됐다. 중간 사용 팀의 평균 토큰 처리량은 두 배 이상, 고사용 팀은 네 배 가까이 증가했다.

데이터독의 최고 제품 책임자(CPO) 얀빙 리(Yanbing Li)는 “AI는 초기 클라우드 시대와 매우 유사한 모습을 보이고 있다”며, “클라우드가 시스템의 프로그래밍 가능성을 높였지만 동시에 관리 복잡성을 키웠듯, AI 역시 지금 애플리케이션 계층에서 같은 변화를 일으키고 있다. 결국 경쟁에서 앞서는 기업은 더 나은 모델을 도입하는 데서 그치지 않고, 그 위에 탄탄한 운영 통제 역량을 구축하는 기업이 될 것이다. AI 옵저버빌리티는 10년 전 클라우드 옵저버빌리티가 그랬듯 이제 AI 시대의 필수 인프라로 자리잡고 있다”고 전했다.

Next.js의 제작사이자 AI 웹 애플리케이션 플랫폼인 Vercel의 CEO 기예르모 라우치(Guillermo Rauch)는 “다음 세대의 에이전트 장애는 에이전트의 역량 부족이 아니라 팀의 관찰 능력 부재에서 비롯될 것이다. Vercel은 훌륭한 소프트웨어와 마찬가지로 에이전트에도 동일한 운영 환경의 피드백 루프가 필요하다는 판단 아래 에이전트 인프라를 구축했다”며, “기존 소프트웨어와 달리 에이전트는 LLM이 제어 흐름을 결정하는 구조인 만큼 옵저버빌리티는 단순히 유용한 수준을 넘어 필수적인 요소다”고 밝혔다.

얀빙 리(Yanbing Li)는 “혁신만으로는 충분하지 않다”며, “AI를 신뢰 있게 확장하려면 조직은 GPU 활용률부터 모델 동작, 에이전트 워크플로우에 이르기까지 전체 스택에 대한 실시간 가시성이 필수적이다. 가시성과 운영 통제가 확보될 때 비로소 팀은 신뢰성과 거버넌스를 희생하지 않고도 빠르게 움직일 수 있다. 대규모 환경에서는 어떤 모델을 선택하느냐보다 AI를 어떻게 운영하느냐가 더 중요한 경쟁력이 될 수 있다”고 말했다.