Weights & Biases Korea (이하 W&B)는 생성형 AI 관련 기술 백서의 최신판인 ‘생성형 AI 애플리케이션의 평가와 Observability’를 발간했다.

본 백서는 W&B가 제공하는 생성형 AI 애플리케이션의 기록, 실험, 평가를 위한 제품인 ‘위브(Weave)’의 개발 및 운영 경험과 글로벌 팀의 생성형 AI 애플리케이션 관련 지식을 집약한 결과물이다. 특히 LG CNS는 현업에서의 적용 사례와 인사이트를 적극 반영하며, 실질적인 기여를 더했다.

※ 백서 다운로드(PDF 버전): https://wandb.ai/site/resources/whitepapers/evaluate-observe-gen-ai-apps-ko

‘생성형 AI 애플리케이션의 평가와 Observability’ 기술 백서 개요

생성형 AI 기술의 급속한 발전과 함께 RAG 시스템, AI 에이전트 등 생성형 AI 애플리케이션에 대한 관심이 높아지고 있다. 그러나 이러한 애플리케이션을 구현하고 운영할 때 허위 답변, 의도하지 않은 행동, 프라이버시 및 보안 문제 등 다양한 리스크가 발생할 수 있다. 따라서 프로덕션에 투입하기 전에 애플리케이션을 적절히 평가하고, 프로덕션 가동 이후에도 지속적으로 모니터링하고 관리할 수 있는 가시성을 확보하는 것이 필수적이다.

본 백서에서는 RAG 시스템과 AI 에이전트를 구체적 사례로 삼아 생성형 AI 애플리케이션의 평가와 Observability에 대한 최신 지식을 정리했다. 본 백서를 통해 독자들이 다음과 같은 질문에 대한 답을 얻을 수 있도록 돕고자 한다.

- 생성형 AI 애플리케이션이란 무엇인가
- 생성형 AI 애플리케이션의 평가 및 Observability란 무엇인가
- 더 높은 성능과 안전성을 갖춘 RAG를 구현하기 위해 필요한 것은 무엇인가
- AI 에이전트란 무엇이며, 그 평가 및 Observability는 어떻게 확립할 수 있는가

기술 백서 목차

- Easy to demo, hard to productionize?
- Observability & Evaluation in Generative AI Applications
- RAG의 평가와 Observability: RAG란 무엇인가?, RAG 시스템의 구체적인 사용 사례, RAG 시스템의 평가 방법, RAG 시스템의 성능 저하 원인과 개선방법
- AI 에이전트 평가와 Observability: AI 에이전트의 디자인 패턴, AI 에이전트의 구체적인 사용 사례, AI 에이전트의 평가 방법

Weights & Biases 소개

Weights & Biases, Inc.는 미국 샌프란시스코에 본사를 두고 있으며, 엔터프라이즈급 ML 실험 관리 및 End-to-End MLOps/LLMOps 워크플로를 포괄하는 개발 및 운영자 플랫폼을 제공하고 있다. W&B는 LLM 개발, 이미지 세분화, 신약 개발 등 다양한 딥러닝 사용 사례를 지원하며, NVIDIA, OpenAI, Toyota 등 국내외 80만 명 이상의 Global ML 개발자들이 신뢰하는 AI 개발의 새로운 업계 표준 Best Practice로 각광 받고 있다.

W&B 한국어 홈페이지: https://kr.wandb.com
W&B 백서 다운로드: https://wandb.ai/site/resources/whitepapers/evaluate-observe-gen-ai-apps-ko

웹사이트: https://wandb.ai/site