5년차 AI 엔지니어입니다. AI 모델을 만드는 일에서 시작해, 지금은 모델이 실제로 동작하는 시스템을 만듭니다. LLM 에이전트의 실행 런타임과 오케스트레이션, 메모리, 품질 평가까지 전 계층을 설계하고 구현합니다.

멀티팟 환경에서 AI 에이전트를 동적으로 등록·배포·실행하는 실행 런타임입니다. 에이전트 관리 서버와 프로덕션·개발 샌드박스를 프로세스 격리로 나눈 3서버 구조 위에서 Redis Pub/Sub 동기화와 FastAPI 서브앱 동적 로딩으로 서버 재시작 없이 배포합니다.

주요 성과

• 금융·공공·엔터프라이즈 7개 고객사 / 9개 프로젝트에 적용된 실행 런타임 (주 개발자)
• 도구를 이름·스키마·실행부 3요소로 규약화해 코어 수정 없이 신규 도구를 편입하는 플러그인 구조 확립
• Redis Pub/Sub 이벤트 버스로 Multi-Pod 실시간 배포 동기화 + Distributed Lock으로 배포 실패율 0% 달성
• FastAPI 서브앱 동적 로딩으로 사용자 정의 에이전트 API·커스텀 LLM·알고리즘 스크립트를 재시작 없이 배포
• 프로바이더 무관 LLM 어댑터 계층 (Azure/AWS Bedrock/Anthropic/Google/OpenAI) + Redis Stream 기반 SSE 토큰 스트리밍
• 구조화 로깅·OTLP 트레이싱 등 관측성 계층과 로그 수집 워커(배치 flush · At-least-once)를 단독 개발, 핵심 모듈 테스트 1.6만 줄 이상 작성

블로그

• 사용자 코드를 런타임에 import 하는 엔진
• SSE 프레임 파싱을 하루 동안 고친 기록
• 채널 키를 요청 ID로 잡으면 안 되는 이유
• Mount 접두어 매칭이 라우트를 가릴 때

실행 런타임의 에이전트들이 A2A v1.0(JSON-RPC)으로 서로를 부를 수 있게 설계·구현했습니다. 목적마다 따로 만들던 RAG·첨부 검색·웹검색 에이전트를 작은 워커로 나누고, 오케스트레이터가 매 턴 워커의 Agent Card를 LLM 도구로 받아 필요한 워커를 부릅니다.

주요 성과

• 정적 라우터 하나로 모든 에이전트에 A2A 엔드포인트 제공 (에이전트별 API 등록 불필요)
• Agent Card 레지스트리·카탈로그 설계, 설명·사용 기준·예시 3개 미만 카드는 등록 거절
• 워커 추가 시 오케스트레이터 수정 없이 다음 턴부터 도구로 노출
• 호출 상태를 저장하지 않는 HMAC 서명 task_id, 워커별 요청 ID 분리로 연쇄 호출 답변 유실 해결
• 테스트 대화 77건에서 엉뚱한 워커 선택 0건, 실패 8건은 워커나 프롬프트 한 곳 단위로 수정

블로그

• 목적별 에이전트를 A2A 워커로 쪼갠 오케스트레이터
• allowed_agent_ids 가 worker_agent_ids 가 되기까지

에이전트가 턴·세션을 넘어 사용자 맥락을 유지하도록 하는 독립 사용자 기억 서비스입니다. 현재 대화를 토큰 예산 안에서 원문 또는 압축본으로 제공하는 단기 컨텍스트(STM)와, 사용자 취향·지난 대화를 저장·검색하는 장기기억(LTM)으로 분리했습니다. 실사용 로그에서 무한 누적(append-only) 구조가 컨텍스트를 오염시키는 문제를 확인해 카테고리 관리형으로 재설계했고, PostgreSQL(pgvector) 기반으로 구현했습니다.

주요 성과

• 추출한 기억을 저장 전에 독립 판정 LLM으로 검증 (기준: 귀속·신규성), 어시스턴트 제안이 사용자 생각으로 저장돼 다음 추출에서 반복되는 문제 차단
• 선호·대상·환경·교훈 4개 카테고리로 기억 관리, 에이전트가 저장·갱신·삭제하는 기억 도구를 MCP·REST로 제공
• 매 턴 주입하는 기억에 글자·건수 상한, 잘린 경우 모델에 고지
• 진입점마다 다른 사용자 식별자를 한 계층에서 정규화해 기억이 두 벌로 갈리는 문제 해결, 조직 스코프는 프라이버시 문제로 제외
• 오픈소스 메모리 엔진(mem0) 벤더링, 검증 게이트·어댑터는 훅으로 연결해 떼면 원본 그대로 동작
• 백그라운드 적재·보존 스윕 워커, 재배포 없이 프롬프트·정책을 바꾸는 관리자 런타임 설정

블로그

• 한국어 대화에서 영어 기억이 추출되던 이유
• 문장 쌍을 모아 유사도 임계값 0.85를 정한 과정
• 예외를 던지지 않는 실패들
• 오픈소스 13,000줄을 벤더링하기로 한 이유

에이전트·RAG 품질을 정량 측정하는 평가 서비스를 단독 개발했습니다. 검색 정확도(Recall)와 생성 품질(RAGAS 계열 메트릭)을 자동 측정하고, 평가용 QnA 데이터셋 자동 생성 파이프라인까지 구축해 전 고객사 서비스의 품질 검증에 사용됩니다. 현재는 평가 데이터셋·평가 실행·생성 프롬프트·판정 기준을 도메인으로 분리한 DB 기반 v2로 전면 재설계해 기존 버전과 병행 운영 중입니다.

주요 성과

• RAGAS 메트릭 경량 자체 구현 (프롬프트 규격 준수, 라이브러리 버전·프로바이더 종속 없음)
• 재현성을 위해 LLM 호출을 의도 추출 1회로 줄이고 요청 조립은 결정론적 상태머신으로 전환 (파싱 실패 제거)
• LLM-as-judge self-bias 회피 가이드 작성 (평가·대상 모델 패밀리 분리, 모델별 점수 차이 문서화)
• 특정 서비스의 Recall이 0으로 잘못 계산되던 결함 수정 (실데이터 97/100건 교정)
• 사내 LLM 게이트웨이용 커스텀 DSPy LM 어댑터 구현, BootstrapFewShot·MIPROv2 프롬프트 자동 최적화, 배포 번들 369KB → 175KB
• v2 재설계 (평가 데이터셋·실행·생성 프롬프트·판정 기준 도메인 분리, FastAPI + SQLAlchemy 2.0(async) + PostgreSQL, alembic 마이그레이션)
• 실행 시점 판정 기준 스냅샷·전역 실행 큐·구조화된 실행 오류로 평가 이력 추적, 검색·응답·판정 워커의 gold 대조·판정 분류·집계 로직 공통화