5년차 AI 엔지니어입니다. AI 모델을 만드는 일에서 시작해, 지금은 모델이 실제로 동작하는 시스템을 만듭니다. LLM 에이전트의 실행 런타임과 오케스트레이션, 메모리, 품질 평가까지 전 계층을 설계하고 구현합니다.

멀티팟 환경에서 AI 에이전트를 동적으로 등록·배포·실행하는 실행 런타임입니다. 에이전트 관리 서버와 프로덕션·개발 샌드박스를 프로세스 격리로 나눈 3서버 구조 위에서, Redis Pub/Sub 동기화와 FastAPI 서브앱 동적 로딩으로 서버 재시작 없는 배포를 실현했습니다.

주요 성과

• 금융·공공·엔터프라이즈 7개 고객사 / 9개 프로젝트에 적용된 실행 런타임 (주 개발자)
• 도구를 이름·스키마·실행부 3요소로 규약화해 코어 수정 없이 신규 도구를 편입하는 플러그인 구조 확립
• Redis Pub/Sub 이벤트 버스로 Multi-Pod 실시간 배포 동기화 + Distributed Lock으로 배포 실패율 0% 달성
• FastAPI 서브앱 동적 로딩으로 서버 재시작 없이 기능 추가·교체 — 사용자 정의 에이전트 API·커스텀 LLM·알고리즘 스크립트까지 무중단 배포
• 프로바이더 무관 LLM 어댑터 계층 (Azure/AWS Bedrock/Anthropic/Google/OpenAI) + Redis Stream 기반 SSE 토큰 스트리밍
• 구조화 로깅·OTLP 트레이싱 등 관측성 계층과 로그 수집 워커(배치 flush · At-least-once)를 단독 개발, 핵심 모듈 테스트 1.6만 줄 이상 작성

에이전트가 여러 도구·서브에이전트를 조율하고, 나아가 에이전트가 스스로 에이전트를 만들어 배포·검증·디버깅하는 자율 제어 체계를 설계·구현했습니다. 관리 플레인(저작·배포)과 런타임 플레인(실행·스트리밍)을 분리한 2-플레인 아키텍처로 인증·권한 경계를 확보하고, 되돌릴 수 없는 상용 배포만 사람이 승인하도록(HITL) 자율성과 통제의 경계를 명시적으로 그었습니다.

주요 성과

• 오케스트레이션 계층 설계·구현 — 의도 분류 → 도구 선택 → 병렬 실행 → 서브에이전트 위임
• 추론 모델/일반 모델별 도구 선택 전략을 이원화해 백본 모델 교체 시 시나리오 무수정 대응
• 외부 MCP 서버 30종 이상(쿠버네티스 제어, 관측성, 코드 편집 등)을 표준 규약으로 에이전트 도구화
• 자율 에이전트 하네스 — 저작 → 검증 → 배포 → 실행 테스트 → 로그 기반 디버깅까지 스스로 도는 풀 라이프사이클 루프
• 컨텍스트·비용 효율화 — 작업별 절차 문서를 온디맨드 로드하는 스킬 체계로 시스템 프롬프트 26% 감축 (69,943자 → 51,449자), 기능 회귀 0
• 글래스박스 — 추론 과정·도구 호출·코드 diff를 실시간 스트리밍으로 노출, 추론 요약을 2경로 하이브리드로 추출해 프로바이더 무관하게 제공

에이전트가 턴·세션을 넘어 사용자 맥락을 유지하도록 하는 독립 사용자 기억 서비스입니다. 현재 대화를 토큰 예산 안에서 원문 또는 압축본으로 제공하는 단기 컨텍스트(STM)와, 사용자 취향·지난 대화를 저장·검색하는 장기기억(LTM)으로 분리했습니다. 무한 누적(append-only) 구조가 컨텍스트를 오염시키는 문제를 실사용 로그로 진단해 카테고리 관리형 구조로 재설계한 결론을 PostgreSQL(pgvector) 기반 서비스로 구현했으며, 장기기억 파트를 전담했습니다.

주요 성과

• 저장 전 검증 게이트 — 추출된 기억을 독립 판정 LLM으로 검증 후 저장(판정 기준은 원문 지지가 아닌 귀속·신규성). 어시스턴트 제안이 사용자 생각으로 둔갑해 다음 추출로 증폭되는 오염 루프를 쓰기 시점에 차단
• 무한 누적 대신 선호·대상·환경·교훈 4축 카테고리 관리형 기억 — 저장뿐 아니라 갱신·삭제까지 에이전트가 자율 수행하는 기억 도구를 MCP + REST 이중 표면으로 제공
• 매 턴 주입 예산 관리 — 카테고리 기억에 글자·건수 상한을 두고 잘림을 모델에 명시적으로 고지, 사용자 선호가 조용히 누락되는 손실 제거
• 스코프 정규화 — 진입점마다 다른 사용자 식별 형식을 단일 계층에서 정규화해 같은 사용자의 기억이 두 벌로 갈리는 문제 차단. 조직 스코프는 프라이버시 판단으로 의도적 배제(기억은 본인 것만)
• 오픈소스 메모리 엔진(mem0)을 벤더링하고 검증 게이트·어댑터를 최소 침습 훅으로 장착 — 미장착 시 벤더 원형 그대로 동작하는 안전한 확장 구조
• 백그라운드 적재·보존 스윕 워커와 관리자 런타임 설정(프롬프트 저장·검증 포함) — 재배포 없이 운영 중 프롬프트·정책 교체

에이전트·RAG 품질을 정량 측정하는 평가 서비스를 단독 개발했습니다. 검색 정확도(Recall)와 생성 품질(RAGAS 계열 메트릭)을 자동 측정하고, 평가용 QnA 데이터셋 자동 생성 파이프라인까지 구축해 전 고객사 서비스의 품질 검증에 사용됩니다. 현재는 평가 데이터셋·평가 실행·생성 프롬프트·판정 기준을 도메인으로 분리한 DB 기반 v2로 전면 재설계해 기존 버전과 병행 운영 중입니다.

주요 성과

• RAGAS 라이브러리 직접 의존 없이 경량 자체 구현 (프롬프트 규격은 준수) — 버전·프로바이더 종속 제거
• 평가 재현성을 위한 의도적 탈-LLM 설계 — LLM 호출을 의도 추출 1회로 한정하고 요청 조립을 결정론적 상태머신으로 전환, 파싱 실패 원천 제거
• LLM-as-judge self-bias 회피 원칙 수립 — 평가 모델과 대상 모델의 패밀리 분리를 가이드하고 모델별 점수 차이가 정상임을 문서화
• 측정값 자체가 틀렸던 결함을 근본 수정 — 특정 서비스 Recall이 0으로 오측정되던 문제를 규명·수정, 실데이터 97/100건 교정 및 기존 정상 케이스 회귀 0
• LLMOps — 사내 LLM 게이트웨이용 커스텀 DSPy LM 어댑터 구현, BootstrapFewShot·MIPROv2로 프롬프트 자동 최적화, 배포 산출물 번들 369KB → 175KB 감축
• v2 전면 재설계 — 평가 데이터셋·실행·생성 프롬프트·판정 기준의 도메인 분리, FastAPI + SQLAlchemy 2.0(async) + PostgreSQL 기반, alembic 마이그레이션으로 스키마 이력 관리
• 재현 가능한 평가 이력 — 실행 시점 판정 기준 스냅샷·전역 실행 큐·구조화된 실행 오류로 사후 추적성 확보, 검색·응답·판정 워커가 gold 대조·판정 분류·집계 로직을 공유