FusionAgent — 다중 모델 오케스트레이션 게이트웨이
요청의 성격을 자동으로 분류해 역할이 다른 모델을 병렬로 실행하고, 신뢰도를 평가해 하나의 응답으로 결합하는 stateless LLM 게이트웨이.
여러 봇 서비스와 로컬 LLM 백엔드 사이에 위치해, 들어온 요청을 분류 → 역할별 에이전트 병렬 실행 → 신뢰도 평가 → 결합 파이프라인으로 처리합니다. 메모리·검색(RAG)은 호출하는 서비스의 책임으로 남겨 두고, 게이트웨이는 오케스트레이션과 안전성에만 집중하도록 경계를 명확히 분리한 점이 설계의 핵심입니다.
차별화 포인트
- 적응형 라우팅 공감 위주 응답과 분석·추론 응답을 자동 분류하고, 필요할 때만 두 모델을 병렬 실행하는 하이브리드 경로로 전환.
- 비용을 아는 결합 게이팅 두 후보 응답의 신뢰도 격차나 유사도가 충분하면 추가 합성 LLM 호출을 건너뛰어, 단일 GPU 환경에서 불필요한 연산을 줄임.
- 장애 격리 복원력 서킷 브레이커와 상태 프로브를 두어, 일부 백엔드가 죽어도 대기 없이 살아있는 모델로 자동 폴백.
- 실시간 토큰 스트리밍 단일 모델 경로는 백엔드 토큰을 그대로 흘려보내 체감 응답속도를 확보하고, 하이브리드는 결합 후 전송으로 완결성을 보장.
- 다층 DB 가드레일 LLM이 생성한 질의를 실행할 때 읽기 전용 권한·구문 검증·대상 테이블 제한을 겹쳐, 민감 데이터 노출을 구조적으로 차단.
- 무중단 설정 반영 모델 주소·정책 등을 파일 변경 시점 기준으로 자동 재적용해, 재시작 없이 운영 중 조정.
Python · asyncio
FastAPI
SSE 스트리밍
Ollama / OpenAI 호환 백엔드
Pydantic
Redis