내부 연구 프로젝트

주요 기능

• 녹음 네 개로 음역 측정 — 문장 읽기·편한 음·가볍게 노래하기·사이렌(가장 낮은 음에서 높은 음까지) 네 문구를 녹음하면, 노래 소리 문구로만 음역을 잰다. 말소리로 재면 음역이 낮고 좁게 잡혀 곡이 움츠러들기 때문이다. 녹음 직후 측정 음역(예: D3~A4)을 보여 주고, 너무 짧거나 음이 이어지지 않는 녹음은 다시 받는다.
• 여러 명이 나눠 부르는 한 곡 — 가사 단락을 참여자에게 배정하고, 사람마다 변환한 보컬을 단락 경계에서 짧게 교차 페이드해 잇는다. 함께 부르는 단락은 겹쳐 섞는다.
• 로컬 LLM 작사·곡 설계 — 제목·분위기·장르로 가사를 쓰거나 고객이 쓴 가사를 다듬는다. 소형 모델(gemma-4)이 1순위, 실패하면 27B 로 넘긴다. 노래 언어 9종, 빠르기·곡 길이는 '자동'을 기본으로 고르기 쉬운 몇 개 값만 둔다. 힙합·랩은 마디당 음절 수로 곡 길이를 따로 계산한다.
• 음 이탈 방지 — 참여자 음역·한 옥타브 폭·5도 넘는 도약 금지 같은 규칙을 작곡 모델과 설계 LLM 에 함께 건다. 생성된 보컬의 음역을 재어 옥타브를 맞추고, 그래도 5반음 넘게 벗어나거나 긴 고음·12반음 급등이 있으면 다시 만든다. 변환 뒤에도 급등을 다시 검사한다.
• 가사 검수 — 생성곡을 Whisper 로 받아써 주문 가사와 비교하고, 언어별 기준을 넘는 시도만 통과시킨다. '의/에', 'ㅐ/ㅔ'처럼 발음이 같은 표기는 같게 본다. 받아쓴 단어 시각은 Shorts 자막과 악보에도 쓴다.
• 납품물 — 완성곡·MR·가사, 그리고 AI 가이드 보컬을 자동 채보한 가사 포함 악보 PDF(LilyPond). 이메일 링크와 '내 음악'에서 받는다.
• 30초 Shorts 자동 공개 — 보컬 비율과 에너지로 하이라이트를 골라 9:16 영상과 가사 줄 자막을 만든다. 주문 때 참여자 전원의 동의를 받고, 주문자가 '이대로 확정'을 누른 뒤에만 공식 채널에 올린다. 언제든 공개를 취소할 수 있다.
• 수정과 원본 녹음 보관 — 최초 납품 후 14일 안에 3회까지 수정(재생성)할 수 있다. 원본 녹음은 암호화해 두었다가 확정·수정 소진·기간 종료 때 지우고, 중간 파일은 납품 뒤 바로 정리한다.
• 실패를 고칠 수 있게 — 실패를 가사·녹음·시스템으로 나눠, 가사 문제는 고객이 가사를 고치거나 AI 다듬기로 다시 제작하고, 녹음 문제는 재녹음, 시스템 문제는 워커가 몇 분 뒤 자동으로 두 번 더 시도한다.
• 결제·세무 — 토스페이먼츠 원화·달러(해외카드·PayPal) 결제. 승인 응답이 끊기면 '승인 확인 중'으로 두고 워커가 결제사에 다시 물어 마무리한다. 웹훅 본문은 믿지 않고 재조회해 반영하며, 부분·전액 취소와 과세·영세율로 분류한 매출 원장을 남긴다.
• 보안 기본값 — CSP 와 프레임 차단, 업로드 파일 머리 바이트 검사와 재생목록 위장 차단, 주문 조회 열쇠는 헤더로만, 관리자 화면은 VPN 대역 밖에서 404. 해외 접속은 처음 화면을 영어로 띄운다.
• 한 대의 GPU 를 나눠 쓰기 — 주문이 들어오면 바로 비서의 27B 를 내리고 음악 엔진을 빌린다. 한 번 빌리면 대기 중인 작업을 이어 처리하고, 준비 단계는 GPU 대기 2건까지만 앞서 해 둔다. 실측 기준 2명 64초 곡 1건에 약 7분, 가사 일치율 0.975.
• 주문량에 맞춘 확장 — 고객 요청 건수가 늘면 LLM 서버를 추가할 예정이다. 작업 집어 가기와 결제 반영은 DB 잠금으로 한 줄로 세워 두어, 처리 기계가 늘어도 같은 주문을 두 번 만들지 않는다.

구조 · 주문 1건

주요 기능

• 세 갈래 응답 경로 — 소형 라우터가 확신할 때만(0.8 이상) 직접 답하거나 조회 도구 하나를 바로 실행하고(수 초~20초), 나머지는 27B ReAct 루프(최대 5스텝)로 보낸다. 도구가 필요한 요청에 도구 없이 쓴 답은 버리고 다시 시킨다.
• 버튼 없는 실시간 음성 대화 — 계속 듣다가 말이 끝나면 답하고, AI 가 말하는 중에 끼어들면 멈춘다. "응·그래" 같은 맞장구는 끼어들기와 구분해 하던 말을 이어 가고, 끊긴 답은 실제로 들린 부분까지만 기억한다. 실측 기준 말을 마친 뒤 약 2초 안에 첫 음성이 나오고, 끊으면 0.5초 안팎에 멈춘다.
• 내 목소리만 듣는 모드 — 약 45초 목소리를 등록하면 등록된 사람의 말만 받아들인다. 프로필은 암호화해 로컬에 두고, 쓸수록 목소리와 발음 습관(예: 잘못 인식되는 용어)을 배워 인식이 나아진다. 다만 화자 인식은 권한 근거로 쓰지 않아, 음성으로는 조회만 하고 주문·발송은 하지 않는다.
• 확인한 사실만 말하기 — 날씨·주가·일정 같은 실시간 질문은 "확인해 볼게요"로 기다림을 가린 뒤 조회 결과만 근거로 답하고, 조회에 실패하면 수치를 지어내지 않는다. 주식 질문은 서버가 자료 수집·계산·문장 구성까지 끝낸 브리핑 도구 하나로 보내 모델의 선택 실수를 줄였다.
• 시간 한도 안의 답 보장 — 남은 시간이 부족하면 도구를 멈추고 모은 결과로 답을 쓰며, 그래도 비면 성공한 조회 결과로 부분 답을 만든다. 실행은 연결과 분리돼 있어 폰 연결이 끊겨도 끝까지 진행되고, 재접속하면 이어받는다.
• 장기 기억 — 대화에서 지속되는 사실(이름·취향·일정 등)을 추출해 벡터 DB 에 쌓고, 실측으로 정한 유사도 기준을 넘는 것만 꺼내 쓴다. 거의 같은 기억은 중복으로 저장하지 않는다.
• 먼저 말하기 — 매일 아침 메일·일정·세무 기한·리마인더·보유 종목을 묶은 브리핑(날짜·요일 표현은 코드로 검증·교정), 매 정시 새 메일 정리, Google Tasks 와 연동한 리마인더 D-day 알림.
• 사업자 비서 — 말·영수증 사진·카드 내역 파일로 거래 원장 기록(부가세 역산), 견적·청구서 발행과 미수금 알림, 문서 보관과 의미 검색, 순자산과 월간 보고서.
• 금융 데이터와 전략 검증 — 전 종목 일별 시세를 자체 수집해 조건 선별과 백테스트를 한다. 백테스트는 전일까지의 정보만 쓰고 체결 순서를 알 수 없으면 불리한 쪽으로 가정한다. 새 설정은 네 구간에서 모두 기존보다 나아야 후보가 되고, 실제 주문 없이 매일 섀도 운용으로 표본 외 성적을 쌓으며, 반영은 사람이 결정한다. 대화로 내는 주문은 자동 승인 설정과 무관하게 사람이 직접 승인해야 한다.
• 작사·작곡·음원 생성 — 원하는 곡을 말이나 글로 설명하면 27B 가 섹션·코드 진행·BPM·조성을 담은 곡 설계도(JSON)를 만들고 가사를 쓴 뒤, 음악 생성 모델 ACE-Step 1.5 가 보컬이 들어간 음원을 만든다. 설계도는 스키마로 검증하고, 응답이 잘리거나 형식이 틀리면 사유를 붙여 다시 요청한다. 실측 기준 30초 곡의 음원 생성 단계는 약 45초다.
• 한 대의 GPU 를 나눠 쓰는 교대 운용 — 메모리 32GB 에 27B 와 음악 모델을 함께 올리면 메모리가 부족해, 음원 작업 동안만 27B 를 내리고 음악 엔진을 올렸다가 끝나면 되돌린다. 그동안 대화는 소형 모델 경로로 계속된다. 생성은 기본적으로 밤(22:00~05:30)에 몰아 하고, 낮에 들어온 요청은 설계·작사까지 해 두고 대기열을 비워 다른 작업을 막지 않는다. 급하면 [지금 생성]으로 바로 돌린다.
• 참고 음원 분석 작곡 — 유튜브 링크 여러 개와 비중을 주면 곡마다 BPM·조성·코드 진행·구조·에너지·음색을 분석해 목표 특성을 만들고, 그 특성에 맞춰 코드 진행과 구조를 새로 설계한다. 참고곡의 멜로디나 코드 진행은 그대로 가져오지 않는다. 완성곡을 같은 분석기로 다시 분석해 참고곡과 지나치게 비슷하면 경고한다(복제 가능성을 거르는 보조 지표이며 법적 판정은 아니다). 참고 음원은 개인 분석용으로만 보관한다.
• 내 목소리로 부르기 — 본인 또는 허락받은 사람이라는 동의를 남긴 뒤 30초 안팎의 목소리를 등록하면, 생성곡이나 갖고 있는 노래에서 보컬을 분리(Demucs)하고 음색을 바꿔(Seed-VC) 반주와 다시 합친다. 키는 ±12 반음까지 조정한다. 등록한 목소리는 암호화해 로컬에만 두고, 결과물은 개인 청취용이다.
• 스스로 빨라지는 비서 — 매일 새벽 전날의 응답 시간·도구 실패율·부정 피드백을 진단해 보고하고, 느리게 처리된 단순 질문은 라우터 예시로 학습해 다음부터 빠른 경로로 보낸다. 평가셋 정확도가 떨어지면 자동으로 되돌리며, 코드는 스스로 고치지 않는다.

구조 · 채팅 처리

처리 흐름 · 실시간 음성

• 마이크 스트림16kHz · 20ms 조각
• 음성 감지silero VAD
• 화자 확인등록된 목소리만
• 음성 인식Whisper · 발음 교정
• 턴 판정어미 · 무음 규칙
• 답 생성gemma-4 · 조회 도구
• 문장 단위 합성첫 문장부터 재생

처리 흐름 · 음원 제작

• 요청곡 설명 · 참고 음원 · 목소리
• 참고 음원 분석librosa · 템포·조성·코드
• 곡 설계27B · 섹션·코드·BPM
• 작사섹션별 가사
• GPU 교대27B 내림 · 밤 배치
• 음원 생성ACE-Step 1.5
• 내 목소리 변환Demucs · Seed-VC
• 결과 검사파일 검증 · 독창성 지표

코드 · 통계LLM 판단검증 게이트

※ 금융 기능은 기술 레퍼런스입니다. 투자 자문이나 매매 권유가 아니며, 어떤 수익도 보장하지 않습니다.

처리 흐름

• 수집뉴스 RSS · DART · KIS
• 정규화표준 스키마 · 기업 매칭
• AI 추출규칙 파서 + 로컬 LLM 풀
• 온톨로지 검증20 이벤트 · 10 관계
• 지식 승격중복 병합 · 증거
• RAGbge-m3
• 시장 반응초과수익 · 수급
• 인텔리전스근거 참조 인사이트
• 리포트일간 · 주간

코드 · 통계LLM 판단검증 게이트

구조 · 승격 경로

※ 기술 레퍼런스입니다. 투자 자문이나 매매 권유가 아니며, 어떤 수익도 보장하지 않습니다.

• 시세 · 티커 · WS 수집1분봉 → DB · Redis
• 시장 상태 분류레짐 라벨
• 종합 판단규칙 + LLM
• 안전 스위치LIVE 단일 플래그 · 포지션 상한
• 실행페이퍼 / 섀도 / 실거래

※ 기술 레퍼런스입니다. 투자 자문이나 매매 권유가 아니며, 어떤 수익도 보장하지 않습니다.

구조

• 텔레그램 봇코칭 · 분석 · 결제
• FusionAgent모델 위임
• 서명 토큰임시 · 무상태
• 읽기 전용 조회DB 쓰기 권한 없음
• 서버 SVG 렌더관계 네트워크
• WebApp / PC페이지별 CSP