커머스 AI에서 프런티어 모델로: Hanzo의 인프라 10년

대부분의 AI 회사는 2022년에 시작했습니다. 우리는 2014년에 시작했습니다.

그 간격은 들리는 것보다 큽니다. 12년의 인프라 판단, 실패한 실험, 프로토콜 설계, 현장에서 얻은 프로덕션 직관이 쌓여, 돈으로 살 수 없고 흉내 낼 수도 없는 것이 됩니다. 깊은 아키텍처 지식입니다. 이것은 Hanzo가 전자상거래 추천 엔진에서, 추론 규모로 94+ 프런티어 모델을 돌리기까지 온 기술적 기록입니다.

2014: 토대, Crowdstart와 EARLE

Hanzo는 Crowdstart로 출발했습니다. 커머스 AI 플랫폼이었고, 겉보기에는 좁아 보이는 문제를 안고 있었습니다. 어느 고객이, 얼마에, 언제 살지를 예측하고, 그 예측에 자동으로 행동하는 일입니다.

첫 본격 시스템은 EARLE, Entity-based Adaptive Recommendation Learning Engine(엔티티 기반 적응형 추천 학습 엔진)이었습니다. EARLE은 단순한 협업 필터가 아니었습니다. 상품 계층, 고객 세그먼트, 행동 서열에 걸친 엔티티 그래프를 유지하고, 거래 스트림이 도착할 때마다 간선 가중치를 실시간으로 갱신했습니다. 아래의 datastore는 자체 분산 키-값 계층 위에 지었습니다. 영속 계층에서 지연을 직접 통제하려는 의도된 결정이었고, 당시 관리형 데이터베이스의 트레이드오프를 받아들이는 길은 택하지 않았습니다.

EARLE이 가르친 것은 이것입니다. 지연은 일급 설계 제약이지, 나중에 하는 최적화 단계가 아닙니다. 200ms 늦게 도착하는 추천은 전달된 것이 아닙니다. 버려집니다.

2015: 엣지의 실시간 분석

2015년에는 EARLE만으로 부족했습니다. 고객에게 필요했던 것은 추천만이 아니라 행동 분석 파이프라인 전부였습니다. 퍼널 분석, 코호트 추적, 마케팅 채널을 가로지르는 매출 귀속입니다. 우리는 스트리밍 분석 엔진을 지었고, 이벤트 수집은 sub-50ms, 쿼리 지연은 한 자릿수 밀리초 범위에 두었습니다.

이 일이 그 뒤로 지켜 온 형을 정했습니다. 크리티컬 패스는 직접 갖는다. 핫 패스 위의 모든 부품, 직렬화, 색인, 쿼리 계획은 우리 명세로 썼습니다. 외부 의존은 가장자리에만 두었습니다.

2015년에 EARLE과 분석 계층을 잇기 위해 지은 pub/sub 이벤트 버스는, Hanzo의 지금 플랫폼을 받치는 이벤트 인프라의 직접 조상입니다. 인터페이스는 바뀌었습니다. 구조는 바뀌지 않았습니다.

2016: 유전 알고리즘 마케팅 최적화

마케팅을 위한 유전 알고리즘은 지금 보면 당연해 보입니다. 2016년, 프로덕션에서 그것을 하는 곳은 거의 없었습니다.

시스템은 캠페인 구성의 집단을 유지했습니다. 입찰 전략, 크리에이티브 변형, 잠재고객 분할 트리입니다. 실제 전환 결과가 가하는 선택압으로 그것들을 진화시켰습니다. 변이에는 경계를 두었습니다. 재현성과 감사 가능성이 필요했고, 순수한 무작위 변이는 그것을 주지 못했습니다. 적합도 함수는 처음부터 다목적이었고, 매출, 마진, 고객 생애 가치, 브랜드 노출 제약을 맞췄습니다.

이것은 탐색과 활용의 트레이드오프를 프로덕션 규모로 다룬 첫 경험이었습니다. 안으로 들인 교훈은 이것입니다. 알고리즘은 적합도 신호보다 똑똑해질 수 없습니다. 쓰레기를 넣으면 쓰레기가 나온다는 말은 ML에서 상투어가 아닙니다. 구조의 법칙입니다.

2017: Techstars와 플랫폼 출시

Techstars '17. 이 프로그램을 검증이 아니라 유통을 위해 썼습니다. 엔터프라이즈 커머스 고객과의 연결이었고, 그 규모가 우리가 만든 것을 스트레스 테스트합니다.

Hanzo Platform은 2017년 후반에 나왔습니다. 첫 통합 커머스 AI 스위트입니다. EARLE 추천, 유전 최적화 엔진, 실시간 분석, 그리고 새로운 캠페인 편성 계층을 통합 API 표면으로 잇습니다. 구조는 처음부터 이벤트 소싱이었습니다. 캠페인 상태의 변화는 모두 내구성 있는 이벤트였고, 완전한 감사 추적과 모델 재학습을 위한 이력 재생을 주었습니다.

Techstars '17이 가르친 것은 이미 의심하던 일입니다. 유통은 제품 문제가 아닙니다. 인프라 문제입니다. 시스템이 내려가면 엔터프라이즈에 팔 수 없습니다.

2018: Checkout 2.0과 ML 사기 탐지

결제 사기는 대형 은행에는 풀린 문제입니다. 미드마켓 판매자를 받치는 커머스 플랫폼에는 2018년에 풀려 있지 않았습니다.

Checkout 2.0은 ML 사기 탐지를 결제의 일급 구성 요소로 넣었습니다. 모델 구성은 앙상블이었습니다. 표 형식 특징(장바구니 구성, 배송지와 청구지 일치, 디바이스 지문)에는 그래디언트 부스팅 트리를, 최근 주문 이력에는 시퀀스 모델을 결합했습니다. 앙상블은 의도적으로 얕게 잡았습니다. 해석 가능성은 연구의 취향이 아니라 제품 요건이었습니다. 판매자는 왜 그 거래가 표시되었는지 이해할 수 있어야 했습니다.

사기 시스템은 판단당 sub-100ms 지연으로 동작했습니다. 특징 추출, 모델 추론, 규칙 적용을 포함합니다. 이를 위해 추론 런타임을 별도의 예측 API로 돌리지 않고, 결제 서비스와 함께 두어야 했습니다. 운영 복잡도는 더 높았습니다. 지연 프로파일은 양보할 수 없었습니다.

2019: API Gateway V1, 격자 암호, SDK 생태계

2019년에 나란히 가던 세 가닥은 몇 년이 지나서야 하나로 모였습니다.

API Gateway V1은 실무 문제에서 태어났습니다. 내부 서비스 10개, 외부 연동 40개가 있었습니다. 서비스마다 인증, 속도 제한, 관측 가능성의 이야기가 달랐습니다. 통합 게이트웨이 계층을 지었습니다. 오늘 출하하는 AI 게이트웨이 자체는 아직 아니었지만, 토대의 구조는 같았습니다. 요청 라우팅, 인증 미들웨어, 소비자별 속도 제한, 구조화 로깅. 2026년의 Hanzo AI Gateway는 이 시스템의 7번째 큰 반복입니다.

격자 암호 연구는 배경 작업으로 시작했습니다. NIST 후양자 암호 표준화가 진행 중이었고, 우리는 그것을 보고 있었습니다. 물은 질문은 이것입니다. 오래 가는 인프라를 짓는다면, 15년 지평의 암호 위협 모델은 무엇인가. 답은 양자 내성을 분명히 가리켰습니다. 실험적 서명 인프라에 CRYSTALS-Dilithium과 CRYSTALS-Kyber를 넣기 시작했습니다. 그 작업은 이듬해 프로덕션 후양자 서명 인프라로 바로 흘러 들어갔습니다.

SDK 생태계: 첫 Hanzo SDK는 2019년에 출하되었고, Python, TypeScript, Go를 덮었습니다. 설계 원칙은 표면은 최소로, 조합은 최대로였습니다. 이후 SDK 6세대를 출하했습니다. 원칙은 바뀌지 않았습니다.

2020: 프로덕션의 후양자 암호

2019년의 격자 연구는 2020년에 프로덕션으로 옮겼습니다. 설계의 전제는 날카로웠습니다. 바닥부터의 후양자 보안, 애플리케이션 로직을 일급 관심사로 실을 수 있는 서명 계층, 그리고 양자 내성 서명을 규모에서 실용으로 만드는 성능입니다.

서명 엔진은 임계 기반 커밋 라운드를 도입했습니다. 확률적 확신을 위해 샘플링을 반복하는 대신, 한정된 시간 안에서 결정적 보장을 줍니다. 실제 결과는 이렇습니다. 보통 조건에서 서명 검증은 1초 미만에 끝나고, 적대적 부하에서도 저하는 예측 가능합니다.

모든 서명 키는 처음부터 CRYSTALS-Dilithium을 씁니다. 선택적 업그레이드 경로가 아니라 기준 요건으로입니다. 후양자 서명의 성능 오버헤드는 실재하지만 다룰 수 있습니다. 벤치마크를 공개했고, 그 안에는 배치 서명 검증 최적화가 포함되어 서명당 오버헤드를 0.3ms 미만으로 내렸습니다.

2021: 멀티모달 연구와 첫 MCP 초안

트랜스포머가 텍스트, 이미지, 오디오 표현을 하나로 묶을 수 있음이 2021년에 우리에게 분명해졌습니다. 멀티모달 연구 프로그램을 시작했고, 그것은 결국 Jin 구조가 되었습니다. 모달 간 이해를 위한 통합 인코더-디코더 틀입니다.

첫 모델 컨텍스트 프로토콜 초안은 나란히 가던 다른 가닥에서 나왔습니다. 에이전트 틀을 지으면서, 지속 메모리가 없는 모델과의 여러 턴 상호작용에서 상태를 어떻게 다룰 것인가라는 근본 문제에 맞닥뜨렸습니다. MCP 프로토콜은 컨텍스트 창, 메모리 검색, 모델 간 상태 이전을 위한 구조화된 인터페이스를 정합니다. 2021년 초안은 거칠었습니다. 2026년 프로덕션 구현은 10억 건이 넘는 컨텍스트 연산을 처리했습니다.

2022: ASO 프로토콜과 첫 트랜스포머 미세조정

2022년의 두 가지 기술적 기여가 이후 4년을 빚었습니다.

**Adaptive Swarm Optimization(ASO)**은 생물 군집의 행동에서 영감을 받은 분산 최적화 프로토콜입니다. 유전 알고리즘이 이산적인 개체 집단을 유지하는 데 비해, ASO는 매개변수 공간 위의 연속 밀도장을 유지하고, 국소 기울기 정보와 전역 밀도 제약을 맞추는 갱신 규칙을 갖습니다. 목적 함수의 평가가 비싸고, 평가가 이종 컴퓨팅에 나뉘는 설정에 맞게 설계되었습니다. 다중 에이전트 AI에 자연스럽게 맞습니다. 첫 ASO 발표는 2022년 후반에 나왔습니다.

첫 트랜스포머 미세조정 프로덕션 실행: 커머스에 특화된 문서 이해를 위해 7B 매개변수 오픈 웨이트 트랜스포머를 미세조정했습니다. 실행의 컴퓨팅 비용은 $6,200, 시간은 48시간이었습니다. 나온 모델은 평가 스위트에서 베이스보다 11% 나았고, 프로덕션 과제 분포에서는 그보다 분명히 나았습니다. 더 중요한 것은 운영 경험입니다. 데이터 파이프라인, 분산 학습 설정, 체크포인트 관리, 평가 하네스가 이후의 모든 학습 실행의 틀이 되었습니다. 프로세스의 질은 규모를 탑니다. 즉흥 실행은 그렇지 않습니다.

2023: HMM, 에이전트 틀, PoAI 연구

**Hierarchical Model Merging(HMM)**은 거듭 부딪힌 문제에 대한 답이었습니다. 좁은 영역에서는 각각 뛰어난 미세조정 모델이 여러 개 있었고, 그 최선을 물려받는 하나의 모델이 필요했습니다. 소박한 가중치 평균은 모든 전문 모델을 떨어뜨립니다. HMM은 계층적 병합 전략을 적용해, 가중치 공간에서 영역에 특화된 표현을 찾고, 평균으로 지우는 대신 병합 동안 보존합니다. 이 기법은 홀드아웃 영역 평가에서 소박한 병합 대비 4-7% 개선을 보였습니다.

에이전트 틀: 첫 Hanzo 에이전트 런타임은 2023년에 출하되었습니다. MCP 프로토콜 위에 도구 사용, 메모리 검색, 다단계 계획을 올려 지었습니다. 설계는 의도적이었습니다. 에이전트는 상태를 가진 프로세스이지, 상태가 없는 요청 처리기가 아닙니다. 런타임은 에이전트의 전체 수명 주기를 다룹니다. 초기화, 도구 디스패치, 상태 영속, 오류 복구입니다. 이것을 애플리케이션 코드가 아니라 프로토콜 층에서 지으니, 이후의 통합이 곧게 되었습니다.

Proof of AI(PoAI) 합의 연구: AI 계산을 검증 가능하게 만들어 합의 프리미티브로 쓸 수 있는가. 연구 질문은 사소하지 않습니다. AI 계산은 부동소수점 수준에서 본질적으로 비결정적입니다. PoAI 연구는 결정적 양자화 방식으로 이에 맞섰고, 하드웨어를 가로질러 순방향 패스를 재현할 수 있게 하여, 모델 출력 위의 임계 기반 합의를 가능하게 했습니다. 이 연구는 Zoo 네트워크의 zLLM 구조로 흘러 들어갔습니다.

2024: Zen LM의 시작, Jin 구조, Hanzo MCP 도구

Zen LM 프로젝트는 2024년, 단순한 명제로 시작했습니다. 최선의 오픈 웨이트 모델은, 그것을 프로덕션에서 돌려 본 경험이 가장 많은 사람들이 지어야 합니다. 우리에게 그 경험이 있었습니다.

첫 Zen 모델은 Qwen3-series 베이스 모델의 미세조정이었고, 특정 능력 프로파일을 겨냥했습니다. 코드 생성, 긴 맥락 추론, 지시 따르기입니다. 2022년에 만든 학습 파이프라인은 근본적인 재설계 없이 70B+ 매개변수 실행을 받칠 때까지 커졌습니다. 프로세스에 대한 투자가 돌아왔습니다.

Jin 구조는 멀티모달 연구를 프로덕션 시스템으로 형식화했습니다. Jin은 텍스트, 이미지 패치, 오디오 스펙트로그램에 통합된 토큰 공간을 씁니다. 별도의 학습과 추론 경로를 요구하는 모달별 인코더는 없습니다. 구조의 단순화는 서빙 복잡성의 한 부류를 통째로 없앴습니다. 모델 하나, 추론 런타임 하나, 모달은 여럿입니다.

Hanzo MCP 도구는 모델 컨텍스트 프로토콜의 첫 공개 구현으로 출하되었습니다. 도구 묶음은 웹 검색, 코드 실행, 파일 연산, 메모리 검색, 에이전트 간 통신을 덮습니다. 공개 후 첫 분기에 1만이 넘는 개발자가 MCP 도구를 붙였습니다.

2025: 규모의 Zen 가족, MoDE 구조, zenlm.org

94개의 모델. 2025년 말 Zen 가족이 이루던 수입니다.

이 규모에는 BitDelta 연구(arXiv:2402.10193) 없이는 설계할 수 없었던 서빙 구조가 필요했습니다. 미세조정 모델의 델타를 1-bit 부호 표현으로 압축해, 변형당 GPU 메모리를 수십 기가바이트에서 한 자릿수 기가바이트로 줄입니다. GPU 메모리에 공유 베이스 가중치를 두고, 모델별 행동 델타를 캐시 계층에 두면, 이전에는 2개나 3개에 충분했던 인프라 발자국에서 14개의 Zen 변형을 서빙할 수 있습니다.

Zen MoDE, Mixture of Distilled Experts는 2025년을 정의한 구조적 돌파였습니다. 전통적인 MoE 모델은 전문가를 처음부터 학습합니다. MoDE는 세 기법을 묶습니다. 증류에서의 전문가 초기화(무작위가 아니라), 전문가 사이의 가중치 상관을 끊는 Drop-Upcycling(arXiv:2502.19261), 그리고 완전한 재학습 없이 사후에 전문가를 전문화하는 우리의 HMM 병합 프로토콜입니다. 결과로, Zen4 Max는 총 매개변수 30B와 순방향 패스당 활성 3B만으로 13B 급 품질에 닿습니다.

Abliterated 변형: 거절 제거 작업은 연구와 전문 용도로 지정된 모델에 조심스럽고 의도적으로 적용되었습니다. 행동 속성이 가중치 공간에서 위치를 지정할 수 있음을 보였습니다. 모델 안에서 행동이 어디에 사는지를 이해하는 것은 기초 지식이지, 우회가 아닙니다. zen4-abliterated 계열은 문서화된 행동 국소화 좌표를 달고 출하한 첫 모델 가족입니다.

2026: Hanzo AI Gateway와 그 다음

2026년 2월의 게이트웨이 출시는 2019년에 시작한 API 게이트웨이 작업의 정점입니다. 100+ 모델을 위한 단일 엔드포인트, OpenAI 호환, 제삼자 제공자에 대한 마크업은 영, 독점 계층으로 Zen 모델을 둡니다.

지금 진행 중인 연구 갈래는 다음과 같습니다.

GT-QLoRA: MoE 행동 조정을 위한, 게이트를 해동한 양자화 저랭크 적응입니다. 표준 LoRA를 MoE 모델에 적용하면 라우팅 게이트는 얼어 있고, 미세조정이 전문가 선택에 닿지 못합니다. GT-QLoRA는 제약이 있는 갱신으로 게이트 매개변수를 녹입니다. 라우팅 구조는 적응할 수 있고, 전문가의 전문화는 보존됩니다.

DSO(Decentralized Semantic Optimization): Zoo의 zLLM 구조 아래에 있는 프로토콜입니다. 경험 주입에 의한 연산 제로의 적응이며, DAO 메커니즘이 다스립니다. 미세조정 비용($15K+)과 DSO 비용($18)의 간격은 실재합니다. 이 구조는 Zoo 네트워크에서 프로덕션입니다.

양자 안전 MPC: 후양자 프리미티브를 쓰는, 모델 가중치를 위한 다자간 계산 프로토콜입니다. 모델 가중치가 AI 인프라에서 가장 값진 IP라면, 최고의 금융 자산에 맞먹는 암호 보호를 받을 자격이 있습니다.

AI에서 12년은 긴 시간입니다. 과대광고의 주기가 오고 가고, 패러다임 전체가 서로를 갈아치우고, 작년 SOTA 위에 세운 회사가 SOTA가 움직이면 무너지는 것을 보기에는 충분히 깁니다. 남는 것은 인프라입니다. 데이터 파이프라인, 서빙 시스템, 프로토콜 구현, 그리고 AI를 실제로 규모에서 출하하고 돌리게 하는, 어렵게 얻은 운영 지식입니다.

우리는 그 인프라를 2014년부터 쌓아 왔습니다. 아직 끝나지 않았습니다.

Hanzo AI는 Techstars '17입니다. 프런티어 AI와, 그것을 돌리는 인프라를 짓습니다. hanzo.ai