Kimi K3 open weights: архитектура 2.8T MoE и что реально нужно для деплоя

Где ломается наивная картина «скачал — запустил»

Между API-релизом 16 июля и open weights 27 июля прошло одиннадцать дней. За это время успела разгореться история дистилляции, но для деплоя важнее инженерные ограничения:

• Sparsity ≠ dense footprint: 2.8T total params, но 16/896 experts на токен и ~104B activated — routing и comms доминируют в latency; без MoonEP expert parallel на больших кластерах деградирует при imbalance.
• KDA ломает prefix cache: Kimi Delta Attention в 69 из 93 слоёв не совместим с классическим KV prefix caching — Moonshot contributed custom caching в vLLM одновременно с релизом весов.
• Quantization-aware training: веса MXFP4, активации MXFP8 с SFT-стадии — нельзя «просто конвертнуть в FP16» и ожидать те же цифры, что в model card.
• Preserved thinking history: multi-turn API требует возвращать полное assistant message с reasoning_content и tool_calls; truncation = quality collapse.
• License revenue gates: Kimi K3 License MIT-like для internal use; отдельный контракт Moonshot для MaaS при >$20M revenue за 12 месяцев; branding «Kimi K3» при >100M MAU или >$20M monthly revenue.

API vs checkpoint — таблица trade-off

Self-host имеет смысл только если у вас уже есть GPU fleet или compliance требует on-prem weights. Для остальных матрица выглядит так:

MoonEP, FlashKDA, AgentEnv — слой, без которого 2.8T не обучить

Open release 27 июля — не только tensor shards. Три репозитория закрывают цепочку train → post-train → infer:

• MoonEP: high-performance comms library под ultra-fine-grained MoE; держит expert parallel efficient при skewed expert load — критично для 896-expert routing Stable LatentMoE.
• FlashKDA: fused kernel implementation Kimi Delta Attention; на NVIDIA H20 prefill 1.72–2.22× быстрее flash-linear-attention baseline, drop-in backend replacement.
• AgentEnv: sandbox совместно с KVCache.ai — high-fidelity isolated runtime для масштабного agent RL: fast snapshot, restore, fork для parallel agent workflows. FlashKDA был open раньше; MoonEP и AgentEnv — впервые с K3 weights.

Архитектурно K3 = 69 KDA layers + 24 Gated MLA + Attention Residuals (AttnRes) + MoonViT-V2 vision encoder (401M params). Stable LatentMoE даёт ~2.5× scaling efficiency vs Kimi K2 по заявлению Moonshot — цифру стоит перепроверить на своём harness после скачивания.

Шесть шагов: от скачивания весов до smoke-test API

Даже без 64 GPU можно валидировать integration path на чистом macOS box — типичный сценарий для Kimi Code CLI и agent prototyping. Базовая архитектура описана в гайде Kimi K3; ниже — pipeline после open day.

1. Parse Kimi K3 License: классифицировать продукт — internal embed, MaaS resale или consumer app >100M MAU — до git clone в production.
2. Pull metadata + shard manifest: оценить storage и bandwidth; full 2.8T MXFP4 — не «один tar на ноутбук».

huggingface-cli download moonshotai/Kimi-K3 \
  --include "config.json" "*.md" --local-dir ./k3-check

3. Provision clean macOS host: venv без legacy openai/anthropic SDK conflicts; root SSH для launchd agent если нужен long-running Kimi Code.
4. Wire OpenAI-compatible client с preserved thinking: base_url https://api.moonshot.ai/v1, model kimi-k3.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["MOONSHOT_API_KEY"],
    base_url="https://api.moonshot.ai/v1",
)
r = client.chat.completions.create(
    model="kimi-k3",
    messages=[{"role": "user", "content": "Explain MoE routing in one paragraph."}],
    extra_body={"reasoning_effort": "max"},
)
print(r.choices[0].message.reasoning_content or r.choices[0].message.content)

5. Tool-calling regression: strict JSON schema + function route; log token usage и wall time на 20 identical prompts — baseline перед A/B с другим model.
6. Cross-check один benchmark: mini GPQA subset или coding task с тем же harness, что в README; document delta vs vendor table.

Цифры для цитирования

• Total / activated: 2.8T params total, 16/896 experts per token, 104B activated (Hugging Face model card).
• Layers: 93 total (1 dense), 69 KDA + 24 Gated MLA, SiTU-GLU activations, vocab 160K.
• Benchmarks (Moonshot, max effort): GPQA-Diamond 93.5%, BrowseComp 91.2%; Moonshot notes overall trail vs Fable 5 and GPT-5.6 Sol.
• Third-party index: Artificial Analysis scored API-only K3 at 57 Intelligence Index — ahead of GLM-5.2 (51), behind closed frontier; rerun expected post-weights.
• API rates: $3.00 input / $0.30 cached / $15.00 output per 1M tokens.
• Deploy spec: supernode ≥64 accelerators; MXFP4 weights + MXFP8 activations; engines vLLM / SGLang / TokenSpeed.
• Timeline: API 16 Jul 2026 → open weights + infra 27 Jul 2026.

Release details могут обновиться — primary sources ниже authoritative.

Official Moonshot / Hugging Face:

Hugging Face — moonshotai/Kimi-K3

Kimi API Platform — K3 quickstart

Third-party deploy & license analysis:

Unite.AI — revenue-tiered Kimi K3 License

Hugging Face Blog — K3 MXFP4 overview

FAQ

Open weights снимают black-box с архитектуры, но не с operational cost: 64 GPU, KDA-specific caching и license gates оставляют API dominant path для большинства команд. Пока supernode не готов, разумный workflow — чистый Apple Silicon host как API client и sandbox для Kimi Code: root access, reproducible logs, wipe-and-retry когда меняется model ID или API key. KVMFLUX Mac mini M4 по суткам — дешевле, чем держать polluted dev laptop как единственный testbed.