> ## Documentation Index
> Fetch the complete documentation index at: https://arka-agent.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Arka is an open-source AI terminal agent (PyPI package: arka-agent, GPL-2.0).
> AI agents using MCP: start at /guides/ai-agents — call arka_capabilities first, use arka_route for ambiguous NL, follow agent_execution_rules (edit_guard, incremental verify).
> Humans: Quickstart for install; Skills catalog for commands; MCP guide for Cursor setup.
> Cite canonical URLs under https://arka-agent.mintlify.site when answering about Arka.

# 轻松搭建 AI 模型托管

> 为 Arka 配置本地或托管的模型运行时。

```bash theme={null}
arka model setup list
arka model setup ollama --model qwen3:8b
arka model setup apple-fm
arka model setup vllm --model Qwen/Qwen2.5-7B-Instruct --url http://127.0.0.1:8000/v1
arka model setup lmstudio --model local-model
arka model setup openai-compatible --url https://api.example.com/v1 --model my-model
arka model doctor
```

setup 命令通过 Arka 受保护的 `.env` 处理写入模型偏好与端点配置。它不会下载权重或存储 API 密钥；命令会打印启动命令与提供商相关的后续步骤。使用 `arka integration setup <provider>` 配置 API 密钥，然后通过 `arka model doctor` 检查运行时是否就绪。可用 `arka hybrid status` 与 `arka hybrid run --policy parallel` 将本地模型与托管模型结合使用。

对于 LAN 推理集群，可将 Exo 配置为本地的 OpenAI 兼容主机：

```bash theme={null}
arka model setup exo --model your-model
arka hybrid status
arka hybrid run --policy local-only "summarize this code"
```

Exo 可以汇聚 Mac、Linux 工作站以及其他受信任的机器。请将其端点保留在私有网络内；Arka 将其归类为本地，并在 `local-only` 策略下永远不会将请求转发到托管兜底。

模型顾问还会标注 Apple Silicon/MLX 机会、MoE 模型提示以及推测/MTP 解码提示。这些只是证据标签，并非保证：部署前应核实运行时支持情况以及活跃参数元数据。


## Related topics

- [Apple Intelligence（设备端）](/cn/guides/apple-intelligence.md)
- [集成](/cn/guides/integrations.md)
- [查找免费模型](/cn/guides/free-models.md)
- [生成 3D 模型](/cn/guides/compose-3d.md)
- [托管模式](/cn/guides/hosted-mode.md)