LlamaIndex 私有化部署：框架不吃显存，吃显存的是你挂在它后面的三个模型

在 NexGPU 控制台选 PyTorch 或 vLLM 预置镜像开机，SSH 进去。别装 llama-index 元包——它会把 OpenAI 的 LLM 和 embedding 依赖一起拖进来。直接从 core 起步，按需补集成包，用 uv 装能避开 300 多个包之间的版本回退。

uv pip install "llama-index-core>=0.14.24" llama-index-llms-openai-like llama-index-embeddings-huggingface llama-index-postprocessor-flag-embedding-reranker llama-index-vector-stores-qdrant

LlamaIndex 不负责推理，它只是个 HTTP 客户端。先让模型跑起来，注意一定要开工具调用解析，否则 FunctionAgent 拿不到结构化的 tool_calls，只能退化成让模型自己吐 JSON。gpu-memory-utilization 留出余量，因为同一张卡上还要塞 bge-m3 和 reranker。

vllm serve Qwen/Qwen3-8B --served-model-name qwen3-8b --max-model-len 32768 --gpu-memory-utilization 0.72 --enable-auto-tool-choice --tool-call-parser hermes --port 8000

OpenAILike 的 is_chat_model 和 is_function_calling_model 默认都是 False，context_window 默认继承 3900——三个开关不显式打开，你会得到一个既不会调工具、又把 32K 上下文截到 3900 的 agent。embedding 侧 device 虽然会自动推断到 CUDA，但 DEFAULT_EMBED_BATCH_SIZE 只有 10，不手动调大等于让 GPU 空转。

from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

Settings.llm = OpenAILike(model="qwen3-8b", api_base="http://127.0.0.1:8000/v1", api_key="EMPTY", context_window=32768, is_chat_model=True, is_function_calling_model=True)
Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-m3", device="cuda", embed_batch_size=64)

建查询引擎时记得把 similarity_top_k 从默认的 2 提上去——默认值只召回两个节点，中文长文档基本必漏。Memory 是现在的正统记忆类，ChatMemoryBuffer 已标记废弃。最后用 WorkflowServer 把 agent 包成带流式和人在回路的 REST 服务，其他服务用 llama-agents-client 调它就行。

from llama_index.core.agent.workflow import FunctionAgent
from llama_index.core.memory import Memory
from llama_agents.server import WorkflowServer

query_tool = index.as_query_engine(similarity_top_k=8, node_postprocessors=[reranker])
agent = FunctionAgent(tools=[...], llm=Settings.llm, system_prompt="...")
memory = Memory.from_defaults(session_id="u-1", token_limit=40000)

server = WorkflowServer()
server.add_workflow("rag", agent)