大模型工程
大模型推理优化总览：硬件、系统架构与服务部署
大模型优化不是只调一个参数这么简单，它更像一个系统工程：从硬件到推理引擎、从批处理到调度、从缓存到弹性伸缩，几乎每一层都能成为瓶颈，也都能成为突破口。
标签
标签: AIOps
共找到 101 篇相关文章
标签: AIOps
AIOps
大模型工程
GPU 监控进阶：Prometheus 接入 dcgm-exporter 与显卡大盘
如果说 `node_exporter` 解决的是“主机监控”，那 `dcgm-exporter` 解决的就是“GPU 监控”。对于大模型服务来说，这一层往往比 CPU、内存还更关键。
大模型工程
大模型运维监控入门：命令行工具、Prometheus 与 Grafana
大模型平台一旦上线，真正让人焦虑的往往不是“模型能不能回答”，而是“GPU 到底跑满没有、显存是不是要爆了、服务什么时候会掉”。因此，监控不是锦上添花，而是运维的基本盘。
RAG与知识库
RAGFlow 项目实战：做一个公司内部员工智能问答助手
RAGFlow 最适合拿来验证的项目，不是花哨 Agent，而是“复杂文档问答”。公司内部员工助手就是一个非常典型的场景：文档多、结构复杂、答案要尽量可靠，还要求引用知识库。
RAG与知识库
RAGFlow 部署与快速体验：Linux 安装、模型配置、知识库和聊天
RAGFlow 的价值要真正体现出来，得先把整个平台跑起来，再把模型、知识库和检索链路一一打通。只看功能说明远远不够，最好还是自己把部署和体验流程走一遍。
RAG与知识库
RAGFlow 入门：它的特点、适用场景，以及和 FastGPT 的区别
如果说 FastGPT 更偏“知识库问答产品化 + 工作流编排”，那么 RAGFlow 的优势更多集中在“复杂文档理解”。它不是简单地把文档塞进知识库，而是更强调把文档结构读明白。
RAG与知识库
FastGPT 项目实战：做一个公司内部员工智能问答助手
RAG 真正有价值的地方，不是做一个“会回答问题的演示页面”，而是把企业内部资料变成一个随时可用的智能助手。员工手册问答，就是最典型、也最容易落地的一类场景。
RAG与知识库
FastGPT 快速上手：配置模型、创建应用、工作流与知识库
FastGPT 跑起来之后，最值得先体验的不是复杂项目，而是把平台里的四个核心模块都摸一遍：模型、应用、工作流和知识库。只要这四件事通了，后面的 RAG 项目会顺很多。
RAG与知识库
FastGPT 入门与安装：功能定位、应用场景和 Docker 部署
如果你想用一套现成平台，把知识库、对话、工作流和接口发布快速整合起来，FastGPT 是 RAG 落地里很常见的一条路线。它更偏“知识库问答产品化”，而不只是一个底层框架。
RAG与知识库
Milvus Python 实战：创建集合、插入数据、搜索与更新
Milvus 装好之后，真正重要的是你能不能用代码把整个向量检索链路跑通。一个最小可用实验，通常至少要覆盖：建集合、插数据、建索引、检索、更新、删除和查询。