Xinference 本地部署大模型详解

作者: 考拉的Ai树屋

作者简介: 北航硕士、人工智能协会成员、拥有3000AI私域粉丝

描述: Xinference 本地部署大模型！ 这里是那些对AI充满好奇和热情的朋友们的树屋，让我们一起攀爬知识的树梢，探索AI的奥秘。 加入“考拉的Ai树屋”知识星球（App），获取全部工作流、智能体编排、源码等一切资源。 文档地址：https://ai_888.gitlab.io/ai/

Xinference 本地部署大模型详解

推荐视频

【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐

【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐

上传者: fly-iot

xinference一键管理主流大模型，手摸手教你本地部署和推理模型，本地部署glm4并简单测评，提供环境包

xinference一键管理主流大模型，手摸手教你本地部署和推理模型，本地部署glm4并简单测评，提供环境包

上传者: 大鹅带你玩AI

Kimi打造本地RAG知识库(11):肿瘤医生问答系统工作流Dfiy + Kimi + Xinference

Kimi打造本地RAG知识库(11):肿瘤医生问答系统工作流Dfiy + Kimi + Xinference

上传者: 程序员寒山

Dify工作流实现AI客服系统！Embedding+Rerank+RAG知识库，全程无干货，少走99%弯路！

Dify工作流实现AI客服系统！Embedding+Rerank+RAG知识库，全程无干货，少走99%弯路！

上传者: 哔哩大模型学习中心

DeepSeek打造本地RAG知识库(五):FastGPT + Xinference超详细教程

DeepSeek打造本地RAG知识库(五):FastGPT + Xinference超详细教程

上传者: 程序员寒山

DeepSeek打造本地RAG知识库(四)：Xinference本地模型加载

DeepSeek打造本地RAG知识库(四)：Xinference本地模型加载

上传者: 程序员寒山

【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协

【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协

上传者: fly-iot

AI应用-本地部署LLM+TTS+ASR实现语音面试对话

AI应用-本地部署LLM+TTS+ASR实现语音面试对话

上传者: 紫陌洛西

DeepSeek R1打造本地RAG知识库(十):肿瘤医生Agent版+联网搜索Dify+Xinference+ollama

DeepSeek R1打造本地RAG知识库(十):肿瘤医生Agent版+联网搜索Dify+Xinference+ollama

上传者: 程序员寒山

【xinference】：目前最全大模型推理框架xinference，简单介绍项目，咱们国人开发的推理框架，目前github有3.3k星星

【xinference】：目前最全大模型推理框架xinference，简单介绍项目，咱们国人开发的推理框架，目前github有3.3k星星

上传者: fly-iot

【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功

【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功

上传者: fly-iot

DeepSeek R1打造本地RAG知识库(九): 肿瘤医生搭建和多人共享 Dify+Xinference

DeepSeek R1打造本地RAG知识库(九): 肿瘤医生搭建和多人共享 Dify+Xinference

上传者: 程序员寒山

【全站首发】Langchain-Chatchat 0.3版本 全新架构 重大升级

【全站首发】Langchain-Chatchat 0.3版本 全新架构 重大升级

上传者: 技术小白玩转AI

大模型应用选择对比：1、知识库对比：dify、fastgpt；2、agent构建器选择：flowise、langflow、bisheng 3、召回率

大模型应用选择对比：1、知识库对比：dify、fastgpt；2、agent构建器选择：flowise、langflow、bisheng 3、召回率

上传者: AIGCLINK

基于vLLM本地部署生产级DeepSeek r1 32B模型实践

基于vLLM本地部署生产级DeepSeek r1 32B模型实践

上传者: 老吴聊技术

Xinference+Langchain-Chatchat一键运行qwen2.5

Xinference+Langchain-Chatchat一键运行qwen2.5

上传者: 技术小白玩转AI

Ollama｜Dify｜Xinference：让MacMini-M4将AI工具一网打尽

Ollama｜Dify｜Xinference：让MacMini-M4将AI工具一网打尽

上传者: 耳听西湖

Xinference本地部署Deepseek量化模型，格式：GPTQ、GGUF、AWQ、Pytorch等格式，引擎：vllm、transformer、llama

Xinference本地部署Deepseek量化模型，格式：GPTQ、GGUF、AWQ、Pytorch等格式，引擎：vllm、transformer、llama

上传者: 程序猿的退休生活

【AI大模型】使用Ollama+Dify搭建一个专属于自己的知识库！支持多种文件类型，本地部署大模型，效果出奇的好！

【AI大模型】使用Ollama+Dify搭建一个专属于自己的知识库！支持多种文件类型，本地部署大模型，效果出奇的好！

上传者: Manus学习路线

【大模型】部署工具xinference安装过程及注意事项

【大模型】部署工具xinference安装过程及注意事项

上传者: 小镇大家族

Qwen2.5-VL 本地部署！最强视觉 AI 大模型，免费开源，离线可用，实测效果如何？| 零度解说

Qwen2.5-VL 本地部署！最强视觉 AI 大模型，免费开源，离线可用，实测效果如何？| 零度解说

上传者: 零度解说

如何选择RAG的Embedding模型？

如何选择RAG的Embedding模型？

上传者: AI开发者-就爱瞎鼓捣

Xinference：开源大模型推理运行框架

Xinference：开源大模型推理运行框架

上传者: 天使de偏执

【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便

【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便

上传者: fly-iot

2080Ti部署YI-34B大模型 xinference-oneapi-fastGPT本地知识库使用指南

2080Ti部署YI-34B大模型 xinference-oneapi-fastGPT本地知识库使用指南

上传者: 小饭护法要转码

DeepSeek R1打造本地RAG知识库(八):AnythingLLM+Xinference的搭建和分享方法

DeepSeek R1打造本地RAG知识库(八):AnythingLLM+Xinference的搭建和分享方法

上传者: 程序员寒山

ReRank与Embedding模型的区别？ 如何选择ReRank模型？

ReRank与Embedding模型的区别？ 如何选择ReRank模型？

上传者: AI开发者-就爱瞎鼓捣

xinference一键实现各种大模型本地部署（包含llm,tts,asr,embedding,rerank等模型）

xinference一键实现各种大模型本地部署（包含llm,tts,asr,embedding,rerank等模型）

上传者: 紫陌洛西

Dify AI 实战 - 图文回复

Dify AI 实战 - 图文回复

上传者: 考拉的Ai树屋

怎么加快大模型推理？10分钟学懂VLLM内部原理，KV Cache，PageAttention

怎么加快大模型推理？10分钟学懂VLLM内部原理，KV Cache，PageAttention

上传者: RethinkFun

Dify AI 实战 - 私有化部署

Dify AI 实战 - 私有化部署

上传者: 考拉的Ai树屋

Qwen-VL看图说话 2080Ti 11G显存 xinference部署多模态大模型

Qwen-VL看图说话 2080Ti 11G显存 xinference部署多模态大模型

上传者: 小饭护法要转码

【大模型】本地+服务器方案：本地maxkb知识库对接云端xinference微调模型

【大模型】本地+服务器方案：本地maxkb知识库对接云端xinference微调模型

上传者: 小镇大家族

新手不要用Ollama做Deepseek本地部署

新手不要用Ollama做Deepseek本地部署

上传者: 贞仔的AI日记

【xinference】（3）：在autodl上，使用xinference部署whisper-tiny音频模型，并成功将语音转换成文本

【xinference】（3）：在autodl上，使用xinference部署whisper-tiny音频模型，并成功将语音转换成文本

上传者: fly-iot

【xinference】（16）：在本地CPU上，使用docker-compose运行xinference和chatgpt-web项目，运行0.5B和1.5B

【xinference】（16）：在本地CPU上，使用docker-compose运行xinference和chatgpt-web项目，运行0.5B和1.5B

上传者: fly-iot

大模型本地部署介绍---vllm和llama.cpp

大模型本地部署介绍---vllm和llama.cpp

上传者: AI_打工人

xinference提高本地模型推理能力

xinference提高本地模型推理能力

上传者: 北京老孙聊AI

Dify实战 - 语音转文本

Dify实战 - 语音转文本

上传者: 考拉的Ai树屋

先登陆 xinference ui http://:9997 启动 llm 和 embedding 后

先登陆 xinference ui http://:9997 启动 llm 和 embedding 后

上传者: Iammyself001