ktransformers Deepseek R1 671B 2bit量化部署 硬件需求:260G内存+12G显存

作者: 上清___

作者简介:

描述: huggingface mirror deepseek-ai/DeepSeek-R1 at main ktransformers地址：kvcache-ai/ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations 部署教程：Installation Guide - Ktransformers 尽量使用Ubuntu 24.04系统，实测Ubuntu20.04报错：command [***] returned non-zero exit status 1

ktransformers Deepseek R1 671B 2bit量化部署 硬件需求:260G内存+12G显存

推荐视频

Windows WSL部署Ktransformers运行deepseek671b实操

Windows WSL部署Ktransformers运行deepseek671b实操

上传者: 千时雨shiyu

KTransformer低成本部署满血DeepSeek R1 671B

KTransformer低成本部署满血DeepSeek R1 671B

上传者: justld

清华团队Ktransformers框架，deepseek r1 671b Q2.51bit动态量化模型，WIN10系统 WSL2子系统部署总结一

清华团队Ktransformers框架，deepseek r1 671b Q2.51bit动态量化模型，WIN10系统 WSL2子系统部署总结一

上传者: 喵叔大萌新

Windows端24G单显卡满血本地部署DeepSeek-r1 671B

Windows端24G单显卡满血本地部署DeepSeek-r1 671B

上传者: 德发Channel

deepseek 671b 1.58bit和2.51bit量化对比 纯cpu和gpu加速对比

deepseek 671b 1.58bit和2.51bit量化对比 纯cpu和gpu加速对比

上传者: remondest

Deepseek 671B fp8+q4 Eypc 9684X+5090D ktransformers 14.5t/s

Deepseek 671B fp8+q4 Eypc 9684X+5090D ktransformers 14.5t/s

上传者: 调皮的毛袜子

DeepSeek-671b-Q1量化Win10便携整合包V1.1，简单部署一键运行快速上手,集成CLI、API和API+open-webui三模式，基于Ktra

DeepSeek-671b-Q1量化Win10便携整合包V1.1，简单部署一键运行快速上手,集成CLI、API和API+open-webui三模式，基于Ktra

上传者: 洛城东风

Ktransformers运行DeepSeek R1的一些参数解读以及在Azure上如何部署DeepSeekR1

Ktransformers运行DeepSeek R1的一些参数解读以及在Azure上如何部署DeepSeekR1

上传者: AI匠

KTransformers 团队分享异构推理架构思路：基于内存的大模型推理成本优化

KTransformers 团队分享异构推理架构思路：基于内存的大模型推理成本优化

上传者: KTransformers小助手

ktransformers框架本地部署deepseek671b q2.51bit总结(二) ubuntu原生系统 速度6.5tokens API可用

ktransformers框架本地部署deepseek671b q2.51bit总结(二) ubuntu原生系统 速度6.5tokens API可用

上传者: 喵叔大萌新

ktransformers搭建

ktransformers搭建

上传者: 秋天的s菠菜

4500就能搭建自己一套的deepseek R1 671b满血大模型！！每秒最高能达6 token

4500就能搭建自己一套的deepseek R1 671b满血大模型！！每秒最高能达6 token

上传者: 苏不二师兄

全网首发【4T/S的8000元级别私有化部署DeepSeek R1 671BQ4满血版】

全网首发【4T/S的8000元级别私有化部署DeepSeek R1 671BQ4满血版】

上传者: Harland_Li

Deepseek 671B Q4 Eypc 9684X+3090 ktransformers 5.5t/s

Deepseek 671B Q4 Eypc 9684X+3090 ktransformers 5.5t/s

上传者: 调皮的毛袜子

至强8581C+4080S再战Deepseek R1 671B 2.51bit量化版，无变速

至强8581C+4080S再战Deepseek R1 671B 2.51bit量化版，无变速

上传者: 这个小帅叫小帅

八卡 H100 SXM5 80G 本地部署 deepseek-r1:671b 全量模型 测试

八卡 H100 SXM5 80G 本地部署 deepseek-r1:671b 全量模型 测试

上传者: ReActRailGun

4500元搭建671B满血deepseek-r1大模型测试写小说支持32K长度

4500元搭建671B满血deepseek-r1大模型测试写小说支持32K长度

上传者: 苏不二师兄

双路E5部署deepseek 671b 最终优化效果

双路E5部署deepseek 671b 最终优化效果

上传者: remondest

60G内存+14G显存运行满血DeepSeek R1！KTransformers部署Unsloth动态量化DeepSeek R1满血模型全流程教学！

60G内存+14G显存运行满血DeepSeek R1！KTransformers部署Unsloth动态量化DeepSeek R1满血模型全流程教学！

上传者: 九天Hector

喂饭教程！windows端部署 671B DeepSeek满血版，KTransformers，这要不会就算了吧

喂饭教程！windows端部署 671B DeepSeek满血版，KTransformers，这要不会就算了吧

上传者: 德发Channel

ktransformers+unsloth混合框架搭载deepseek r1 671b-Q1 Q2 Q3 Q4多版本测速

ktransformers+unsloth混合框架搭载deepseek r1 671b-Q1 Q2 Q3 Q4多版本测速

上传者: 变玩boy-DR天意

千元级别本地部署671B大模型,采用清华KTransformers构架，国人的骄傲！让大模型平民化

千元级别本地部署671B大模型,采用清华KTransformers构架，国人的骄傲！让大模型平民化

上传者: szskyong

768G内存/多卡4090 本地部署 671b deepseek性能分析

768G内存/多卡4090 本地部署 671b deepseek性能分析

上传者: ylso0_叶绿素

【671bQ4｜4060ti和它的小伙伴们】实测本地DeepSeek vs 弱智吧

【671bQ4｜4060ti和它的小伙伴们】实测本地DeepSeek vs 弱智吧

上传者: wkgcass

教你零基础安装Ktransformer——接受吧！少年！来自英语文盲和编程文盲的馈赠。——教程链接在简介，免费领取并使用。

教你零基础安装Ktransformer——接受吧！少年！来自英语文盲和编程文盲的馈赠。——教程链接在简介，免费领取并使用。

上传者: 笨蛋也要活下去

Ktransformers : Ollama 谁的速度更快跑671B-Q4KM

Ktransformers : Ollama 谁的速度更快跑671B-Q4KM

上传者: 中国之神话

7280元的DeepSeek 671BQ4配置单【4Token每秒】

7280元的DeepSeek 671BQ4配置单【4Token每秒】

上传者: Harland_Li

仅需14G显存+60G内存即可运行满血DeepSeek R1！KTransformers部署Unsloth动态量化DeepSeek R1满血模型全流程教学！

仅需14G显存+60G内存即可运行满血DeepSeek R1！KTransformers部署Unsloth动态量化DeepSeek R1满血模型全流程教学！

上传者: 赋范课堂

7300元，9tokens/s 极具性价比的KT本地部署671B q2 deepseek

7300元，9tokens/s 极具性价比的KT本地部署671B q2 deepseek

上传者: 是我胡须

[6tokens]5千元异构X99平台本地部署DeepSeek-R1-671B

[6tokens]5千元异构X99平台本地部署DeepSeek-R1-671B

上传者: 步六孤道

Xeon 8581C Ollama-avx512版纯CPU再战Deepseek r1 671b-2.51bit量化

Xeon 8581C Ollama-avx512版纯CPU再战Deepseek r1 671b-2.51bit量化

上传者: 这个小帅叫小帅

用ktransformers单卡4090部署deepseek满血版

用ktransformers单卡4090部署deepseek满血版

上传者: 老郭的炼丹房

4090+64g内存 本地运行deepseek r1 671b 1.58-bit 模型 速度演示

4090+64g内存 本地运行deepseek r1 671b 1.58-bit 模型 速度演示

上传者: QWQ爆炸豆

Ktransformers 0.2.1-post1 Deepseek 671B Q4快速评测

Ktransformers 0.2.1-post1 Deepseek 671B Q4快速评测

上传者: 懒熊游记

Ktransformers DeepSeek 671B Q4 部署测试成功

Ktransformers DeepSeek 671B Q4 部署测试成功

上传者: 懒熊游记

个人使用ktransfomers部署deepseek 避坑-硬件篇

个人使用ktransfomers部署deepseek 避坑-硬件篇

上传者: ad20220202

实战台式机无显卡部署满血版DeepSeek-671b 超便宜 超简单 超炸裂

实战台式机无显卡部署满血版DeepSeek-671b 超便宜 超简单 超炸裂

上传者: cnsdzb67

KTransformers 开发团队手把手教部署

KTransformers 开发团队手把手教部署

上传者: KTransformers小助手

KTransformers官方部署教程录屏存档

KTransformers官方部署教程录屏存档

上传者: 步六孤道

win10系统wsl2已经安装ktransformers框架成功跑通671b的Q2静态量化模型(228G)

win10系统wsl2已经安装ktransformers框架成功跑通671b的Q2静态量化模型(228G)

上传者: 喵叔大萌新