ktransformers+unsloth混合框架搭载deepseek r1 671b-Q1 Q2 Q3 Q4多版本测速

作者: 变玩boy-DR天意

作者简介: 变形金刚玩家，任粉，《电子游戏软件》、《掌机迷》前文编“天意”。

描述: 测试平台： AMD EPYC 9654 96核 DDR5 4800MHZ 64GB*12 4090 24GB 涡轮*1 技嘉 MZ33-AR0 金士顿SNV2S4000G M.2  win server 2022 wsl2 ubuntu24.04 SMT关，NPS=1 kt0.2.3+unsloth联合（卸载flash infer，采用triton支持长上下文） wsl2 网络模式为nat，映射端口实现局域网调用api 32K上下文 4096 一次性最大生成tokens数

ktransformers+unsloth混合框架搭载deepseek r1 671b-Q1 Q2 Q3 Q4多版本测速

推荐视频

每秒10.8Tonkens,本地DeepSeek 671b q4

每秒10.8Tonkens,本地DeepSeek 671b q4

上传者: 爱跳绳的乃龙

Ktransformers 0. 3版xQwen3-235b加载评测（难崩的住）对比Deepseek-r1-671b

Ktransformers 0. 3版xQwen3-235b加载评测（难崩的住）对比Deepseek-r1-671b

上传者: 变玩boy-DR天意

Ktransformers项目运行DeepseekR1-671B-Q4实测

Ktransformers项目运行DeepseekR1-671B-Q4实测

上传者: 中国之神话

ktransformers Deepseek R1 671B 2bit量化部署 硬件需求:260G内存+12G显存

ktransformers Deepseek R1 671B 2bit量化部署 硬件需求:260G内存+12G显存

上传者: 上清___

塔式deepseek-R1 671B模型工作站KTransfomers清华搭建方案

塔式deepseek-R1 671B模型工作站KTransfomers清华搭建方案

上传者: 芦苇草server

本地部署deepseek-671B,这速度能接受吗？

本地部署deepseek-671B,这速度能接受吗？

上传者: 盖伦TA哥

M3 Ultra本地部署DeepSeek-r1:671b全参quantized量化4bit测试运行程序

M3 Ultra本地部署DeepSeek-r1:671b全参quantized量化4bit测试运行程序

上传者: xAIat

Ktransformers DeepSeek 671B Q4 部署测试成功

Ktransformers DeepSeek 671B Q4 部署测试成功

上传者: 懒熊游记

Ktransformers Deepseek 671B Q2 Q5模型简单测试

Ktransformers Deepseek 671B Q2 Q5模型简单测试

上传者: 懒熊游记

6000元组装一台512内存机器挑战Deepseek R1 671B Q4实测

6000元组装一台512内存机器挑战Deepseek R1 671B Q4实测

上传者: 苏不二师兄

准备搭建Epyc 7542双路服务器，1TB内存加3090 24G，看看配置吧

准备搭建Epyc 7542双路服务器，1TB内存加3090 24G，看看配置吧

上传者: 爱跳绳的乃龙

性能炸裂！ M3 Ultra (512GB)运行DeepSeek R1（671B）AI性能全面评测！

性能炸裂！ M3 Ultra (512GB)运行DeepSeek R1（671B）AI性能全面评测！

上传者: 游戏机工坊

低成本本地部署DeepSeek 671b Q4方案 双路至强金牌6138

低成本本地部署DeepSeek 671b Q4方案 双路至强金牌6138

上传者: 百叶凌凤

重磅利好！清华开源KTransformers实现4090满血跑DeepSeek！

重磅利好！清华开源KTransformers实现4090满血跑DeepSeek！

上传者: 我不是python周

Deepseek 671B fp8+q4 Eypc 9684X+5090D ktransformers 14.5t/s

Deepseek 671B fp8+q4 Eypc 9684X+5090D ktransformers 14.5t/s

上传者: 调皮的毛袜子

千元运行deepseek671B硬件搭配安装教程

千元运行deepseek671B硬件搭配安装教程

上传者: 最新T10

用Ktrsnsformers跑Deepseek r1 q4，兼顾性能和价格的服务器需要多少钱

用Ktrsnsformers跑Deepseek r1 q4，兼顾性能和价格的服务器需要多少钱

上传者: 爱跳绳的乃龙

4090+64g内存 本地运行deepseek r1 671b 1.58-bit 模型 速度演示

4090+64g内存 本地运行deepseek r1 671b 1.58-bit 模型 速度演示

上传者: QWQ爆炸豆

Mac Studio跑deepseek-r1:671b(4bit MLX)的实际效果

Mac Studio跑deepseek-r1:671b(4bit MLX)的实际效果

上传者: ZoneCabala

ktransformers框架本地部署deepseek671b q2.51bit总结(二) ubuntu原生系统 速度6.5tokens API可用

ktransformers框架本地部署deepseek671b q2.51bit总结(二) ubuntu原生系统 速度6.5tokens API可用

上传者: 喵叔大萌新

KTransformers 团队直播答疑回放

KTransformers 团队直播答疑回放

上传者: KTransformers小助手

清华团队Ktransformers框架，deepseek r1 671b Q2.51bit动态量化模型，WIN10系统 WSL2子系统部署总结一

清华团队Ktransformers框架，deepseek r1 671b Q2.51bit动态量化模型，WIN10系统 WSL2子系统部署总结一

上传者: 喵叔大萌新

「2TB内存」本地无显卡部署完全体deepseek-r1:671B 速度测试

「2TB内存」本地无显卡部署完全体deepseek-r1:671B 速度测试

上传者: 是阿尼亚酱呀

DeepSeek-671b-Q1量化Win10便携整合包V1.1，简单部署一键运行快速上手,集成CLI、API和API+open-webui三模式，基于Ktra

DeepSeek-671b-Q1量化Win10便携整合包V1.1，简单部署一键运行快速上手,集成CLI、API和API+open-webui三模式，基于Ktra

上传者: 洛城东风

DeepSeek-R1满血版 vs QwQ-32B实战评测！结果太让我意外！

DeepSeek-R1满血版 vs QwQ-32B实战评测！结果太让我意外！

上传者: 玩科技的舒

768G内存/多卡4090 本地部署 671b deepseek性能分析

768G内存/多卡4090 本地部署 671b deepseek性能分析

上传者: ylso0_叶绿素

7280元的DeepSeek 671BQ4配置单【4Token每秒】

7280元的DeepSeek 671BQ4配置单【4Token每秒】

上传者: Harland_Li

千元级别本地部署671B大模型,采用清华KTransformers构架，国人的骄傲！让大模型平民化

千元级别本地部署671B大模型,采用清华KTransformers构架，国人的骄傲！让大模型平民化

上传者: szskyong

X79平台纯CPU稳定运行满血版DeepSeek-671b

X79平台纯CPU稳定运行满血版DeepSeek-671b

上传者: 哈德门667

最少可以用2张22G的2080Ti来运行DeepSeek-R1 671B模型，推理速度可达3.54tokens/s

最少可以用2张22G的2080Ti来运行DeepSeek-R1 671B模型，推理速度可达3.54tokens/s

上传者: 玩科技的舒

[6tokens]5千元异构X99平台本地部署DeepSeek-R1-671B

[6tokens]5千元异构X99平台本地部署DeepSeek-R1-671B

上传者: 步六孤道

ktransformers搭建

ktransformers搭建

上传者: 秋天的s菠菜

自建deepseek r1满血版 速度测试每秒46.78 t/s

自建deepseek r1满血版 速度测试每秒46.78 t/s

上传者: 0空空00

4500就能搭建自己一套的deepseek R1 671b满血大模型！！每秒最高能达6 token

4500就能搭建自己一套的deepseek R1 671b满血大模型！！每秒最高能达6 token

上传者: 苏不二师兄

7300元，9tokens/s 极具性价比的KT本地部署671B q2 deepseek

7300元，9tokens/s 极具性价比的KT本地部署671B q2 deepseek

上传者: 是我胡须

[6tokens]5千元本地部署DeepSeek-671B建立知识库

[6tokens]5千元本地部署DeepSeek-671B建立知识库

上传者: 步六孤道

2080ti的亡语:荣耀尤在！（20tokens，你已经是低成本运行32b模型的神了）以及Ktransformers搭建前瞻。

2080ti的亡语:荣耀尤在！（20tokens，你已经是低成本运行32b模型的神了）以及Ktransformers搭建前瞻。

上传者: 是我胡须

DeepSeek R1-671B全量运行！真正满血！仅需一张16G显存显卡! 人人都能拥有 671B Q4量化 Ktransformers架构 单卡4090运行

DeepSeek R1-671B全量运行！真正满血！仅需一张16G显存显卡! 人人都能拥有 671B Q4量化 Ktransformers架构 单卡4090运行

上传者: 春日野穹b

AMD EPYC 9575F 运行DEEPSEEK R1 671b Q5量化推理

AMD EPYC 9575F 运行DEEPSEEK R1 671b Q5量化推理

上传者: 白给到自闭

EXO框架2台M3 Ultra 512G运行DeepSeekR1 671b Q8满血版全精度 推理速度11 T/s

EXO框架2台M3 Ultra 512G运行DeepSeekR1 671b Q8满血版全精度 推理速度11 T/s

上传者: 88阿东88