喂饭教程!windows端部署 671B DeepSeek满血版,KTransformers,这要不会就算了吧

作者: 德发Channel

作者简介: 哈哈哈哈哈哈哈

描述: 很多B友后台私信,windows本地部署遇到问题,详细步骤的图文说明吧……参考文献:KVCACHE主页 过程需要的软件包,私 我 1、基本工具: 知道怎么用CMD/Powershell 安装 git :选择:64-bit Git for Windows Setup 2、下载/安装驱动 根据显卡情况选择(NVIDIA示例), 选择Game Ready(最新版本,现在是572.60版) 3、安装C++构建工具 下载Visual Studio 2022 Community版 安装好了,之后再安装工作负载:两个必勾(见图7) 4、安装CUDA 不要安装最新的,因为可能还没适配,选择12.4.1 CMD中输入 NVCC –version ,返回信息确认安装OK 5、下载/安装Cmake 自行搜一下,官网反正打不开,不要选脚本之家,有毒 我选 Cmake 3.31.0 稳定版 6、下载/安装Ninjia 选择最新v1.12.1选择ninja-win下载,解压缩,按(图10)所示步骤设置,把ninja加入系统PATH路径 7、下载/安装Miniconda 选最新版,同样加入系统PATH路径(参考ninja) 8、Conda创建虚拟环境 a.创建虚拟环境,在CMD中输入Conda create -n ktransformers python=3.12 按提示输入 y b.输入 conda init c.输入conda activate ktransformers 9、安装pytorch与依赖 a.在CMD中输入命令(注意cu124对应的是cuda12.4) b.完成后输入:pip install packaging ninja cpufeature numpy 10、安装flash-attention 要选对版本,根据你的电脑情况来 11、安装KTransformers 12、下载模型 下载gguf格式的模型文件、配置文件,建议使用下载工具 671B模型文件很大,下载后使用llama-gguf-split指令合并分片 13、启动模型

喂饭教程!windows端部署 671B DeepSeek满血版,KTransformers,这要不会就算了吧

推荐视频