消费级显卡也能跑!QwQ-32B本地部署教程来了!

作者: 通义千问大模型

作者简介: 阿里云通义千问Qwen大模型
——QwenChat:qwen.ai
——技术博客:https://qwenlm.github.io

描述: 了解QwQ-32B更详细的文档 请访问Qwen博客: https://qwenlm.github.io/zh/blog/qwq-32b/ 免费体验可前往Qwen chat: https://chat.qwen.ai/ 模型可在魔搭社区,Hugging Face免费下载 1、魔搭社区: https://modelscope.cn/models/Qwen/QwQ-32B/files 2、Hugging Face https://huggingface.co/Qwen/QwQ-32B

消费级显卡也能跑!QwQ-32B本地部署教程来了!

推荐视频

QwQ-32B三种使用方式,超好上手!

QwQ-32B三种使用方式,超好上手!

上传者: 通义千问大模型

从0.5B到340B的LLM都需要多少显存?

从0.5B到340B的LLM都需要多少显存?

上传者: AI开发者-就爱瞎鼓捣

QWQ-32B Q4测试6800xt约6.1 token/s

QWQ-32B Q4测试6800xt约6.1 token/s

上传者: 黑暗的幽灵小哥