【需翻墙】ios端如何跑端侧大模型？（看简介）【PocketPal Ai】
作者: 溯旅Slight
作者简介: 于沉星中苏醒（2024.3.24）
描述: 1.软件在外区有（似乎国区也有） 2.需要翻墙才能下载 3.搜出来的几个模型都是R1的蒸馏模型（可以理解为给其它的大模型带上一个R1面具，让人看起来像R1，但本质上不是R1） 4.尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准。 5. 解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）。 6.在加载好模型后在Settings中把N PREDICT设置为4096。 如果遇到问题请发到评论区，我会试着解决。
![iPhone本地环境中部署DeepSeek R1（虽然是1.5B）开源的力量一目了然[脱单doge]](/image/6c8cd2d329ece9fd7d80d30fabbced08b757d574.jpg@336w_190h_!web-video-rcmd-cover.avif)
