当前位置:首页 > 生活小窍门 > 正文

微软拥抱中国AI新贵!Copilot+PC本地运行DeepSeek

3月4日消息,微软今天宣布,通过Azure AI Foundry接入DeepSeek的R1 7B和14B蒸馏模型,Copilot+ PC可实现本地运行这些模型。

其实早在今年1月,微软就宣布要把DeepSeek-R1模型的NPU优化版本带到搭载高通骁龙X处理器的Copilot+ PC上。

微软表示,这些模型将首先在搭载高通骁龙X处理器的设备上上线,随后扩展到英特尔酷睿Ultra 200V和AMD锐龙处理器的设备。

微软拥抱中国AI新贵!Copilot+PC本地运行DeepSeek

这些模型运行在NPU上,可以在减少对PC电池续航和散热性能影响的同时,持续获得AI计算能力,同时CPU和GPU可以执行其他任务,提高设备的整体效率。

微软还强调,他们使用了内部自动量化工具Aqua,将所有DeepSeek模型变体量化为int4权重。

不过目前模型的速度仍然较低,14B模型仅为8 tok/sec,而1.5B模型接近40 tok/sec,微软表示正在进一步优化以提高速度。

开发者可以通过下载AI Toolkit VS Code扩展,在Copilot+ PC上运行DeepSeek模型的全部蒸馏版本(1.5B、7B和14B)。

微软拥抱中国AI新贵!Copilot+PC本地运行DeepSeek

有话要说...