使用CPU运行大语言模型（LLM），以清华开源大模型ChatGLM3为例：无需显卡！用CPU搞定大模型运行部署！【详细手把手演示】

教程视频地址：

无需显卡！用CPU搞定大模型运行部署！【详细手把手演示】

按照上面视频进行安装配置之前需要注意，python编程环境需要大于等于python3.10，否则会运行报错。下载好GitHub上的项目代码后需要运行pip install -r requirements.txt

配置好后运行效果：

相关资料：

【ChatGLM3开源大模型仓库】：https://github.com/THUDM/ChatGLM3

【ChatGLM3-6B模型文件】：https://www.modelscope.cn/models/ZhipuAI/chatglm3-6b

【xFasterTransformer大模型推理加速引擎】：https://github.com/intel/xFasterTransformer