程序员开发实例大全宝库

网站首页 > 编程文章 正文

Anaconda + Pytorch + GLM3+CPU 本地部署

zazugpt 2024-08-27 00:28:36 编程文章 18 ℃ 0 评论

硬件配置:

CPU:AMD Ryzen 7 PRO 7840HS

集成GPU: Radeon 780M Graphics

内存:DDR5-5600- 32G

硬盘:1G-SSD

安装anaconda3

使用Anaconda Prompt 打开操作台验证安装情况

修改虚拟环境保存路径到:E:\anaconda\envs

  • 修改文件:C:\Users\jackwu-PC\.condarc
  • 设置路径权限

新建虚拟环境

Conda create -n py311 python=3.11

进入新建环境

Conda activate py311

安装Pytorch

根据本地环境选择使用conda安装Pytorch

conda install pytorch torchvision torchaudio cpuonly -c pytorch

安装Python调试工具

Conda install jupyter

下载安装ChatGLM3

注册登录魔塔账号,找到ZhipuAI/chatglm3-6b进行安装部署

  1. 软件依赖

pip install protobuf 'transformers>=4.30.2' cpm_kernels 'torch>=2.0' gradio mdtex2html sentencepiece accelerate

  1. modelscope API下载

pip install modelscope

打开jupyter notebook 进行调试

  1. 代码调用

调用错误:

修改模型加载

添加float()调试成功

  1. 使用GLM3自带DEMO 运行模型

7.1 下载demo

Git clone https://github.com/THUDM/ChatGLM3.git

7.2 创建conda虚拟环境

Conda create -n py309 python=3.9

激活虚拟环境,进入项目根目录安装组件

Conda activate py309

Cd ChatGLM3

pip install -r requirements.txt

国内使用modelscope需要安装

Conda install modelscope

安装 streamlit 运行Demo

Conda install streamlit

7.3 Pycharm打开demo项目

设置项目虚拟环境为py309

7.4 修改demo运行代码,引入modelscope,修改大模型本地路径

7.5 运行demo

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表