硬件配置:
CPU:AMD Ryzen 7 PRO 7840HS
集成GPU: Radeon 780M Graphics
内存:DDR5-5600- 32G
硬盘:1G-SSD
安装anaconda3
使用Anaconda Prompt 打开操作台验证安装情况
修改虚拟环境保存路径到:E:\anaconda\envs
- 修改文件:C:\Users\jackwu-PC\.condarc
- 设置路径权限
新建虚拟环境
Conda create -n py311 python=3.11
进入新建环境
Conda activate py311
安装Pytorch
根据本地环境选择使用conda安装Pytorch
conda install pytorch torchvision torchaudio cpuonly -c pytorch
安装Python调试工具
Conda install jupyter
下载安装ChatGLM3
注册登录魔塔账号,找到ZhipuAI/chatglm3-6b进行安装部署
- 软件依赖
pip install protobuf 'transformers>=4.30.2' cpm_kernels 'torch>=2.0' gradio mdtex2html sentencepiece accelerate
- modelscope API下载
pip install modelscope
打开jupyter notebook 进行调试
- 代码调用
调用错误:
修改模型加载
添加float()调试成功
- 使用GLM3自带DEMO 运行模型
7.1 下载demo
Git clone https://github.com/THUDM/ChatGLM3.git
7.2 创建conda虚拟环境
Conda create -n py309 python=3.9
激活虚拟环境,进入项目根目录安装组件
Conda activate py309
Cd ChatGLM3
pip install -r requirements.txt
国内使用modelscope需要安装
Conda install modelscope
安装 streamlit 运行Demo
Conda install streamlit
7.3 Pycharm打开demo项目
设置项目虚拟环境为py309
7.4 修改demo运行代码,引入modelscope,修改大模型本地路径
7.5 运行demo
本文暂时没有评论,来添加一个吧(●'◡'●)