本地部署搭建chatglm3
准备本地环境
1.本地安装anaconda
下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D
根据时间倒序,然后下载Windows系统的版本:
2.按照此博客安装anaconda
参考博客:https://blog.csdn.net/z2858539804/article/details/81407456
无脑下一步即可,主要是参考配置环境变量
双击系统变量的path
复制你的Anaconda目录下的Scripts级别的目录的地址即可(和java jdk配置环境变量类似)
3.然后安装pytorch
官方地址:https://pytorch.org/
参考博客:https://zhuanlan.zhihu.com/p/125533595
YourOS:你的操作系统
Package:选择下载的方式,由于conda要配置源,对萌新不太友好,所以我们选择pip(我自己使用conda直接安装但是失败。懒得折腾了)
Language:选择python
CUDA:None是下载CPU版,选择自己系统支持的cuda,这是GPU版
如何查看电脑支持cuda的版本:
如图在anaconda prompt安装即可
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
遇到的问题和注意事项:
1.需要下载模型:
Model | Seq Length | Download |
---|---|---|
ChatGLM3-6B | 8k | HuggingFace | ModelScope |
ChatGLM3-6B-Base | 8k | HuggingFace | ModelScope |
ChatGLM3-6B-32K | 32k | HuggingFace | ModelScope |
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-32k.git
右边有对应的地址,网络问题,如果没条件的建议使用ModelScope的链接下载,自己安装好git,然后执行上述命令即可,
不同的模型地址不同,自己点击https://modelscope.cn/models/ZhipuAI/chatglm3-6b上述的ModelScope链接查看
你自己建立好文件夹放即可。 我是在ChatGLM3的目录里面加了models 这样方便记录和使用。
然后需要修改你想运行的demo的py文件的model path改成你自己的。
例如我需要运行的是basic_demo 的web_demo2.py,第6行是原本的内容,已经注释掉了,其他的同理
修改为你真实的路径即可
MODEL_PATH = 'E:\AI Sofeware\chatglm3\ChatGLM3\models\chatglm3-6b-32k'
模型目录里面是这样的,精确到你git下来的目录级别即可
2.import mdtex2html ModuleNotFoundError: No module named ‘mdtex2html’ 此问题需要安装mdtex2html
直接在anaconda prompt里面安装
pip3 install mdtex2html
到此本地已经部署好了
1.打开 anaconda prompt
2.windows系统下方搜索框里面,因为的python 和pytorch环境都是安装在conda里面的(后续缺什么就在anaconda prompt ,pip xxx 安装即可)
3.所以需要在此环境下使用
如图 如何运行chatglm3
1.打开:anaconda prompt
2.进入e: 盘
3.进入对应的盘符
cd E:\AI Sofeware\chatglm3\ChatGLM3\basic_demo
4.运行web_demo.py
streamlit run web_demo2.py