本地部署搭建chatglm3

准备本地环境

1.本地安装anaconda

下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D

根据时间倒序,然后下载Windows系统的版本:
image-20231129005419166

2.按照此博客安装anaconda

参考博客:https://blog.csdn.net/z2858539804/article/details/81407456

无脑下一步即可,主要是参考配置环境变量
image-20231130000338624

image-20231130000420789

双击系统变量的path

image-20231130000517451

复制你的Anaconda目录下的Scripts级别的目录的地址即可(和java jdk配置环境变量类似)

image-20231130000548958

image-20231130000647176

3.然后安装pytorch

官方地址:https://pytorch.org/

image-20231129005657477

参考博客:https://zhuanlan.zhihu.com/p/125533595

YourOS:你的操作系统

Package:选择下载的方式,由于conda要配置源,对萌新不太友好,所以我们选择pip(我自己使用conda直接安装但是失败。懒得折腾了)

Language:选择python

CUDA:None是下载CPU版,选择自己系统支持的cuda,这是GPU版

如何查看电脑支持cuda的版本:

如图在anaconda prompt安装即可

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

image-20231129005904642

遇到的问题和注意事项:

1.需要下载模型:
Model Seq Length Download
ChatGLM3-6B 8k HuggingFace | ModelScope
ChatGLM3-6B-Base 8k HuggingFace | ModelScope
ChatGLM3-6B-32K 32k HuggingFace | ModelScope
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-32k.git

右边有对应的地址,网络问题,如果没条件的建议使用ModelScope的链接下载,自己安装好git,然后执行上述命令即可,

不同的模型地址不同,自己点击https://modelscope.cn/models/ZhipuAI/chatglm3-6b上述的ModelScope链接查看

image-20231129010352156

你自己建立好文件夹放即可。 我是在ChatGLM3的目录里面加了models 这样方便记录和使用。

image-20231129010434338

然后需要修改你想运行的demo的py文件的model path改成你自己的。

例如我需要运行的是basic_demo 的web_demo2.py,第6行是原本的内容,已经注释掉了,其他的同理

修改为你真实的路径即可

MODEL_PATH = 'E:\AI Sofeware\chatglm3\ChatGLM3\models\chatglm3-6b-32k'

image-20231129010719421

模型目录里面是这样的,精确到你git下来的目录级别即可

image-20231129010839108

2.import mdtex2html ModuleNotFoundError: No module named ‘mdtex2html’ 此问题需要安装mdtex2html

直接在anaconda prompt里面安装

pip3 install mdtex2html

image-20231129011140324

到此本地已经部署好了

1.打开 anaconda prompt

2.windows系统下方搜索框里面,因为的python 和pytorch环境都是安装在conda里面的(后续缺什么就在anaconda prompt ,pip xxx 安装即可)

3.所以需要在此环境下使用

如图 如何运行chatglm3

1.打开:anaconda prompt

2.进入e: 盘

3.进入对应的盘符

cd E:\AI Sofeware\chatglm3\ChatGLM3\basic_demo

4.运行web_demo.py

streamlit run web_demo2.py

image-20231129004957891

运行成功后测试如图

image-20231129005210266