《

chatglm-6b》是一款由国内清华大学唐杰团队开发制作的AI人工智能模型，软件支持6GB消费级显存部署，无需担心带不动的问题。62亿参数的ChatGLM-6B可以轻松满足当前人类各个领域的需要，软件模型为中英双语，用户可以轻松进行使用，该款app内置使用说明，小白用户无需担心，需要就来点击下载使用吧。

chatglm-6b简介

ChatGLM-6B是一款性能非常强大的人工交流AI，在阅读过程中，可以实时的和机器人在线进行交流，ChatGLM-6B内测版可以帮助用户保持每次的阅读进度，阅读时提供的各种分类也非常详细，对此有需求的朋友们欢迎下载哦。

chatglm-6b背景

近期，清华开源了其中文对话大模型的小参数量版本ChatGLM-6B（GitHub地址：https://github.com/THUDM/ChatGLM-6B）。其不仅可以单卡部署在个人电脑上，甚至INT4量化还可以最低部署到6G显存的电脑上，当然CPU也可以。

随着大语言模型的通用对话热潮展开，庞大的参数量也使得这些模型只能在大公司自己平台上在线部署或者提供api接口。所以ChatGLM-6B的开源和部署在个人电脑上，都具有重要的意义。

博主测试后发现，对比huggingface上其他同参数量的模型来说，ChatGLM-6B的效果已经是很好的了，更何况它还有130B的版本，官网说明（官方博客：https://chatglm.cn/blog）是优于GPT-3.5效果的（130B版本正在内测，博主没有拿到测试资格，所以无法确认）。所以把ChatGLM-6B部署在个人电脑或者服务器上还是很好玩的，这个参数量还要什么自行车。

chatglm-6b更新内容

【最新更新】ChatGLM-6B在2023/03/19更新增加了量化后的INT4模型，官方直接针对性的量化模型后提供下载。对比原版自己设置量化效果好一些，而且模型大小只有4G，极大地加快了下载速度。对于只有CPU或者只有6G显存的同学，可以直接选择量化后的模型下载和部署，本文单独更新了ChatGLM-6B-int4版本的部署教程，在第四章，需要部署的可以直接跳转到第四章，忽略前面的内容。huggingface地址：https://huggingface.co/THUDM/chatglm-6b-int4

chatglm-6b使用说明

下载

模型文件需要在huggingface上进行下载：https://huggingface.co/THUDM/chatglm-6b

点击【Files and versions】即可下载文件。建议下载到一个新建文件夹中，如大文件夹是ChatGLM，把模型文件放到model文件夹里，整体结构就是…/ChatGLM/model。

如果模型文件（大于1G的）下载速度慢，可以在国内源中单独下载这几个模型文件（其他这个源没有的文件还是需要在huggingface上下载）：https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

下载完成之后确保下图这些文件都在模型文件夹下（例如存放在…/ChatGLM/model下）：

到GitHub中下载其他环境配置文件和demo程序代码。GitHub地址：https://github.com/THUDM/ChatGLM-6B。下载到…/ChatGLM/这个目录下即可。

部署

把模型部署在本地，需要在Python环境下安装影响的库，此外还需要针对GPU安装相应版本的cuda和对应的Pytorch。之后修改demo文件就可以启动运行了。

chatglm-6b配置教程

3.1配置环境

安装自己GPU对应的cuda，这个网上教程很多，不再赘述。（如果只有cpu，则跳过该步骤）

根据上一步安装的cuda版本，下载安装对应版本的pytorch，网上也有很多教程。（如果只有cpu，也需要安装cpu版的pytorch）

上述两步完成后，在…/ChatGLM/目录下打开命令行终端，输入

pip install-r requirements.txt

按回车后，pip就自动下载和安装相关依赖库了。

上述三个步骤完成后，部署的环境就搭建完成了。下面仅需要稍微修改demo的代码，或者自己根据demo编写程序，就可以开始使用ChatGLM-6B了！

3.2启动demo程序

在…/ChatGLM/目录下有两个demo代码：（1）cli_demo.py，直接在命令行中输入进行问答；（2）web_demo.py，利用gradio库生成问答网页。

第一个demo方便，还可以清除历史记录，但是在命令行（尤其是Linux命令行）中容易输入一些奇怪的字符，这会使得程序意外停止；第二个demo界面简单，但是不能清除记录，而且如果在没有图形界面的Linux系统服务器中使用，需要端口映射到本地电脑，再打开浏览器访问。个人建议，如果有能力，可以自己综合二者的有点自己编写，比如使用jupyter就可以很好结合二者，还可以以markdown渲染输出，使得代码或者公式更好看。

3.2.1启动cli_demo.py

修改模型路径。编辑cli_demo.py代码，修改5、6行的模型文件夹路径，将原始的“THUDM/ChatGLM-6B”替换为“model”即可。

修改量化版本。如果你的显存大于14G，则无需量化可以跳过此步骤。如果你的显存只有6G或10G，则需要在第6行代码上添加quantize(4)或quantize(8)，如下：

#6G显存可以4 bit量化

model=AutoModel.from_pretrained("model",trust_remote_code=True).half().quantize(4).cuda()

#10G显存可以8 bit量化

model=AutoModel.from_pretrained("model",trust_remote_code=True).half().quantize(8).cuda()

12345

执行python文件即可，可以在命令行终端输入：

python cli_demo.py

即可启动demo，开始使用了！

3.2.2启动web_demo.py

安装gradio库，在ChatGLM目录下打开命令行终端，输入：

pip install gradio

即可安装demo所需要的库。

修改模型路径。编辑web_demo.py代码，修改4、5行的模型文件夹路径，将原始的“THUDM/ChatGLM-6B”替换为“model”即可。

修改量化版本。如果你的显存大于14G，则无需量化可以跳过此步骤。如果你的显存只有6G或10G，则需要在第5行代码上添加quantize(4)或quantize(8)，如下：

#6G显存可以4 bit量化

model=AutoModel.from_pretrained("model",trust_remote_code=True).half().quantize(4).cuda()

#10G显存可以8 bit量化

model=AutoModel.from_pretrained("model",trust_remote_code=True).half().quantize(8).cuda()

12345

执行python文件即可，可以在命令行终端输入：

python web_demo.py

即可启动demo，开始使用了！

四、【最新】ChatGLM-6B-int4版本教程

ChatGLM-6B-INT4是ChatGLM-6B量化后的模型权重。具体的，ChatGLM-6B-INT4对ChatGLM-6B中的28个GLM Block进行了INT4量化，没有对Embedding和LM Head进行量化。量化后的模型理论上6G显存（使用CPU即内存）即可推理，具有在嵌入式设备（如树莓派）上运行的可能。

4.1下载

打开ChatGLM-6B的GitHub页面（https://github.com/THUDM/ChatGLM-6B），下载所有文件到文件夹…/ChatGLM/下。

在…/ChatGLM/下新建文件夹…/ChatGLM/model。打开huggingface页面（https://huggingface.co/THUDM/chatglm-6b-int4/tree/main），下载ChatGLM-6B-int4的int4量化过的模型，把所有模型文件下载到…/model目录下。

注意：要点击这些向下的箭头才能下载，如下：

至此所有文件下载完毕，大文件夹…/ChatGLM/下有demo和配置环境的相关代码，且包含小文件夹…/ChatGLM/model，model文件夹内存放模型相关文件。

4.2配置环境

如果没有6G显存，需要使用CPU运行，模型会根据硬件自动编译CPU Kernel，请确保已安装GCC和OpenMP（Linux一般已安装，对于Windows则需手动安装），以获得最佳并行计算能力。

如果有6G显存，则需要安装与显卡版本对应的cuda，之后再安装与cuda版本对应的pytorch。网上有很多安装cuda和pytorch的教程，这里不在赘述。（使用CPU运行的同学跳过步骤2）

安装相关依赖，在…/ChatGLM/目录下打开命令行终端，输入

pip install-r requirements.txt

按回车后，pip就自动下载和安装相关依赖库了。

4.3启动demo程序

本节内容与3.2节内容基本相同，参考3.2节的部分内容即可，这里不再赘述。请注意：↓↓↓

与3.2节不同的是，3.2.1的步骤2和3.2.2的步骤3直接忽略即可，因为模型已经量化过，不需要重复量化。

五、华为CodeLab免费GPU平台部署ChatGLM-6B-int4（CPU版）

5.1前言

虽然ChatGLM-6B-int4模型只需要6G内存或显存，但是可能对一些想尝试的同学还是有一定困难。所以这里推荐华为云ModelArts平台下的CodeLab，类似于谷歌的colab，提供免费的最高64G内存+16G显存。

5.2在CodeLab上使用CPU部署

打开ModelArts控制台页面，注册账号并登陆。网址：https://console.huaweicloud.com/modelarts/?region=cn-north-4#/dashboard

找到控制台页面【总览】下方的【开发工具】，点击CodeLab下方的【立即体验】。随后会跳转到CodeLab页面并开始加载资源。

导入ChatGLM-6B相关代码文件：在加载好的CodeLab上方点击【Git】-【Clone a Repository】，在弹出的窗口中输入https://github.com/THUDM/ChatGLM-6B.git，则demo等代码文件就克隆到CodeLab了。可以看到在左侧文件管理中多出了ChatGLM-6B的文件夹。

下载ChatGLM-6B-int4模型：打开Huggingface模型文件页面（https://huggingface.co/THUDM/chatglm-6b-int4/tree/main），分别复制每个文件的下载地址，在ChatGLM-6B文件夹下新建model文件夹，利用wget下载地址在命令行终端分别把模型文件下载到model文件夹中。

安装相关依赖：命令行中输入指令pip install protobuf==3.20.0 transformers==4.26.1 icetk cpm_kernels，即可完成安装。

运行demo代码：双击打开编辑ChatGLM-6B文件夹下的cli_demo.py文件，把第5、6行改为如下形式：

tokenizer=AutoTokenizer.from_pretrained("model",trust_remote_code=True)

model=AutoModel.from_pretrained("model",trust_remote_code=True).float()

12

随后，在ChatGLM-6B下命令行输入python cli_demo.py即可运行demo程序。

5.3提示

CodeLab每过一个小时需要确认一次，否则会停止运行；

CodeLab每三天需要使用一次，否则资源会被回收，需要重新部署；

本案例为部署CPU进行模型推理，生成速度较慢；大家可以尝试安装GPU版pytorch进行部署，我尝试的GPU版本多多少少有各种问题，所以只出了CPU版教程。也希望有GPU部署成功的可以留言讨论学习一下；

上一节步骤4下载模型文件可以进一步优化，比如直接在demo代码默认HuggingFace下载，但是博主这里失败了；

CodeLab还有其他要求或者文件的重置说明，请自行查阅。

六、小结

经过一段时间对ChatGLM-6B、文心一言和ChatGPT的使用后，前二者在文字对话上与ChatGPT差距已经不大了，在代码生成能力上还有一定差距，但是都好过GPT-3.5。

文心一言在大部分情况下比ChatGLM-6B好一些，不过要注意ChatGLM-6B只有60亿参数，而且可以单卡部署，这已经是很大的进步了，所以我对ChatGLM的发展还是非常看好的，官方也说过除了int4量化，还会进一步压缩模型。

总的来说，ChatGLM-6B在同参数量下可以碾压其他对话模型，而且可以部署到个人电脑上，或者用华为的免费GPU。通过几天的体验，ChatGLM-6B是对话模型里非常让人惊喜的了，所以推荐大家可以部署玩玩。甚至可以考虑给嵌入式设备部署一波，也期待官方的进一步极致压缩！

最后也祝ChatGLM和文心一言可以进一步加油，最近的体验也感受到官方每天的更新和进步了，说明态度还是非常积极的。

————————————————

chatglm-6b描述

1.提供给用户的服务非常的多元化，并且非常的具有创意性。

2.支撑软件的是强大的互联网技术，并且融入了智能聊天的模式。

3.会给用户分享更多的话题，所有的话题都非常的有意思。

4.可以加入到话题探讨里面，有助于更好的交流。

chatglm-6b闪光点

·众多的功能非常的全面，用户只需要在线即可登录使用。

·所有的功能不需要任何的费用，打造了智能化的语音聊天方式。

·能够及时的帮助用户解决更多的问题，同时还可以方便用户在线写论文。

·通过平台将会获取到不一样的聊天过程。非常的具有独特性。

chatglm-6b特征

1.设置的资源信息有不同的主题和众多的分类。

2.智能搜索引擎直接输入关键词查看同类型的资源介绍。

3.下载速度快，没有病毒安全可靠。

4.直接手动删除自己的观看列表，添加其他的东西。

chatglm-6b开发者信息

版权声明：本文为CSDN博主「---Olive---」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/qq_43475750/article/details/129665389

chatglm-6b测评

软件十分好用，专业的AI智能辅助app。