分享

国产AI力作!手把手教你部署清华大模型ChatGLM2

 勇无止境879 2023-07-24 发布于广西

ChatGLM是由清华大学唐杰团队开发的是一个开源的、支持中英双语的类ChatGPT大语言模型,自今年4月份推出后,迅速受到了很多人的欢迎。最近它还更新了2代,随我一起去看看吧~

国产AI力作!手把手教你部署清华大模型ChatGLM2

ChatGLM2-6B简介

ChatGLM是清华大学开发的,经过约1T标识符的中英双语训练,拥有62 亿参数的开源AI大语言模型,它能生成相当符合人类偏好的回答。而且还可以在消费级显卡上部署,使大家都能拥有自己的AI大模型。

国产AI力作!手把手教你部署清华大模型ChatGLM2

而最近ChatGLM更新了第二代,拥有更强大的能力:模型升级,性能加强,支持更长上下文,推理能力大幅提升,允许免费商用。

项目地址:

https://github.com/THUDM/ChatGLM2-6B

本地部署

通过我之前分享的文章:一键本地部署类GPT大模型,免费!即可快速在本地部署并体验ChatGLM2。

进入以下目录中oobabooga_windows\text-generation-webui,在上方地址中输入“cmd”。

国产AI力作!手把手教你部署清华大模型ChatGLM2

在打开的命令指示窗口,输入以下代码,以下载ChatGLM2模型文件:

python download-model.py THUDM/chatglm2-6b
国产AI力作!手把手教你部署清华大模型ChatGLM2

等待下载完成后,再回到项目目录,点击“start-windows”,即可启动。然后将下方弹窗中的地址,输入到浏览器。

国产AI力作!手把手教你部署清华大模型ChatGLM2

之后需要在“model”选显卡里,选择ChatGLM2以加载模型。

国产AI力作!手把手教你部署清华大模型ChatGLM2

注意,需要勾选“trust-remote-code”选项(否则会报错):

国产AI力作!手把手教你部署清华大模型ChatGLM2

等待模型加载完成,预计需要16G以上的内存:

国产AI力作!手把手教你部署清华大模型ChatGLM2

模型加载完成后,就可以回到主界面,跟ChatGLM2聊天了。我问了一个问题:猪可以飞吗?然后ChatGLM2给的回答还是比较靠谱的。恭喜你,拥有了这个聪明的国产AI大模型了。

国产AI力作!手把手教你部署清华大模型ChatGLM2

感兴趣的朋友,快去试试吧~

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多