ChatGLM的部署,主要是两个步骤:
- 在Github上下载chatglm的库文件
- 在Hugging Face上下服务器托管网载模型参数与配置文件
ChatGLM包
从Github上看ChatGLM项目文件的结构来看,仅仅是包含三种部署方式的py代码与微调的py代码
而相关的实现细节,比如神经网络、激活函数、损失函数等具体的实现,并不在该项目源码中。
不管以哪种方式部署,最核心就是三句代码,其作用是引入模型参数,初始化transformers配置;以web部署的方式为例:
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
model = model.eval()
// 引入Gradio,实现web方式的使用
// 调用模型方法,开始进行对话推理
xx = model.stream_chat(xxxx);
web的调用是基于Gradio;
api的调用是基于fastapi;
cli的调用是基于python解释器;
Hugging Face
Hugging Face平台的模型库如下:
除去与训练后的模型参数(xxx.bin)外,其余的文件是huggingface的文件结构。
微调
微调的解决方案一般是P-Tuning或LoRA;ChatGLM-6B是基于P-Tuning v2实现的微调,P-Tuning v2是基于连续提示(continuous prompts)的思想。微调会生成新的模型参数文件,也称为checkpoint文件。
微调时可以选择全参数微调或是部分参数微调,其流程是训练+推理。训练生成新的checkpoint文件(模型参数);推理则是加载模型参数文件。
训练前,需要调整参数,一般修改train.sh脚本文件就行。
推理时,加载原模型文件与微调后生成的checkpoint文件。还是通过那三句代码。
输出的checkpoint文件如下:
checkpoint文件夹内服务器托管网的文件如下:
transformers的联系
目前的模型,都会对接到Hugging Face平台的transformers库中,通过transformers库来管控大模型。所以在推理阶段通过三句代码就能调用AI模型。在微调阶段,生成的checkpoint文件中,其结构是Hugging Face平台的文件结构,包含transformers的相关配置及初始化信息。
总结
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
机房租用,北京机房租用,IDC机房托管, http://www.fwqtg.net
相关推荐: 大模型时代,“人人可AI”的百度开发者平台长什么样?
【直播预告】替代 Oracle,我们还有多长的路要走? 导读 大模型时代的开发者平台,不仅要提供AI原生能力,还要具备生态打造和商业化闭环能力。 全文6115字,预计阅读时间16分钟。 提及“灵境”,人们在脑海中往往会呈现出自己旅行过的风景名胜。然而,当身处在…