为什么要组织对话？
总所周知，ChatGPT的训练大致可分为下图中展示的几个阶段，其中，在Pretraining阶段，模型的训练数据是纯文本，目标是根据上文预测下一个token，而在后面的几个阶段中，为了让模型具备对话的能力，相应的就需要使用对话数据进行训练。而对话数据一般包含多个角色的文本，如何将这些文本有效地组织、拼接起来（openAI将其称之为Chat Markup Language，简称ChatML），是本文要聊的内容。
from Microsoft Build 2023 《State of GPT》
ChatGPT的ChatML
根据openAI的介绍[1]，ChatML v0会将每个角色（system、user、assistant）的文本进行如下拼接：
system
You are ChatGPT, a large language model trained by OpenAI. Answer as concisely as possible.
Knowledge cutoff: 2021-09-01
Current date: 2023-03-01
user
How are you
assistant
I am doing well!
user
How are you now?
其中、是special token，进行tokenizer encode的时候他们会被编码成对应的单个token id，他们专门用来表示一个角色说话的start和end。
那么，如果对话文本中包含了岂不是会造成模型的困扰？为了防止这种类型的注入攻击，似乎openAI会将对话文本中的、过滤掉。
可能是过滤了，ChatGPT的回复中没有提到
将改成，ChatGPT能够完整输出用户刚刚的问题
另外，值得注意的是system prompt中的小trick，其中包含了Current date的信息，在响应用户提问的时候进行动态的修改，使模型能够回复一些和当前日期相关的问题。
当这只是ChatML v0的格式，是3月份时候的版本了，最新版的gpt-3.5-turbo-0613中角色增加了function，目前ChatGPT的ChatML演进到了什么格式还是未知，一些眼尖的开发者也发现了当前的ChatML已经不是v0了[2]。
StarChat的ChatML
ChatML的格式不止openAI一种，StarChat提供了另一种思路[3]：
Below is a dialogue between a human and AI assistant called StarChat.
Is it possible to imagine a society without law?
It is difficult to imagine ...
It seems like you ...
You are correct ...
Yeah, but laws are complicated ...
其中、、、是special token，[3]中很贴心地提供详细的代码，感兴趣的读者可以进一步了解。
将角色信息用special token表示，可以更好的避免注入攻击，但由于这些special token对应的embedding在预训练阶段是未经过训练的，在SFT过程中需要充分的训练才能有好的表现。
总结
ChatML是训练对话大模型的一个小细节，本文介绍的两种方式都是利用了special token来显式表示对话的边界，同时还能节约上下文的空间，相比于直接使用###user xxx ###assistant xxx是要更好的。
The devil is in the detail.
Reference
[1] openai-python/chatml.md
[2] ChatML update for th gpt-3.5-turbo-0613 and gpt-4
[3] 使用 StarCoder 创建一个编程助手
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
单文件组件形式 原文链接：https://note.noxussj.top/?source=sifo 非单文件组件 可以理解为是通过 html 文件来使用 Vue。 Document var app = new Vue({ el: ‘#app’, data: …
