本文是LLM系列文章，针对《CFGPT: Chinese Financial Assistant with Large Language Model》的翻译。
摘要
大型语言模型（LLM）在金融领域的自然语言处理任务中显示出巨大的潜力。在这项工作中，我们提出了一个名为CFGPT的中国金融生成预训练Transformer框架，其中包括一个用于预训练和监督微调的数据集（CFData）、一个用于熟练管理金融文本的金融LLM（CFLLM），以及一个用于导航现实世界金融应用程序的部署框架（CFAPP）。CFData包括预训练数据集和监督微调数据集，其中预训练数据集中整理了中国的金融数据和分析，以及一个较小的通用文本子集，共有584M个文档和141B个token，监督微调数据服务器托管网集中针对六个不同的金融任务量身定制，通过总共1.5M个指令对和1.5B个token，体现了财务分析和决策的各个方面。CFLLM基于InternetLM-7B来平衡模型能力和大小，分两个阶段在CFData上进行训练，即持续的预训练和监督的微调。CFAPP以大型语言模型（LLM）为中心，并添加了额外的模块，以确保在现实应用中具有多方面的功能。我们的代码发布于https://github.com/TongjiFinLab/CFGPT。
1 引言
2 相关工作
3 数据集
4 模型和训练
5 应用
6 结论
在这项研究中，我们介绍了一个具有大型语言模型的开源中国财务助理，名为CFGPT，用于金融领域的适用LLM要求。CFGPT包括一个满足现实世界应用的部署框架，一个在中国金融数据集上进行两阶段微调的开源LLM，以及一个评估中国金融领域模型性能的基准。通过初步评估，我们展示了我们的CFLLM-ins-7B模型在财务任务中的有效性，强调了在财务领域对大型语言模型进行特定领域的持续预训练和监督微调的潜力。尽管如此，诸如提高复杂任务的绩效和解决资源限制等挑战仍然存在。我们的开源贡献旨在促进金融大语言模型文献的进一步研究和创新，促进金融部门开发更有价值和适用性的LLM。
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
相关推荐: #yyds干货盘点# LeetCode程序员面试金典：只出现一次的数字 III
题目： 给你一个整数数组nums，其中恰好有两个元素只出现一次，其余所有元素均出现两次。 找出只出现一次的那两个元素。你可以按任意顺序返回答案。 你必须设计并实现线性时间复杂服务器托管网度的算法且仅使用常量额外空间来解决此问题。 示例 1： 输入：nums =…
