目前,在大模型研发领域正掀起新一轮技术创新热潮,金融行业也不例外。金融机构该如何构筑面向大模型时代的新型算力和存力基础设施?大模型能力又该怎样才能实现向融领域的迁移?针对这些问题,浪潮信息都将给出解答。此前,浪潮信息AI服务器产品专家郭磊表示,“金融机构可以集中资源在行业大模型上,不是‘在一千米的地上挖一米深的沟’,而是‘在一米的地方挖一千米深’”。

大模型训练四个阶段
具体来看,大模型训练的第一阶段是无监督预训练阶段,训练周期往往持续数十天到数月,需要数千张GPU卡同时计算,算力消耗巨大,训练时间非常长,训练出来的模型是基础语言模型。金融机构可以通过使用开源平台或者第三方合作(如浪潮信息的“源”大模型),获得基础语言能力。第二到第四阶段是有监督精调阶段、奖励模型训练和强化学习,这3个阶段需要数十张乃至上百张GPU卡同时计算,算力消耗的规模和训练时长相比第一阶段都有明显下降,所以金融机构可以在这三个阶段进行训练,打造有金融行业优势的大模型。
另一方面,大模型光有算力远远不够,还取决于数据规模和数据质量。
大模型的优势在于海量信息的搜集、提取和分析能力,这是人类难以企及的。

大模型训练四个阶段
具体来看,大模型训练的第一阶段是无监督预训练阶段,训练周期往往持续数十天到数月,需要数千张GPU卡同时计算,算力消耗巨大,训练时间非常长,训练出来的模型是基础语言模型。金融机构可以通过使用开源平台或者第三方合作(如浪潮信息的“源”大模型),获得基础语言能力。第二到第四阶段是有监督精调阶段、奖励模型训练和强化学习,这3个阶段需要数十张乃至上百张GPU卡同时计算,算力消耗的规模和训练时长相比第一阶段都有明显下降,所以金融机构可以在这三个阶段进行训练,打造有金融行业优势的大模型。
另一方面,大模型光有算力远远不够,还取决于数据规模和数据质量。
大模型的优势在于海量信息的搜集、提取和分析能力,这是人类难以企及的。