据上证报中国证券网讯报道，在 10 月 21 日举行的第四届 1024 资管科技开发者大会（ITDC 2023）资产管理垂直领域大模型开发与应用论坛上，上海人工智能实验室书生大模型生态和产业合作负责人许韶华分享了大语言模型技术总览，即数据准备、预训练、指令微调、部署 & 推理、模型评测。
许韶华表示，大规模构建高质量语料数据是大模型研发中非常具有挑战的环节，其中精细化数据处理是关键，而掌握领域数据是建设行业大模型的关键。算力方面，语言大模型的预训练计算量巨大，需要在大规模计算集群上进行，并且依赖高效的训练系统以充分发挥集群算力。在技术层面，实现大模型的高效且稳定的训练也是非常具有挑战性的。
许韶华认为：“评测主要目的不是为了排名，而是指路，对于我们认识模型能力，安排后续研发非常重要。”
原文链接
关注微信