数据交易导航网是一个数据要素市场相关的数据交易、数据管理、数据服务等数商企业商业生态导航平台。
网址:https://wenxin.baidu.com/
在模型层,文心大模型一次性发布11个大模型,涵盖基础大模型、任务大模型、行业大模型的三级体系,全面满足产业应用需求;在工具与平台层,全面升级大模型开发套件、文心API和提供全流程开箱即用大模型能力的EasyDL和BML开发平台,全方位降低应用门槛;新增产品与社区层,包括AI艺术与辅助创作平台“文心一格”、产业级搜索系统“文心百中”和旸谷社区,让更多人零距离感受到最先进的AI大模型技术带来的新体验。
除行业大模型外,此次还发布了5个基础大模型和1个任务大模型,包括:知识增强轻量级大模型ERNIE 3.0 Tiny、跨模态理解大模型ERNIE ViL 2.0、跨模态生成大模型ERNIE ViLG 2.0、文档智能大模型 ERNIE-Layout、单序列蛋白质结构预测大模型HelixFold-Single和代码大模型 ERNIE-Code。
其中,知识增强轻量级大模型ERNIE 3.0 Tiny是以ERNIE 3.0千亿参数大模型为师,通过多任务知识蒸馏手段将千亿多任务大模型的所学迁移至轻量级模型中,训练了10亿级、亿级、千万级不同体量大小的轻量级大模型。ERNIE 3.0 Tiny具备非常优秀的泛化能力,同时相对于超大参数模型,推理速度提升数十倍到百倍,能够显著降低超大参数模型落地的成本。ERNIE 3.0 Tiny和ERNIE ViLG大模型将上线“鹏城云脑”,在云脑上精调训练、部署服务,进一步降低大模型开发和应用的门槛。
文心大模型工具平台全面升级,全流程支撑大模型开箱即用
为了让开发者更加方便、快速地使用大模型的最新能力,文心大模型工具与平台进行了全面更新。吴甜介绍到,在工具方面,文心大模型开发套件全面升级,发布行业大模型定制工具,同时提供更加完备的场景化建模工具、更为丰富的模型精调工具,以及大模型可信学习工具,让大模型开发训练更加灵活高效;文心API服务支持多种模型尺寸的精调,体验专区提供更多可体验能力,同时基于大规模集群算力分布式推理加速能力,可满足大规模高性能产业级调用。
大模型的开发、训练、推理部署的门槛是非常高的。为了更好地支持大模型应用落地,飞桨发布了端到端大模型开发套件PaddleFleetX。针对大模型的训练挑战,PaddleFleetX基于框架自适应分布式训练能力,根据模型和硬件平台的特点,自动感知硬件特性,支持在异构硬件上进行自适应并行训练。同时,充分发挥飞桨动转静能力优势,进行训练加速,实现端到端的极致性能优化。训练过程还支持弹性容错训练,大幅提升训练过程的鲁棒性。针对大模型推理部署的挑战,PaddleFleetX提供了大小模型无缝联动的能力,以满足大模型推理对性能的极致要求。同时,PaddleFleetX支持自适应分布式推理技术,真正做到分布式策略的训推一体,大可支持超大模型的服务化部署,小可协同极致小型化策略,支持端侧轻量化部署。