全球首个全模态大模型紫东太初2.0发布，中科院王金桥：希望实现更类人的智能

出品 | 搜狐科技

【资料图】

作者 | 张雅婷

6月16日，人工智能框架生态峰会举办，昇思MindSpore带来了人工智能框架的最新进展。

会上，基于昇思AI框架的全球首个全模态大模型“紫东.太初2.0”正式发布，支持多轮问答、文本创作、图像生成、3D理解、信号分析等跨模态任务。

“我们的初心就是希望机器实现更类人的智能。”中科院自动化所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥告诉搜狐科技等媒体，人们认识世界70%的数据是靠视觉，10%靠触觉，其他的靠听觉等。要实现更类人的智能，必须融合多模态的信息。

紫东太初大模型之外，目前国内通过昇思AI框架原生孵化出来的大模型已经约有20个。“年底希望孵化40个或者50个更多的大模型。”

“要实现更类人的智能，必须融合多模态信息”

伴随着AI大模型的走红，AI框架也进入了发展繁荣期，成为行业关注的焦点。

类似于Windows、安卓，AI框架被比作“AI领域的操作系统”，可以帮助开发者高效、快速地构建网络模型进行训练和推理。几乎所有人工智能项目，包括商业和学术项目，都是建立在个或多个开源框架之上。

目前主流的海外AI框架有TensorFlow、PyTorch等，国内有昇思MindSpore、飞桨PaddlePaddle等。

AI框架与大模型有啥关系？昇思MindSpore开源社区理事长丁诚在与搜狐科技等媒体对话时表示，在整个大模型生态当中，人工智能框架是帮助开发者孵化他的大模型，不会自己去做大模型，而是把大模型的算法团队作为用户。

比如，ChatGPT其实就是基于PyTorch深度学习框架实现的。而全模态大模型“紫东.太初2.0”是基于昇思AI框架。

王金桥指出，其他国内大模型在架构上还是Follow GPT的路线，而“紫东太初”框架和GPT不一样， 有非常多原创的技术。

紫东太初AI大模型于2021年问世，由中国科学院自动化研究所和华为联合开发，紫东太初1.0是全球首个基于昇思AI框架开发的千亿参数图、文、音三模态大模型。

这次在人工智能框架生态峰会上亮相的“紫东.太初2.0”由1.0版本升级而来，是全球首个全模态大模型。在语音、图像和文本之外，加入了视频、传感信号、3D点云等更多模态，支持多轮问答、文本创作、图像生成、3D理解、信号分析等跨模态任务。

王金桥表示，无论是GPT，还是国内的大模型，基本都是聚焦语言模型。“我们的初心就是希望机器实现更类人的智能，我们认识世界70%的数据是靠视觉，10%靠触觉，其他的靠听觉等。要实现更类人的智能，必须融合多模态的信息。”

在应用场景方面，王金桥解释称，主要是基于紫东太初大模型打造出服务平台，企业可通过大模型和行业场景深度的结合，生产和优化自己的模型，实现低代码的开发，让大模型更高效地利用。“与行业数据结合后，在智慧汽车、智能医疗、智能制造、数字政务这四个领域做了比较多的应用示范。”

昇思年底将孵化近50个大模型

2020年3月，华为正式开源全场景AI框架昇思MindSpore。经过三年发展，昇思人工智能框架生态不断壮大。

截至2023年5月底，昇思开源社区下载量已突破474万，社区贡献者1.3万，服务企业数量5500家，与240家科研院所展开合作，开源模型达400多个，发表顶会论文超过900篇。

大模型方面，丁诚表示，MindSpore开源三周年以来，一直帮助包括像自动化所，鹏城实验室，各个高校，包括产业用户孵化各种各样的大模型。“目前国内大概已经有20个的大模型，是通过昇思AI框架原生孵化出来的。”

他表示，社区之前更多的走向从技术研发到逐步成熟的阶段，下一个阶段昇思开源社区逐步从技术成果的孵化，走向产业落地应用。“我们技术已经逐步走向成熟，下一步会在更多的行业和生态拓展用户。”

接下来，昇思孵化大模型的速度也将加快。据丁诚透露，年底希望孵化40个或者50个更多的大模型。

当越来越多的公司都开始做大模型，为何开源生态的建立尤为可贵？

丁诚则表示，从开源社区的角度来看，非常希望大模型生态能够互融互通。第一，数据是非常核心的资产，各家大模型训练能把相关的数据贡献出来做开源共享，可以集整个产业之力达到中国或者全人类更好的大模型。

第二，对于算法核心实现的资产，各家都有自己的核心武器，如果更开放一点，可以推动更好的大模型为整个产业服务。

王金桥认为，今年国内之所以能迅速涌现这么多模型，都是依赖于全球开源体系集体智慧的贡献，只有开源开放才能实现互融共通。

他表示，未来底座大模型不会特别多，更多大模型还是围绕垂直行业的解决方案，模型没有那么大，但是又一些行业的数据，所以在特定领域是由优势的。毕竟，底座大模型成本很高、技术门槛也高，一次训练基本上是上千万的电力费用。

“我相信未来底座模型和垂直类的模型会互相融通，而且越来越多的模型会开源开放，才能推动基于中文的单模态或者多模态模型的发展。”

关键词：