黄仁勋明天登港！沈向洋3小时重磅演讲：发布多款大模型，具身智能激情碰撞

2024-11-25

图片

图片图片

通用视觉、营销、投资、经济等大模型首发。
作者 |   许丽思
编辑 |   心缘
智东西11月22日报道，今日，一年一度的2024 IDEA大会在深圳举行，这场由美国国家工程院外籍院士沈向洋发起的人工智能盛会，以粤港澳大湾区为窗口，深入探讨了全国及全球视角下的大模型算力趋势、具身智能、AI+编程、AI for Science、低空经济等热点议题。
作为IDEA研究院创院理事长，沈向洋进行了近3小时的主题演讲，期间发布多个IDEA研究院创新成果，包括通用视觉大模型、营销创作大模型、经济大模型、运筹决策大模型、投资大模型、化学领域专家大模型、低空管理与服务操作系统等。面向具身智能，IDEA研究院宣布分别与腾讯、美团、比亚迪展开合作。
在人工智能发展过程中，沈向洋认为，算力、算法和数据是最重要的。他直言，过去十几年，英伟达是人工智能行业最了不起、最成功的一家公司。“英伟达硬生生把自己从自己从做硬件、芯片的乙方变成了甲方，今天能拿得到英伟达的卡就可以说是成功了一半。”
沈向洋现场透露，明天黄仁勋会到香港科技大学接受荣誉博士学位的授予，而他准备现在和黄仁勋讨论一些关于技术、领导力和创业的故事，特别是在针对算力发展的问题，探讨未来十年还会不会像过去十年那样能够达到100万倍的增长。

图片

▲沈向洋现场公布明天将与黄仁勋进行对谈

他还强调，具身智能是接下来非常大的机会。如今的多模态模型实际上没有真正地理解物理世界，而要走向世界模型，必须要靠机器人。机器人最后会走向千家万户、走进每一个家庭，这是一件激动人心的事情。
据了解，IDEA大会于2021年首度举行，汇聚产学研企界领袖，致力构建一个凝聚数字经济多方力量的国际化平台，是粤港澳大湾区最具影响力的科技盛会之一。

01.
“讲卡伤感情，没卡没感情”


“我最近一直讲的一句话叫作‘讲卡伤感情，没卡没感情’。”沈向洋说，如果需要进行人工智能的发展，需要大量高性能显卡的支撑，可以把它想象成是信用卡，弄100张卡，就需要三四千万元的投入。
沈向洋谈道，近年来，人工智能的蓬勃发展让整个行业充满期待。在其发展过程中，算力、算法和数据这“三件套”至关重要。
先看算力。计算行业在过去四五十年里，算力不断提升是关键。英特尔提出的摩尔定律表明每18个月算力增长一倍，然而随着人工智能尤其是深度学习的发展，对算力的需求更高了。
沈向洋觉得，英伟达成为了人工智能领域最了不起、成功的公司。从硬件芯片制造商转变为行业主导，其出货量巨大增长，产品供不应求。如2023年H100的出货量庞大，国内公司和美国的采购数量都非常可观，马斯克还搭建了10万张H100卡的集群。

图片

大模型的发展是算力需求增长的重要原因。大模型参数量从百亿到千亿再到万亿，模型变大对训练要求高，数据量也需增长，对算力的需求与参数呈平方关系。
从增长倍数来看，如果一年涨十倍，十年的增长倍数惊人。从摩尔定律到黄氏定律，黄氏定律是基于模型训练对算力的需求概念。摩尔定律18个月涨一倍，十年是100倍，而一年涨四倍，十年则是100万倍，这解释了英伟达市值过去十年涨300倍的现象。

图片

对于未来十年算力的需求增长，沈向洋称目前并不确定。不过明天，黄仁勋将到香港科技大学接受荣誉博士学位的授予，之后双方会进行对谈，讨论技术、领导力、创业的故事，也顺便请教他一下未来十年的发展还会不会有100万倍的增长。
而在算法方面，沈向洋提到自2017年Transformer架构出现以来，人工智能、深度学习和大模型基本沿着此路线，通过堆数据和算力不断发展。在GPT-4之后，虽然GPT-5尚未推出，但OpenAI不断带来新技术突破，如多模态的GPT-4o以及新的推理学习能力o1。算法领域不断有人创造新算法实现突破，方法范式的转移尤其值得思考。
过去几个月，国内一些公司和初创企业在o1这条道路上取得良好进展。其算法突破思路在于，此前大家关注的GPT系列主要是预训练，预测“下一个token”，通过对数据进行聪明压缩以快速给出答案。而新的范式变革是增强学习，它更像人的思考过程，有后训练、后推理过程。
增强学习并非新事物，很多人都用了，特别是AlphaGo下围棋就用了此方法。如今其新特点是其打法更通用，不像以前一个系统只能解一个问题。就像o1不仅可以处理数据、编程，还能涉及物理、化学等多个领域。在算法方面，未来几年沿着SRL这条道路有望出现令人惊艳的发展。
针对数据方面，沈向洋提到，大模型的蓬勃发展，不仅体现在大参数上，数据量多也是重要方面。
以GPT为例，GPT-3出现时用了2T数据，GPT-4据说用了12T，不断训练后大概用了20T，这是目前互联网上能获取的较干净的数据量，约20万亿。GPT-5迟迟未出，若出现，他认为数据量大概会到200T规模。互联网上已难找到这么多数据，所以要合成数据来训练未来模型。
沈向洋举了个例子说明1T数据的含义：约等于500万本书、20万张高清照片或500万篇论文。人类历史上的书籍总量大概21亿Token，微博有38亿Token，Facebook约140T数据，但社交媒体上的数据质量不高。一个人从小学到大学真正学到的知识大概是0.00018T，读完大学学到的东西相当于1000本书。

图片

ChatGPT等人工智能主要用互联网数据，互联网发展40年，公众在网上发布了的大量信息，可以说为人工智能的训练做了准备工作。另外，无论训练哪种语言的人工智能，底层高质量数据多为英文，人工智能时代英文重要性可能增强。

02.
发布通用视觉大模型DINO-X，
具身智能合作腾讯美团比亚迪


计算机视觉技术在真实世界的应用场景十分广泛。然而，过去主流的小模型方案，难以应对碎片化、多变的长尾需求，限制了技术落地规模。
自2022年起，IDEA团队从目标检测出发，打造了精准度、通用性、泛化能力兼优的DINO系列视觉大模型。本次大会就发布了该系列最新的DINO-X通用视觉大模型，拥有真正的物体级别理解能力，实现开放世界（Open-world）目标检测。无需用户提示，直接检测万物。
与此同时，IDEA团队还推出行业平台架构，通过一个大模型基座，结合通用识别技术结合，让模型不需重新训练，就可边用边学，支撑多种多样的B端应用需求。

图片

沈向洋强调，计算机视觉在机器人和具身智能方面也将是发展的重要方向，机器人最终会走向每一个厂房、每一个家庭。
现场一连宣布了IDEA研究院在具身智能领域布三个合作：与腾讯合作，在深圳福田区、河套深港科技创新合作区落地建设福田实验室，聚焦人居环境具身智能技术；与美团合作，探索无人机视觉智能技术；与比亚迪合作，拓展工业化机器人智能应用。

图片

活动中，IDEA团队还分享了正在进行的AI助盲应用研究。
而针对快速腾飞的低空经济领域，沈向洋总结了低空经济的发展四大关键因素：
一是应用为王；二是政府为主，需要程序、法规、政策支持；三是技术为底；四是安全至上。安全、效率、成本非常重要，只有这些事情做好才能保证支持大规模的飞行。
大会现场，IDEA推出了低空管理与服务操作系统OpenSILAS1.0Alpha版，还携手17家产业伙伴发起OpenSILAS创新联合体，旨在打造开放共享、技术领先的系统和平台，建立有实际系统支撑的标准体系。

图片


03.
合成数据能节省八成以上成本，
大模型落地金融运筹投资


大模型能力的涌现，离不开互联网时代的海量数据养料积累。据沈向洋分享，如今数据存量告急，对使用合成数据来训练未来模型的需求越来越迫切了。
在这个方向上，IDEA团队研发了IDEA Data Maker，通过自研语境图谱技术，解决过往文本数据合成方案的多样性匮乏等问题，还能为合成数据引入“指导手册”，以图谱为纲，指导用于合成的语境采样。
实验结果显示，IDEA团队的方案能持续为大模型带来能力提升，表现超过目前的最佳实践（SOTA）；从token消耗来看，平均节约成本85.7%。目前，该技术内测平台已开放，通过API提供服务。
在拓展新前沿的同时，大模型价值创造也在进行时。大会上，IDEA发布了多个垂类行业应用落地进展，包括：学术大模型和AI科研神器ReadPaper、营销创作大模型，以及面向经济与金融领域的经济大模型、运筹决策大模型、投资大模型。

图片

▲经济大模型

图片

▲运筹决策大模型


04.
已研发多款化学专家大模型，
AI编程工具链12月份开放


在基础研究愈发受到重视的当下，AI for Science是技术创新创业的重要方向。今年的诺贝尔物理学奖和化学奖，更是将这场科学革命推向聚光灯下。好的AI工具，可以帮助科学家做出更快、更好的科学发现。
IDEA团队选择了化学领域，从预测能力和数据能力入手，进行了研究和产业化实践。
在预测方面，IDEA研发的多个化学领域专家大模型，分子属性预测和化学反应预测能力均处业界领先水平；在数据方面，IDEA开发了化学文献多模态大模型，联合晶泰科技发布专利数据挖掘平台PatSight，将药物领域的专利化合物数据挖掘时间，从数周缩短至1小时。

图片

除了科学研究之外，另一个技术范式正在被AI重塑的领域，是编程语言。
“全世界有那么多的编程语言，小语言、大语言、中语言，基本上没有一个语言真正被大家所用的是中国人发明、中国人创造，这种现象我们是有机会可以改变的。”沈向洋说。
此次大会上，IDEA研究院的MoonBit团队就展示了其AI for coding的最新成果。
MoonBit是专为云计算与边缘计算设计的AI云原生编程语言及工具链，已具备完备的多后端支持和跨平台能力，可在硬件上直接运行，支持RISC-V。MoonBit的开源开发平台，将于12月正式开放。
据了解，MoonBit去年底刚开源只有几百位用户，今年3月用户数量达到三千，不到半年翻了十倍的增长，如今已有将近3万用户。预计2025年底，MoonBit将会有10万用户，并争取2026年底达到百万级的用户，成为粤港澳大湾区现象级的编程语言。

图片


05.
结语：AI发展，
从推动经济增长到增加人类福祉


过去十几年来，人工智能的发展速度令人惊讶，人类许多自豪的能力都逐渐被AI接近甚至是超越。
更令人惊讶的是，如今人工智能的能力已经不再是纯粹的单点能力的增加，而是通用人工智能整体能力的提升，对社会带来带来的影响也变得更为深远。
沈向洋认为，从长远的人类社会发展角度来看，巨大跃迁都是由技术创新带来的。工业时代的全球GDP年均增速约为1%-2%，信息时代在3%-4%，而在人工智能时代，这个数字会是多少？
在他看来，未来人工智能、机器人的数量会急剧增加，带来生产效率的巨大提升，GDP也可能会带来百分之十几的增长。
但是，AI的发展，能不能从推动经济增长到转化为人类的最大福祉？这是在探索AI的道路上，必须要思考的问题。

图片

（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）
图片 科普视频
2024年，AI步入推理时代，能耗成为算力性能破局的关键因素。联想集团发布《Game of AI》系列科普视频第二集《数据中心：如何与世界交换算力》，揭开了数据中心百年历史中明暗交织的角逐画卷。联想集团不断引领液冷技术向前，持续推动数据中心架构的革新，促进算力在各行各业的持续发展，助力加速进入人本智能的新时代。

图片

GenAICon 2024上海站预告


图片



分享