分享

【学术报告】复旦大学程远研究员:复旦大学CFFF科研智算平台助力科研创新

 庸庸学馆 2024-08-28 发布于河南

【学术报告】复旦大学程远研究员:复旦大学CFFF科研智算平台助力科研创新

2023-12-07 19:25
发布于:安徽省

CAA

智慧起航,共创未来

导读

2023年10月20-21日,以“智能涌现 生成未来”为主题的第二十五届中国科协年会通用人工智能产业创新发展论坛在安徽省合肥市成功召开。复旦大学程远研究员受邀出席并作题为“复旦大学CFFF科研智算平台助力科研创新”的主题报告。报告主要介绍了复旦大学CFFF科研智算平台具体情况,以及通过CFFF赋能交叉学科研究方面的典型案例。

400年前,伽利略发明了望远镜,这一技术的出现使人类得以窥见更遥远的宇宙,为后来的众多科学发现铺平了道路。每一次人类科学研究的巨大飞跃和重大进步都源于某一项技术的创新,这些技术创新不断为科学进展提供新的动力。今天,我们正生活在人工智能时代,人工智能被视为新时代的“望远镜”,让人类能够窥见更遥远的未来。

01

AI for Science

过去十年时间里,人工智能与数字化产业密不可分。在互联网相关领域,先进的AI技术和工程能力所构建的产业,显著改善了电商、社交、数字金融等产业的用户体验,创造了巨大的产业价值。在最近的三年中,人工智能开始在更基础的领域发挥作用。例如,2019年麻省理工学院发布了一项研究,应用AI合成药物,成功设计出15个有望成为药物的分子。利物浦大学也通过AI技术,发现了4种可用于传导锂的新型固态材料,有望提供更长的电池续航能力。这些研究进展表明,科学研究正在经历一场革命,借助人工智能技术,将数据和知识原理融合可以解决科学难题,有助于发现新的科学机理。

今年最新的文章深入探讨了人工智能技术在科学研究中的应用,重点关注了它在科学假设生成、实验效率提升、数据采集与分析等领域的深刻影响。这种深度赋能显著提高了科研工作的效率,为原创科学研究的发展提供了强大支持。通过google学术统计了生命科学、材料科学和能源科学三个主要领域近3年来20万篇学术论文,其中有34.5%明确提到或明确说明在相关研究中应用了人工智能技术。以材料科学为例,最近三年内使用人工智能技术的工作占比增长了300%以上。这些数据明显表明,AI4S(人工智能支持科学)的发展已经成为科学研究的主要趋势。

在算力领域中,科研智算平台必须应对如今的大模型和大数据时代的挑战。与以往的建设方式相比,这些平台有着明显的不同。首要的挑战是算力资源不足,如图1所示,大模型如GPT-4需要数千上万块顶尖GPU,而高校等机构通常难以提供如此庞大的算力资源。其次,数据管理是另一个挑战,它需要高效的数据存储和处理系统。算法的不断创新也是一大挑战,研究人员需要不断改进和优化算法以提高模型性能和效率。此外,安全和隐私问题也必须重视,尤其在处理大规模数据和敏感信息时。为解决这些挑战,有必要有针对性地构建计算平台,充分利用现有资源,并不断探索新方法和技术来支持科研工作。

图1科研智算平台的制约

另一方面,我们必须关注算力孤岛问题,它制约了算力的有效利用。传统的建设方式导致不同学校、院系,甚至不同研究小组分别购买和管理自己的计算资源,这可能导致一个学校内存在多个小型计算集群,它们之间的通讯效率通常无法满足大型模型研发所需的高速通讯要求,从而制约了大型模型研发的潜力。为适应AI4S的需求,模型研发必须在算力、算法和模型框架等多个方面进行协同优化和建设,传统的分散建设方式已不再适用。此外,根据调查,非计算机或人工智能科研领域的研究人员中,有70%认为使用人工智能工具存在一定的门槛,这也是需要克服的挑战之一。

在上述背景下,复旦大学积极推动科研智能计算平台的建设。通过广泛调研全校已在使用人工智能或即将把人工智能应用于科研的各种团队,我们总结出了针对科研计算平台建设的三大关键思路。首先,要提高集群计算的加速,特别是在模型训练相关领域,不仅仅是增加硬件算力,还要在并行训练框架层面进行优化。其次,需要将AI和HPC计算融合,以满足不同科研计算需求,从GPU大规模计算到科学场景中使用的CPU计算,需要高效整合和资源分配。最后,我们将着手研发易于使用的AI4S工具,以满足科学家对于AI易用性的需求。这些举措将有助于构建更强大和智能的科研计算平台,以满足科学研究领域不断增长的需求。

复旦大学6月份上线的智算平台,是全国目前高校规模最大的智能计算平台,它将成为科技创新的关键引擎,为AI FOR SCIENCE提供强大的算力资源,同时推动科研方式的变革。这一平台将为学校的本科生和研究生提供使用和优化的机会,以便他们在步入工业和产业界之前获得必要的培训,加速数字时代的进程,更好地满足国家对人工智能的重大战略需求。智算平台将在复旦大学的科研和教育领域提供强有力的支持,促进科技创新和培养高素质人才。在该平台上,每个科研团队可以具备与顶尖科技企业相媲美的科研资源,每一位科学家都能像人工智能专家一样便捷地使用AI工具,积极参与AI FOR SCIENCE的范式变革当中。

02

AI4S智算平台特点

智算平台具备多个较为显著的特点。首先,它拥有庞大的集群规模,提供充足的算力资源。其次,平台建设了大规模分布式训练和高效的集合通信能力,降低了计算节点之间的通信开销,实现协同科研计算任务的低门槛使用,同时提高了底层计算能力和研发平台的效率。我们还正在建立统一协作系统,以实现AI和HPC的统一调度和弹性管理,包括底层算力的优化、数据加载的加速、集合通信的优化等工作。此外,该集群还具备一定的可扩展性,以满足未来可能出现的AI FOR SCIENCE计算需求,甚至可扩展到10万台级别。在存储方面,采用分层分级的存储模式,为AI训练提供高达数百G每秒的数据吞吐效率,同时提供成本较低的解决方案,以满足AI和科研的经费有限情况下对存储的需求。这一平台的特点将为科研工作者提供强大的计算和存储支持,推动科学研究的创新。

平台的整体服务目标是确保为不同程度的AI技术使用者提供全面的AI FOR SCIENCE服务。无论用户拥有何种计算机背景,平台将为其提供最基本的算力和稳定的基础设施运维支持。对于需要HPC的用户,提供AI FOR SCIENCE的解决方案和工具。对于已经在进行交叉科研的用户,提供计算性能优化的服务。对于初级用户,提供更贴身的支持,包括工具的安装和定制。复旦大学智算平台的目标是确保不同的人工智能技术背景的用户都能够熟练使用AI完成科研,从而推动科学研究的创新。

复旦大学智算平台另一个显著特点是,遵循国家“东数西算”的整体布局,将主要的AI算力和HPC算力部署在乌兰察布。这一举措带来了很多优势。首先,这种部署方式每年可节省200万度电力,减少碳排放量高达1300吨,有利于环保和可持续性发展。其次,由于光纤时延仅为3毫秒,具备高达100G的带宽,使得PB级别数据上云只需几天的时间完成。此外,在乌兰察布还设有一个公有云的接收点,这一设计将为科研提供更多支持。

为了解决科学家使用AI技术的高门槛问题,我们提供一系列解决方案,首先提供了通用AI模型、算法、领域专用工具、科学领域模板和一键式部署功能,以便使AI技术更易于应用,从而让科学家能够轻松上手,如图5所示。其次,还为不同层次的用户,包括本科生、研究生,甚至更高水平的专家,设计了专门的AI FOR SCIENCE培训体系,通过全链条和多模式的培训来推动AI FOR SCIENCE范式的变革,以便更多人能够充分利用AI技术进行科研工作。

图2AI for Science解决方案

03

CFFF平台应用

自6月底上线以来的三个多月中,已有众多科研团队的科研人员在AI FOR SCIENCE平台上进行研究,为支持60多个国家和地方的科研项目提供了强有力的支持。新能源是一个备受全球关注的领域,其装机容量在过去十年里迅速增长。然而,新能源领域的核心挑战之一是气象预测。通过人工智能技术,我们已经在气象和天气预报领域取得了显著进展,未来,这一技术有望将天气预报的时间范围延长到10天、15天甚至30天,为新能源产业带来更大的价值,如图6所示。

图3AI助力天气预报与提升能源利用率

在中期气象预测领域,复旦大学团队已经取得了令人瞩目的成就。我们开展了中期天气预报的大规模建模工作,涵盖了2米温度、累积降水等多个指标。在公开的数据上,首次超越了欧洲中期气象预报中心(ECMWF),成为了全球顶尖的预报中心,并且预测结果胜过了ECMWF。利用人工智能模型来进行运算,通过几次推理就能够在3秒内完成这样的天气预测。不久前,我们发布了复旦大学的气象大模型,名为伏羲大气科学模型,如图7所示,仅用200多张计算显卡在一天内完成预测,首次实现了基于人工智能的15天天气预报,相较于ECMWF,速度提升了数个数量级,这为气象预测带来了巨大的突破。

图4基于Transformer的中期天气预报

尽管在大多数科研领域中数据不断增加,但很多数据采集依然非常昂贵。如果科学家能够将他们长期积累的领域知识融入到模型中,将对模型的性能有很大帮助。例如,将物理和化学知识结合起来,可以提高流体计算的准确性和效率,从而加速相关研究。图8是我们团队在数据和知识融合方面的工作。通过将观测到的数据与深度学习多尺度的物理流体建模相结合,能够大规模提高计算速度,加速效率超过1000倍。在应用方面,这种方法可以用来更好地预测材料中微小裂缝的发展,对飞机安全等问题具有重要影响。此外,该方法对医学研究血管内堵塞也有很大的帮助。

药物代谢和药代动力学在药物研发中扮演着极为关键的角色。我们采取了一些方法,建立了大规模的分子数据库,包括了分子的物理属性,并通过人工智能大模型进行基于这些属性的预训练,如图9所示。通过大量的数据训练,复旦团队成功开发出了能够精准预测的模型。在实际的实验中,通常只能获得有限的人体对药物分子作用的数据,而依靠基于物理化学的预训练模型,能够帮助医学在药代动力学领域取得更好的研究成果。这种方法有望加速药物研发的进程,为药物治疗的发展带来更多希望。

从这些案例中可以看出人工智能赋能科学研究,同时科学研究也在推动人工智能的发展。例如,2020年基于热力学扩散模型的启发,人工智能领域出现了扩散模型,引发了AIGC的兴起,尤其是在视觉领域的发展。这些模型同样可以在科学研究领域应用,如分子生成等领域,基于高维电磁理论的模型可以用来生成科学数据。科学研究和人工智能已经形成了一种相互促进、相互赋能的良性循环,这将进一步推动科学和技术的发展。

目前CFFF平台已举办多次科学智能的比赛,并已经有超过1万支队伍参加了这些比赛,如图10所示。在这些比赛中,我们在符合隐私和安全的前提下共享了一些复旦大学的专有的高质量科学数据集,供大家一起探索科学智能领域的新方法。例如,在衰老领域,平台开放了衰老队列的数据,用于定义基于人体身体甲基化情况和人体生物关系的探索,以便研究人体的衰老过程以及与衰老相关的疾病的发病机率。

ChatGPT等生成式模型为代表的算法已经在人工智能领域取得了巨大的成功,但同时,科学仪器的快速发展也导致了大量可观测数据的迅速积累。在基因组学领域,已经积累了数千PB的数据,而蛋白质结构等领域也有数十TP的数据。这包括大气科学、材料科学、医疗影像等各个领域的数据,都为科学智能领域提供了重要的数据支持。与此同时,人工智能芯片的发展也遵循摩尔定律,单卡和单芯片的算力不断提升。这意味着可以将算力整合在一起,以满足科学智能领域对算力的需求。因此,在科学智能领域,大模型研发将是未来的趋势,并将继续推动科学技术的发展。

最后,AI FOR SCIENCE平台是一个开放的科研计算平台,我们的目标是通过赋能生命科学、化学、物理、数学等不同领域的科学研究,进一步推动原始创新的动力,同时也为产业合作伙伴提供支持,促进产业的创新和发展。我们期待着与各个领域的科学家和工程师一起合作,推动智能技术的发展,为未来的科研和产业做出更大的贡献。

个人简介

程远

复旦大学研究员

程远,研究员,博导,复旦大学人工智能创新与产业研究院,复旦大学CFFF平台执行主任。主要从事人工智能结合基础科学、计算机视觉、视频分析、医学图像分析、机器学习等方向研究和应用。曾获得第74届联合国大会绿色可持续发展方案绿眼睛奖、中国图象图形学学会技术发明二等奖、蚂蚁集团数据智能奖、阿里巴巴集团橙点公益奖等。成果入选Gartner、中国保险报等机构年度优秀智能应用案例。发表国内外发论文20余篇,授权专利30余项。中国图像图形学学会人机交互委员会委员、中国图像图形学学会情感计算与理解专委会委员。

END

内容来源|学会秘书处

编辑|曹艺华

责任编辑|叩颖

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多