北京2024年2月23日 /美通社/ -- 国际权威标准性能评估组织SPEC35届年会日前在美国举行。会上,SPEC组织确定新一年工作计划,为推动AI算力产业的更快发展,国际最新AI算力评测标准SPEC ML即将发布,该标准由浪潮信息、NVIDIAIntelAMDRed Hat等成员联合开发。

与业界一般AI算力评测标准不同,「国际最新AI算力评测标准SPEC ML」模拟了AI训练和推理不同场景的端到端全栈流程,涵盖业界最丰富的主流AI工作负载,评估包括多个AI场景的综合性能、集群扩展性、能效等多种关键参数,可以帮助用户更好地理解算力系统的瓶颈并进行优化,是一款更贴近用户真实AI业务需求的算力测试基准。目前,浪潮信息、NVIDIA、Dell等企业正针对SPEC ML评测标准率先开展测试工作,国际最新AI算力评测标准的重大发布,将帮助用户更全面地了解AI算力系统的性能、扩展性及能效水平。

此外,SPEC ML技术委员会举行换届选举,浪潮信息和英特尔连任技术委员会主席、副主席

近年来,随着人工智能产业快速兴起,也激发了AI算力的爆发式增长。过去10年,AI计算的能力已经提高了不低于100万倍,但要满足像ChatGPT这类拥有巨量的参数和深度网络结构的大模型,算力性能提升还面临巨大的挑战。为了推动AI算力技术发展,更好评估不同芯片、算法、计算框架的AI算力性能表现,方便用户选择适合自己的计算解决方案,业界涌现出一批AI测评基准,比如MLPerf、AIPerf、DeepBench等。一般评测基准测试中,比如训练场景,会忽略需要大规模数据集的预训练过程,直接进行模型训练场景测试,而且仅会测试算力系统在ResNet50、SSD、Transformer、Bert等某个单一场景下的极限性能。但随着模型规模越来越大,从单节点到大规模集群,训练流程更加复杂,模态算法也更加丰富,需要更贴合用户真实训练场景的评测基准,系统评估算力系统面向多种AI工作负载的综合性能、集群扩展性、能效等多种关键参数。

过去一年,SPEC ML技术委员会面向用户更复杂的训练流程、更丰富的AI负载,完成了国际最新AI算力评测标准SPEC ML的开发工作。SPEC ML测试过程中,无论是训练场景还是推理场景,测试用例会模拟用户真实的应用环境,综合评估基于不同芯片、不同算法框架,服务器整机在ResNet、Yolo、SSD、3D U-Net、MobileNet、BERT等10多种AI工作负载下的综合性能,以及多节点集群扩展性能、能效、关键系统性能参数等,尤其是Diffusion、Bloom等负载的加入,实现了对诸如大模型等AI热点应用的性能评测,帮助用户更全面地了解AI算力系统的性能及能效水平。本次大会,SPEC ML技术委员会展示了ML测试工具,测试基准的架构、各项功能及展现结果等,获得SPEC领导层及各成员的高度评价。
 

SPEC是一个全球性的、权威的第三方应用性能测试组织,组织成员包括英特尔、甲骨文、NVIDIA、苹果、微软、浪潮信息、加州大学伯克利分校、清华大学等,拥有SPEC CPU、SPEC Power、SPEC Cloud等十几项测试基准,真实模拟了企业不同应用场景下的整机性能、能效,是各类企业用户的采购和信息系统搭建的重要决策依据之一。作为新一届SPEC OSSC委员,浪潮信息将继续承担SPEC ML、SPEC CPU、SPEC Power、SPEC Cloud等技术小组日常工作审查、重大事项决策、测试研究及决策测试标准的发展方向等职责。