DolphinDB Shark!一个基于遗传算法的自动因子挖掘平台
DolphinDB 推出的 CPU-GPU 异构计算平台 Shark,将 DolphinDB 上的复杂指标计算能力无缝切换到 GPU 算力平台,大幅提升了计算性能。Shark 最新版本给开发者提供了两个主要功能:因子挖掘和因子计算。通过使用遗传算法,因子挖掘功能能够从历史金融数据中提取出有效因子,提高金融数据分析的质量和效率。因子计算功能针对金融领域,提供了丰富的函数库,为大规模金融数据分析与处理提供了完整解决方案。
自 2023 年 DolphinDB 正式加入“NVIDIA 初创加速计划(NVIDIA Inception)” 以来,双方技术团队持续开展技术交流与探讨。此次,DolphinDB 开发团队与 NVIDIA 团队合作,通过利用 NVIDIA RAPIDS 加速 Shark 异构计算平台的因子挖掘算法运行效率,帮助 Shark 将因子挖掘的效率提升 2 - 10 倍;并基于 NVIDIA cuDF 实现 Shark 因子高效计算,大幅减少开发成本,缩短开发周期。
RAPIDS 的 RMM 是一套开源的内存/显存管理库,提供 C++ 和 Python 接口,它相比 cuMalloc, cuFree 等操作来讲,具有更好的性能和灵活性;RAPIDS libcudf 是基于 GPU 的 C++ DataFrame 库,提供了基础数据结构,并且内置了基础的函数算子。
当前挑战
Shark 的因子挖掘功能,通过利用遗传算法从数据中挖掘出有效的因子。在这一场景中,遗传算法会随机生成大量因子并进行计算。这一过程会频繁地创建和释放临时空间来存储中间结果,直接使用原生的 CUDA C 显存分配和释放接口,会严重降低执行效率。
Shark 的因子计算功能,针对金融领域的数据分析与处理,提供了丰富的函数库。如果从零开始将 CPU 的函数迁移至 GPU,需要为 GPU 重新实现一套底层数据结构以及基础计算函数,会导致开发周期的延长以及开发成本的增加。
应用方案
基于以上挑战,DolphinDB 开发团队与 NVIDIA 团队及 RAPIDS 开发团队合作,通过利用 RAPIDS RMM,解决因子挖掘过程中频繁申请和释放显存导致的性能问题;通过基于 RAPIDS libcudf 进行二次开发,实现因子计算,从而缩短开发周期,降低开发成本。
Shark 进行因子挖掘时,会通过遗传算法随机生成海量的因子计算公式。这些公式长度不等,接受的参数数量也不尽相同。因此在计算时,需要频繁地申请和释放临时空间用于存储中间结果。DolphinDB 开发团队通过使用 RMM 对显存进行池化,从而对中间结果所使用的显存进行高效地分配、释放和重用。
Shark 支持用户输入自定义的公式,并自动将自定义公式转换为计算图,并在 GPU 完成计算,从而加快数据分析和处理的效率。如果从零开始将 DolphinDB 的计算函数迁移至 Shark,需要在 GPU 构建 array、table 等底层数据结构,并实现大量基础计算函数。经过调研后,DolphinDB 开发团队决定基于 RAPIDS libcudf 进行二次开发,复用 cuDF 的 column、table 等底层数据结构;并借助 cuDF 的 groupby 和 rolling 框架,只需要完成算子的核心计算逻辑,即可完成 DolphinDB 时序算子和横截面算子的迁移,极大提升了开发效率,降低了开发成本。
效果展示
下图展示了在不同规模数据下,使用 RAPIDS的 RMM 显存管理库相对于原生的 CUDA 显存分配 API,Shark 因子挖掘效率的对比。可以清楚地看到,使用 RMM 可以显著提升 Shark 因子挖掘效率,最高可达到 10 倍的加速比。
除此之外,Shark 通过使用 RAPIDS libcudf,大大提升了因子的计算效率。下图中对比了 1000 个 group,每个 group 有 10 万行的数据,采用分组方式计算下面的算子。可以看到与 CPU 相比,利用 GPU 总体耗时(包含拷贝时间),基本达到了一个数量级的加速比。
借助 RAPIDS,Shark 的因子挖掘效率提升了 10 倍。除此之外,基于 cuDF 进行二次开发,只需要实现算子的核心逻辑,就可以达到一个数量级的加速,并极大降低了算子迁移成本。
- 浙江轩毅信息闪耀重庆 第83届中国教育装备展示会圆满收官
- 福州爱尔眼科医院甲状腺眼病专病门诊成立,同步实施公益救助,为患者“眶”护光明
- SES AI宣布首个城市空中交通(UAM)专用锂金属电池生产设施
- 意大利中部文成同乡会举行换届庆典 周建华荣任第三届会长
- 于小处见大智慧:《海天雄鹰》鲍晓演绎普通人的精彩人生
- 嘉桦深耕白桦树汁鲜饮赛道,倡议418中国白桦溯源日
- 传统中医的理论与实践——周培富
- 恒兴国家863基地见证广东湛江水产经济20年发展
- Corona Announces Global Partnership with Tripadvisor to Encourage Travel to Nature
- 贵州融州华企业管理有限公司:专业化财税服务的新星
- 诗致美鼻4.0:匠心精研美鼻新传奇
- 代做COMP9024、代写C++设计编程
- 《抓娃娃》火热上映,观众们直呼被马丽演的春兰惊艳到了!
- GfK深度参与AWE2024,发布全球智能家电及海外家电洞察
- 雅安杀虫灯甘甜的红美人橙子要上市了,诱虫杀虫灯有功劳。果园杀虫灯管用
- Delmar Solidifies Presence in the Netherlands with Acquisition of Intervracht Nederland BV
- 东莞办理香港公司注册后,可以在内地开设账户吗
- 解码传统茶产业突围:数字化、全球化激发茶产业新活力
- 浙江亚瑟医药完成数亿元B轮融资,加速全球制药战略布局
- 山东省属企业数字场景典型应用大赛获奖名单公布!浪潮通软多个项目入选
- 银发经济新亮点,2024中国(阳江・阳西)长寿产业经济发展大会圆满召开!
- MoneyHero Group Named “Personal Finance Tech of the Year” at the Prestigious Asia FinTech Awards 202
- 在加強全球應對抗抗生素細菌工作的過程中 KFSH&RC 科學家發現了新的細菌物種:Riyadhensis
- 2024年度义乌购十大经营户评选活动启动
- instagram营销软件怎么购买-小白ins引流营销推广怎么做
- PUBG更新29.1版本 荣都地图中添加了“地形破坏”功能
- Zymeworks Announces Participation in Upcoming Investor Conferences
- 大健康创新科研人才重庆辣都食品技术开发有限公司董事长李杰
- 帝斯曼-芬美意启航一周年 以协同创新推动绿色增长
- Junshi Biosciences Announces NDA Acceptance in Hong Kong for Toripalimab
推荐
- 大家一起关注新疆乌什7.1级地震救援见闻 看到热气腾腾的抓饭马上就要出锅、村里大家 资讯
- 抖音直播“新红人”进攻本地生活领域 不难看出,抖音本地生活正借由直播向本地生活 资讯
- 透过数据看城乡居民医保“含金量” 缴费标准是否合理? 记者从国家医保局了解到,近期,全国大部分地区 资讯
- 王自如被强制执行3383万 据中国执行信息公开网消息,近期,王自如新增一 资讯
- 中央气象台连发四则气象灾害预警 暴雪橙色预警+冰冻橙色预警+大雾黄色预警+ 资讯
- 海南大学生返校机票贵 有什么好的解决办法吗? 近日,有网友在“人民网领导留言板&rdqu 资讯
- 奥运冠军刘翔更新社交账号晒出近照 时隔473天更新动态! 2月20日凌晨2点,奥运冠军刘翔更新社交账号晒 资讯
- 中国减排方案比西方更有优势 如今,人为造成的全球变暖是每个人都关注的问 资讯
- 国足13次出战亚洲杯首次小组赛0进球 北京时间1月23日消息,2023亚洲杯小组 资讯
- 周星驰新片《少林女足》在台湾省举办海选,吸引了不少素人和足球爱好者前来参加 周星驰新片《少林女足》在台湾省举办海选,吸 资讯