优企汇

扫一扫关注

当前位置: 首页 » 资讯 » 行业动态 » 科技数码 » 正文

英伟达:美团机器学习平台使用 NVIDIA T4 GPU,相比同成本 CPU 性能提升 10 倍

放大字体  缩小字体 发布日期:2021-12-26 13:08:52    浏览次数:99
标题

英伟达:美团机器学习平台使用 NVIDIA T4 GPU,相比同成本 CPU 性能提升 10 倍

消息,据英伟达官方消息,美团机器学习平台使用 NVIDIA GPU,通过算子融合、计算图等价替换等一系列优化 ,相较于 CPU 在相同成本约束下,NVIDIA T4 GPU 大幅加速美团 CTR(Click-Through-Rate)模型预测性能,神经网络模型吞吐能力提升了 10 倍;同时在搜索精排场景中,端到端整体吞吐能力提升了一倍以上。

  英伟达表示,美团的 CTR 模型过去一直在使用 CPU 推理的方式,但随着用户访问量的提升和深度神经网络的引入,CTR 模型结构趋于复杂,吞吐和计算量也越来越大,CPU 开始不能满足模型对于算力的需求,而仅仅通过 CPU 服务器的堆叠带来的性能提升性价比相较偏低。而 GPU 拥有数以千计的计算核心,可以在单机内提供密集的并行计算能力,特别适合深度学习场景,在行业内已经在 CV、NLP 等领域展示了强大的能力。通过 CUDA 及相关 API,NVIDIA 建立了完整的 GPU 生态系统。基于此,美团基础研发平台将 CTR 模型部署到 GPU 上,并通过一系列针对 CPU 与 GPU 的异构系统并行计算设计、数据存储方式和传输方式上的特定优化。

  NVIDIA Tesla T4 GPU 是一款推理加速器,搭载 NVIDIA Turing Tensor Core。官方称,NVIDIA Tesla T4 GPU 具备人工智能推理的多精度计算性能,从 FP32 到 FP16 再到 INT8,又到 INT4 精度,T4 的性能比 CPU 高出 40 倍,实现性能的重大突破。

 
(文/小编)
免责声明:
• 
本文英伟达:美团机器学习平台使用 NVIDIA T4 GPU,相比同成本 CPU 性能提升 10 倍为小编整理作品,本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们#####@qq.com,本站将会在24小时内处理完毕。如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。
 

Copyright © 2017-2021 琼ICP备2024019501号-3 uqihui.com 备案号:琼ICP备2024019501号-3


本站内容系用户自行发布,其真实性、合法性由发布人负责,uqihui.com不提供任何保证,亦不承担任何法律责任。