文章详细页面

算力调优在生成式人工智能领域的应用
在线阅读 收藏

算力调优在生成式人工智能领域存在技术栈复杂、调优手段通用性差、性能瓶颈分析困难的问题。据此,本报告提出大模型训练推理独立优化、云端协同优化、生成式人工智能应用系统优化、基础设施和算法协同优化的解决思路。通过软硬件相结合的调优手段,算力调优从硬件层、网络层、系统层、算法层到应用层,逐层进行问题分析,利用传统性能调优经验,结合生成式人工智能大模型强计算、高吞吐、多模态的特性进行整体算力优化。算力调优既强调单个环节的极致优化,又兼顾不同环节之间的资源协同,最终实现端到端的降本增效。

帮助中心电脑版