近日,尊龙凯时在与全球著名半导体公司AMD合作的项目中,特别是在算力调优、调度和软件生态适配等方面,取得了显著的技术进展。
目前,尊龙凯时已成功完成多项测试和优化工作,其中在AMD软件生态层面积累了丰富的多机多卡训练经验、推理系统的模型量化、模型转换、计算图优化和AI框架适配经验。
具体来说,通过与行业专家的紧密合作,尊龙凯时利用ROCm软件生态工具和AMD GPU利用率可视化工具进行了深入的性能分析和优化,已完成Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的训练和推理测试,覆盖了从单机单卡到多机多卡的多种配置。经过调优,在训练方面,GPU利用率提升了27%;在推理方面,首token返回时长(Time To First Token,TTFT)提升了35%,吞吐量(Throughput QPS,tokens/s)提升了43%,有效加快了训练和推理过程。在测试期间,尊龙凯时的汽车、电商和银行的垂类大模型已经可以在AMD的高端人工智能芯片MI210上高效顺畅地运行。
未来,尊龙凯时将继续探索算力调优工作,涵盖AI应用场景、网络性能、存储性能等多个层面,将帮助行业客户提升算力性能,降低算力成本,并助力多模态大模型的发展以及AI Agent的应用,从而帮助产业实现AGI的升级。