快科技2月6日音信,华为ModelEngine是大模子覆按、推理和期骗建立的AI平台,提供从数据预处理到模子覆按、优化及部署的一站式就业。
华为官方暗意,ModelEngine现已全面解救DeepSeek系列模子R1&V3 671B以及蒸馏系列模子,建立者可通过ModelEngine已毕“一键部署”。
此举省去硬件选型、兼容性考证和环境设立等繁琐重要,大幅责怪企业AI期骗门槛。
此外华为还暗意,ModelEngine通过其高度的灵通性和模块化沟通,极地面责怪了DeepSeek的土产货部署工夫。
底下以DeepSeek-R1为例,基于ModelEngine 3步快速完成部署模子
1、登录ModelEngine模子处理页面,上传DeepSeek-R1 FP8权重,然后进行模子权重形势调遣,将FP8精度模子权重调遣为BF16精度模子权重;

2、在模子就业页面,禁受BF16精度的模子权再版块,下发推理就业,运转任务部署;

3、ModelEngine使用MindIE推理框架运转DeepSeek-R1推理就业后,解救OpenAI API 调用作风的推理就业接口和拜访花样;
4、ModelEngine 运转 DeepSeek-R1 推理就业后,平台解救 OpenAI API 调用作风的推理就业接口和拜访花样,用户不错将该 API 集成到对话、RAG 以及 Agent 期骗。

到这里,基于ModelEngine特有化土产货部署的DeepSeek-R1完好意思版推理就业API依然就绪了。
用户不错将推理就业API集成到对话期骗、RAG约略Agent期骗中,在保证数据安全的前提下,让DeepSeek-R1比好意思天下头部顶流闭源大模子就业智能的智力。
【本文规定】如需转载请务必注明出处:快科技
累赘剪辑:纰漏火星电竞CHINA
著述执行举报 ]article_adlist--> 声明:新浪网独家稿件,未经授权回绝转载。 -->