
近日,DeepSeek 的关联公司 —— 杭州深度求索人工智能基础技术研究有限公司,公开了一项名为 “一种大语言模型的部署方法及系统” 的专利。这项专利的公布,标志着该公司在人工智能领域的又一重要进展,尤其是在大语言模型的部署方面。
根据专利的摘要,该发明主要涉及到人工智能的核心技术。其创新之处在于将大语言模型的两个关键阶段 —— 预填充阶段和解码阶段,分别部署在高性能计算能力和大内存的机器上。这种分布式的部署方式能够有效均衡负载任务,最大限度地利用硬件资源。通过减少闲置的计算能力,该方法不仅降低了整体的延迟,还显著提高了系统的吞吐量。
在当前的 AI 技术发展中,系统的扩展性和容错性显得尤为重要。DeepSeek 的这一专利,正是通过优化资源配置,增强了系统在面对不同工作负载时的适应能力。这种创新部署方法,预示着未来的 AI 模型将更高效、更智能,有望为各类应用场景提供更好的支持。
值得一提的是,DeepSeek-V3作为该公司的核心产品之一,其强大的 Mixture-of-Experts (MoE) 语言模型,拥有671B 个参数,每个 token 的激活参数达到37B。这一技术的进步,无疑将推动 AI 技术的普及和应用,助力各行各业的数字化转型。
【新闻来源】 AIbase基地 https://news.aibase.com/zh/news/20170
(本网转发此文章,旨在为读者提供更多的信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。)