红砖智模申请基于异构资源隔离的AI推理服务系统专利，解决CPU与GPU资源耦合紧密问题_科学探索

红砖智模申请基于异构资源隔离的AI推理服务系统专利，解决CPU与GPU资源耦合紧密问题

创始人

2026-02-16 21:25:48

国家知识产权局信息显示，红砖智模（上海）人工智能科技有限公司申请一项名为“一种基于异构资源隔离的AI推理服务系统”的专利，公开号CN121525023A，申请日期为2025年11月。

专利摘要显示，本发明提供一种基于异构资源隔离的AI推理服务系统。所述系统包括：推理进程解耦模块，用于响应于AI推理请求，将相应的AI推理进程解耦为CPU处理进程和GPU推理进程，并将所述CPU处理进程和所述GPU推理进程分别部署于CPU节点和GPU节点上；GPU资源调度模块，用于根据获取的GPU资源状态，调整用于运行GPU推理进程的GPU节点；租户级资源隔离模块，用于在多租户并发接入同一CPU处理进程的场景下，将每个租户或者模型运行于独立的容器、命名空间或者虚拟进程组中；沙箱配置模块，用于为GPU推理进程配置沙箱环境，以限制每个推理任务的最大显存、计算时间和Batch Size。根据本发明，能够解决现有AI推理服务所存在的CPU与GPU资源耦合紧密、高并发场景下性能瓶颈明显、资源利用率低、服务隔离性差的问题。

天眼查资料显示，红砖智模（上海）人工智能科技有限公司，成立于2025年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本2000万人民币。通过天眼查大数据分析，红砖智模（上海）人工智能科技有限公司专利信息9条，此外企业还拥有行政许可1个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

来源：市场资讯

进程推理隔离服务模块系统红砖耦合资源专利异构智模

上一篇：AI绘出新年的温度，高校师生用“科技之笔”打捞文明印记

下一篇：AMD最新"Helios"机架级AI系统将落地印度，塔塔助力

红砖智模申请基于异构资源隔离的AI推理服务系统专利，解决CPU与GPU资源耦合紧密问题

相关内容

热门资讯