行业资讯
你的位置:熙工制造有限公司 > 行业资讯 > 天天操天天干 万卡集群降本两成,趋境发布高效能AI Token平台

天天操天天干 万卡集群降本两成,趋境发布高效能AI Token平台

2026-04-21 16:49    点击次数:56

天天操天天干 万卡集群降本两成,趋境发布高效能AI Token平台

30日,南方+记者从高效能 AI Token 生产服务商趋境科技获悉,该公司正式发布全新一代 AI 推理平台——趋境 ATaaS 高效能 AI Token 生产服务平台,破解大额硬件投入难以转化为优质 Token 产能、资源浪费与成本空耗突出的行业困境。

硬件高投入并不等同于高效Token产出,如行业面临硬件负载分化,过度依赖GPU,CPU、内存等资源闲置空耗;软硬件迭代失衡,芯片硬件快速更新,配套软件生态适配滞后;算力配置失准,脱离业务SLO精细化调度,粗放盲配引发资源冗余损耗;架构演进失衡,开源模块丰富,但拼接式集成难以支撑规模化生产等。

趋境 ATaaS平台依托四大自研核心技术模块,构建覆盖异构整合、智能调度、弹性扩容的全链路能力,并将算力与能源封装为分层、面向具体应用场景定制的高效能Token服务,为国产算力提质增效、破解异构算力孤岛、实现规模化降本增效。

趋境科技重构算力、电力与 Token 产量之间的效能曲线。如,无码精品人妻一区二区三刘亦菲深度融合 CPU+GPU、国产与非国产算力异构PD分离等技术,重构模型计算逻辑,并基于算子与任务特征进行智能分流:CPU承载低计算密度任务,国产算力卡处理高密度Prefill,大显存显卡承载高访存 Decode。万卡级智算集群整体运营成本压降20%以上。

通过架构重构,将原本依赖昂贵显存承载的KV Cache存储空间扩展百倍至千倍,形成近乎无限的缓存池资源,缓存命中率最高可达90%,直接削减90%  GPU算力开销。

基于算子级精细仿真,推演大模型Token生成全链路的吞吐、时延与访存表现,实现算力资源的智能预规划与动态调优;围绕业务SLO分级需求,精准切分异构算力配额并隔离资源优先级,可将万卡级智算集群硬件综合资源利用率最高提升数倍。

依托系统化工程能力,实现万亿参数大模型7秒快速拉起与动态配置变更、数百节点超大规模EP弹性调度,以及智能容灾重构和负载均衡,形成平台原生支持万卡级高性能横向扩展的关键能力。在落地初期,便推动某在线公司的AI业务实现千卡集群吞吐实现翻倍提升。

南方+记者 郜小平



Powered by 熙工制造有限公司 @2013-2022 RSS地图 HTML地图

Copyright Powered by365建站 © 2015-2026