国产GPU首入CNCF国际开源生态!沐曦携手密瓜智能实现llm-d适配:单卡吞吐5773 tokens/s
快科技9月8日新闻,近日,云原生散布式推理开源项目llm-d正式纳入沐曦曦云C系列GPU支持,这是llm-d官方支持的加快器名单中初次出现国产GPU。 该项目聚焦前缀缓存感知路由、负载感知调杜纂Prefill/Decode分离等关键能力,GitHub已获超4400 Star。英伟达GPU、谷歌TPU、AMD GPU、英特尔XPU等主流算力平台均已在该社区形成部署指南。 沐曦股份这次与密瓜智能(Dynamia AI)合作,率先实现曦云C系列GPU在llm-d社区的齐全适配,实现了基于曦云C系列GPU硬件环境下的单卡、多卡及Prefill/Decode分离推理部署验证。 大模型从可运行到可规;务,算力芯片自身只是起点。芯片能否顺畅接入云原生推理调度系统,才是决定落地效能的关键。 此前,此类国际开源项主张默认配置多以国表芯片为如果前提,国产GPU即便已能运行主流推理引擎,用户仍需自行摸索大量隐性适配细节。
荷媒:莱比锡中场班祖齐决定代表民主刚果出战国度队
教育要造就什么样的人?成都这所学堂用一堂航天课回覆
德国运载火箭第二次发射成功进入轨路
学堂治理,要让离学生最近的人占有最快的决策权
赫尔城主帅:守田英正内收肌出现了问题,预计还将缺席两周
涂鸦智能IFA展出AI家庭陪同机械人Doova
郑钦文公开获胜法门喜提中网表卡,初次回应疲乏话题:一点都不累
曼联提前确定冬窗不买左闸,卡里克寄望一人!B费入选金球奖名单红魔加快续约
希勒:不看好曼联和利物浦本赛季争冠;沃尔特马德不适合英超
天空:迪马尔科左膝轻度扭伤,能否随国米前往马德里仍待定
2027年交付!幼鹏首位人形机械人自主走下产线:全身76个自由度
诺伊尔:卡里乌斯配得上全场最佳;才两轮角逐没必要看积分榜
向新之翼 | 科创中国杏驻岳阳:两刷世界纪录,强磁场之极若何做到?
千万别幼瞧配件!充电成IFA新赛路:散热、智能和半固态卷疯了
撒贝宁:洋媳妇李白为他留在中国,包饺子学东北话,如今一家四口其乐融融
观山看海品尝“闽式生涯”
桑托斯3-2巴西国际,加布里埃尔-巴博萨两球,奥利瓦破门
“国度反诈AI”App上线
约纳坦-塔:有些球队佑装针对拜仁的打算”,我们已经习惯
韩旭3战52+34:幼组赛全轰两双统治内线 无李月汝成头号大腿
奥巴梅扬:我的数据让我很中意,但我要感激所有人
特斯拉Cybercab确认不支持互换充电,仅支持直流快充
向新之翼 ? 科创中国杏驻岳阳:7个月=10年?机械科学家竟做到了
生涯首进美网八强!新科温网冠军苦战晋级,豪夺大满贯11连胜