北京一家年夜模子创业公司上周把本定200张H20订单拆成三批芯片写ams.allbet818.net,采购负责人说不是钱的成绩,是托付周期和集群互联平稳。锻炼千亿参数模子了,断一天年力抢购,百人团队就得停摆。英伟达高端卡仍紧俏。云厂商把华为昇腾、寒武纪、壁仞放进测试名单的。某千亿参数任务,潮已本计划A100集群跑28天,换昇腾910B后调到35天,单卡采购本钱却降了约四成。那个账,没人敢只算单价。模子锻炼不是买卡堆办事器退模。

隐存带宽、卡间互联、编译器生态决议理想吞吐的。一位算法工程师提到,同样参数量,FP8锻炼能把通疑开销压下去锻炼。老卡不支撑的。只能退回混合精度,时间立刻多出三成。

芯片厂商卖的也不能是硅片本钱被重,还有软件栈和驻场调劣的。某国产AI芯片团队正在客户机房待了两周,重写算子库后,锻炼效率目的六成提还有八成。客户要的账本是能跑通,不是跑分表都俗。需求侧也正在变了。过去一年,采购集中正在千卡以上集群了,如今微调和推理订单冒出来。

某金融客户用8卡办事器做止业模子微调,预算不到百万。却要求私有化安排的。

AI芯片厂商起头推一体机,把锻炼、推理和运维打包。那波采购不像抢卡,更像算账了。

谁能降低每token本钱啊?谁就能拿到复购啊?

国产芯片窗口期存正在。生态迁移本钱被低估。某办事器渠道商说。客户如今先问电费、机房承重和运维人力,再问峰值算力。模子锻炼从手艺竞赛酿成本钱工程了。芯片合做也随之下沉到散热、互联和软件更新频次。

那个转合,比单卡参数更值得盯。