驱动之家 mydrivers
快科技4月28日消息,DeepSeek V4发布不会是国产大模型的终点,接下来还会有新一轮的发布, 月之暗面的下一代大模型Kimi K3被曝在3季度上市,参数量将达到2.5万亿。 对大模型来说,参数量越大,几乎可以认为能力也会越强,Claude Opus 4.7及Mythos之类的模型虽然没公布规模,但马斯克之前暗示Opus是5万亿参数量的,Mythos有可能是10万亿参数量的,很强但也非常贵。 日前发布的DeepSeek V4大模型中,Pro参数量达到了1.6万亿,比V3.X的6700亿翻倍还多,因此性能大幅提升,综合下来依然是开源最佳。 国产参数量最大的大模型之前有个百度的文心5.0,参数量达到了2.4万亿,不过其存在感较低,而Kimi K3则会突破这一规模,达到2.5万亿参数量, 比当前Kimi K2.X版本的万亿参数翻倍还多,也大幅超过了DeepSeek V4,预计能力会有明显提升。 除了2.5万亿参数量, Kimi K3的上下文长度也会达到1M上下, 比当前K2.6的256K上下文也大幅提升了,而且内部测试实际上远超1M。 但是否对普通用户开放1M上下文还不确定,毕竟这直接关系到算力资源,开放之后对Kimi的服务能力要求很高,扩算力就等于直接提升了运营成本。 目前真正开放且普惠制1M上下文的还得看DeepSeek V4,这方面的优化可以说做到极致了。
Go to News Site