驱动之家 mydrivers
快科技5月24日消息，据报道， Reddit用户APFrisco近日通过一套极客方案，利用6根二手英特尔傲腾DCPMM持久内存模块，在单GPU工作站上成功运行了拥有1万亿参数的Kimi K2.5大模型，推理速度约为每秒4个Token。 该系统基于英特尔至强金牌6246处理器与泰安S5630GMRE-CGN主板构建。 内存系统总容量为768GB，由6根32GB三星DDR4-2666 ECC内存条与6根128GB英特尔傲腾DCPMM持久内存模块组成。 图形算力由两张华硕GeForce RTX 3060 OC 12GB显卡承担，存储设备采用西部数据WD SN850X 2TB固态硬盘，电源为华擎Steel Legend SL-850G 850W全模组电源。 软件运行层面，该方案采用了基于llama.cpp的GPU与CPU混合推理方法。通过llama.cpp的override-tensor标志，系统将模型路由组件强制分流至总计24GB显存的GPU中处理，其余参数则由傲腾内存承担存储与读取任务，有效规避了单卡显存不足的瓶颈。 英特尔傲腾系列产品虽已停产，但其介于DRAM与固态硬盘之间的读写特性，使其成为替代昂贵内存方案的特殊选择。 业内分析认为，随着CXL计算快速连接标准的成熟，未来市场有望出现更具性价比的字节寻址内存解决方案，以支撑大型语言模型对内存容量的迫切需求。
Go to News Site