快科技5月24日音书，AI算力现在的瓶颈也曾从GPU转向了存储芯片，国内尤其清寒高性能HBM内存等芯片，是以也发展出了多样优化技巧，清华大学日前的参议就在华为昇腾上终明显6倍用量的裁减。

面壁智能、清华大学与 OpenBMB 社区日前连合发布了BitCPM-CANN，这是首个原生基于华为昇腾NPU构建的端到端1.58比特（三元）大道话模子查验系统。

顾名想义，这套系统引入了一套三元量化的技巧，模子权重被压缩为-1、0、1三种景况，使得显存占用量裁减了6倍，还顺带着裁减了功耗，因为运算中高耗能的浮点乘法盘算推算简化成了加减法运算。

同样裁减算子也会导致大模子的精度裁减，不外这套三元量化的本体推崇照旧很强的，团队公布了从0.5B、1B、3B再到8B参数目的大模子与全精度MiniCPM4的对比，1B、3B和8B 三元版分内别保留了各自对应尺寸全精度原版模子97.1% 、97.2%和95.7%的平均性能。

0.5B小尺寸的性能赔本诚然是最大的，但也达到了90.1%的比率。

速率上的赔本也在可领受领域内，在昇腾910B芯片平台上，全尺寸精度的蒙眬量是155TFLOP/S，K·体育世界杯(中国)官方网站三元量化版也有148TFLOP/S，赔本独一4.5%。

更紧迫的是，这套系谐和开动等于基于昇腾平台原生建筑的，作念到了端到端运行，而况开源、可全齐复现——从参议到部署，用户不错宽解使用任性尺寸的模子。

至于这些技巧的有趣有趣有趣有趣，不仅仅进步了国产AI平台的智商，更紧迫的是裁减了对HBM等高价存储芯片的依赖，当初谷歌的阿谁TurboQuant技巧亦然差未几裁减6倍内存用量，一度激励了三星、SK海力士、好意思光等公司股价暴跌。

如今内存阛阓不仅价钱涨得离谱，而况厂商确实齐不会加多产能，任由缺货加价膨胀，蜕变这个场面是不行能指望三星等公司我方了，还得靠国内的公司进步内存闪存芯片产能，同期加大技巧优化，让内存闪存的用量不那么虚高才行。

【本文截止】如需转载请务必注明出处：快科技

轮盘游戏app(中国)官方下载

包袱裁剪：宪瑞K体育世界杯中国官网首页

著作内容举报

]article_adlist--> 　　声明：新浪网独家稿件，未经授权抑止转载。 -->