这项由三星商讨院（Samsung Research）指挥的商讨在2026年2月发表，论文编号为arXiv:2602.06694v1，有趣味深入了解的读者不错通过该编号查询圆善论文。

把一个繁密的东说念主工智能模子装进小小的个东说念主电脑显卡里运行，就像要把整座藏书楼的竹帛装进一个小背包里随身佩戴。三星商讨团队确立的NANOQUANT时候，奏效惩办了这个看似不行能的挑战，初度结束了让领有700亿参数的大型话语模子在正常的8GB显卡上灵通运行。

目下市面上的大型AI模子就像一座装满知识的巨型藏书楼，需要繁密的存储空间和刚劲的计较才略才能正常运转。一个700亿参数的模子频繁需要138GB的内存空间，相等于要用17台8GB显卡才能拼凑运行。这就好比你念念随身佩戴整座藏书楼，但唯有一个小书包。传统的惩办决议就像是把书本的纸张变薄来精真金不怕火空间，但这种方法有个致命劣势：当你把信息压缩到极限时，书的内容就会变得无极不清，以至统共无法阅读。

三星团队的NANOQUANT时候收受了一种全新的"打包"计策。他们不是粗浅地把书页变薄，而是创造了一种全新的竹帛存储形势。具体来说，他们把AI模子中的每一个"知识点"再行组织成两个至极粗浅的部分：一个唯有正号和负号的"标的指令器"，另一个是用正常精度存储的"进攻进程标志"。这就像把复杂的舆图简化成"向左转如故向右转"的粗浅指令，加上"这个转弯有多进攻"的标志。

这种方法的高明之处在于，它不是凶残地删减信息，而是找到了一种更高效的信息抒发形势。商讨团队发现，AI模子中的大部分关键信息骨子上不错用这种二进制加权重的形势来抒发，而不会权贵耗损模子的"才略"。这就像发现原来复杂的菜谱不错简化成"加盐如故不加盐"的遴荐，再配上"加些许"的精准证实，最终作念出来的菜依然厚味。

NANOQUANT时候的中枢立异体目下三个互彼此助的法子上。当先是"乖张传播缓解"阶段，就像在搬家时先整理好前边房间的物品，幸免背面房间的整理责任受到搅扰。当你逐层压缩AI模子时，前边层级的压缩纰谬会影响到背面的层级，就像多米诺骨牌效应相通。商讨团队确立了一种事前和洽的方法，在压缩每一层之前先修正前边层级形成的集结纰谬，确保每一步皆在最好景色下进行。

接下来是"低秩二进制运革新"阶段，这是统共这个词时候的中枢场所。商讨团队使用了一种被称为"潜在二进制ADMM"的算法，这个名字听起来很复杂，但道理相等于制作拼图的经由。你需要把一幅圆善的图片（原始AI模子）剖析成若干个粗浅的拼图块（二进制矩阵和权重），每个拼图块皆很粗浅，但组合起来能收复出原来的图片成果。

这个拼图制作经由需要极其精准。商讨团队确立了一种特地的"均衡时候"，确保剖析出来的各个部分在数值上保抓均衡，就像调配色调时需要确保多样样貌的比例适应，最终调出的色调才会准确。他们通过数学方法讲明，当两个剖析因子的"能量"至极时，重组成果最好，这就像天平的两头分量至极时最强壮相通。

第三个法子是"因子化组件精化"，相等于对初步制作好的拼图进行精致和洽。即使前边的剖析责任作念得很好，仍然需要对细节进行微调，就像画家完成画作东体后还要在细节上锦上添花。商讨团队使用了一种叫作念"纵贯算计器"的时候，允许在保抓二进制结构的同期对权重进行微调，这么既保抓了压缩成果，又最大化了模子性能。

统共这个词压缩经由还包括一个全局优化阶段。当统共层级皆完成了局部压缩后，商讨团队还会对统共这个词模子进行全局调优，确保各个部分协同责任达到最好成果。这就像交响乐团中，每个乐器皆调好音后，开辟还要确保统共这个词乐团的和谐演奏。

NANOQUANT的压缩成果令东说念主印象潜入。在保抓模子性能基本不变的情况下，它能将模子大小压缩到原来的1/25.8，也等于说原来需要138GB空间的模子目下只需要5.35GB就能存储。更进攻的是，压缩后的模子在8GB显卡上运行时，推理速率不错达到每秒20.11个词元，这个速率足以撑抓灵通的对话体验。

商讨团队在多个主流AI模子上考据了这项时候的成果，j9game包括Llama2、Llama3、Gemma、Qwen等不同系列的模子，参数范畴从6亿到700亿不等。测试扫尾浮现，即使在顶点压缩的情况下，模子在话语知道、学问推理等任务上的发扬依然保抓在可接受的范围内。比如在WikiText-2数据集上，压缩后的模子困惑度有贪图诚然有所飞腾，但仍然远低于其他现存压缩方法的扫尾。

在骨子愚弄测试中，NANOQUANT展现出了优异的实用性。商讨团队确立了有利的GPU计较内核来加快二进制矩阵运算，在浪费级显卡上结束了比传统16位浮点运算高3.6倍的推理速率，同期内存占用减少了5.4倍，能耗裁减了3.9倍。这意味着用户不错在正常的个东说念主电脑上运行原来唯有大型事业器才能处理的AI模子。

更令东说念主惊喜的是，NANOQUANT的压缩经由至极高效。使用单张H100显卡，统共这个词700亿参数模子的压缩经由只需要13小时就能完成，这比其他需要多张显卡运行数天的方法要实用得多。并且统共这个词经由只需要128个步伐样本进行校准，相等于只用了26万个词元的数据，这比其他方法需要的数亿以至数十亿词元的教师数据要少得多。

时候考据经由也讲明了NANOQUANT的优胜性。在与其他压缩方法的对比中，不管是传统的后教师量化方法，如故需要再行教师的量化感知教师方法，NANOQUANT皆在压缩率、运行服从和模子质地之间得回了更好的均衡。稀疏是在sub-1-bit（小于1位）的顶点压缩场景下，NANOQUANT是目下独一大概在后教师阶段结束这种压缩进程的方法。

商讨团队还进行了详备的ablation商讨，分析了时候中每个组件的孝敬度。扫尾浮现，精准的运革新计策对最终成果至关进攻，而magnitude balancing（幅度均衡）时候则确保了数值计较的强壮性。这些时候细节的优化使得NANOQUANT大概侵犯传统方法的表面适度，结束了信得过道理道理上的sub-1-bit压缩。

从更宽广的视角来看，NANOQUANT时候的奏效为AI模子的普及化愚弄翻开了新的可能性。已往唯有领有刚劲计较资源的大公司才能运行的大型AI模子，目下正常用户也不错在我方的个东说念主电脑上使用。这就像从需要专科暗房才能冲洗像片的期间，投入到东说念主东说念主皆不错用数码相机随时拍照的期间。

这项时候对AI行业的道理道理不单是是时候层面的侵犯。它裁减了AI愚弄的门槛，让更多的商讨者、确立者和正常用户大概斗争到起始进的AI时候。同期，由于大幅裁减了运行本钱和能耗，也为AI时候的可抓续发展提供了新的旅途。在环保意志日益增强的今天，这种高效的计较形势具有进攻的履行道理道理。

天然，NANOQUANT时候也有其局限性。诚然在大普遍任务上发扬细致，但在一些需要极高精度的有利任务上，压缩后的模子可能还无法统共匹配原始模子的性能。此外，诚然压缩经由仍是相对高效，但关于一些资源极其受限的场景，13小时的压缩时辰可能仍然偏长。

商讨团队默示，他们将不绝优化这项时候，稀疏是在压缩算法的服从和压缩后模子的性能方面。畴昔的纠正标的包括确立更合适不同类型任务的有利化压缩计策，以及进一步培育压缩经由的自动化进程，让更多用户大概松驰使用这项时候。

总体而言，三星团队的NANOQUANT时候代表了AI模子压缩范畴的一个进攻里程碑。它不仅在时候上结束了权贵侵犯，更进攻的是为AI时候的民主化和普及化铺设了说念路。就像当年个东说念主电脑的普及改革了统共这个词计较机行业相通，这种让刚劲AI模子在正常硬件上运行的时候，很可能会催生出全新的愚弄场景和营业阵势，让AI信得过走进千门万户。

Q&A

Q1：NANOQUANT压缩时候是奈何责任的？

A：NANOQUANT将AI模子的复杂权重剖析成粗浅的正负号指令和进攻进程标志，就像把复杂舆图简化成"左转右转"加上"进攻进程"的组合。通过三个中枢法子：乖张传播缓解、低秩二进制运革新和组件精化，最终结束25.8倍的压缩比。

Q2：使用NANOQUANT压缩后的模子性能会着落好多吗？

A：性能着落相对较小。在多项测试中，压缩后的700亿参数模子在学问推理任务上仍保抓竞争力，诚然在一些有贪图上有所着落，但远优于其他顶点压缩方法，且能在8GB显卡上以每秒20个词元的速率运行。

Q3：正常用户需要多永劫辰才能压缩一个大型AI模子？

A：使用单张H100显卡压缩700亿参数模子需要约13小时，只需要128个样本进行校准。比拟其他需要多张显卡运行数天、使用数亿教师数据的方法，NANOQUANT的压缩经由愈加高效实用。