΢ÈíÔÙ·ÅLLMÁ¿»¯´óÕУ¡ÔÉú4bitÁ¿»¯£¬±¾Ç®±©¼õ£¬ÐÔÄÜÏÕЩ0Ëðʧ
ÐÂÖÇÔª±¨µÀ
±à¼£ºKingHZ
¡¾ÐÂÖÇÔªµ¼¶Á¡¿ÔÉú1bit´óÄ£ÐÍBitNet b1.58 2B4TÔÙÉý¼¶£¡Î¢ÈíÐû²¼BitNet v2£¬ÐÔÄÜÏÕЩ0Ëðʧ£¬¶øÕ¼ÓÃÄÚ´æºÍÅÌË㱾ǮÏÔÖø½µµÍ¡£
»¹Ã»¹ý¼¸Ì죬԰àÈËÂí´ø×ŵڶþ´úBitNet v2À´ÁË£¡
Õâ´ÎÐÔÄÜÏÕЩ0Ëðʧ£¬µ«Õ¼ÓÃÄÚ´æºÍÅÌË㱾ǮÏÔÖø½µµÍ£¡
ÂÛÎÄÁ´½Ó£ºhttps://arxiv.org/abs/2504.18415
ÏÈǰµÄ¿ª´´ÐÔÑо¿£¬ÈçBitNet b1.58£¬ÒѾ֤Ã÷£º
×ÝÈ»½«È¨ÖØÁ¿»¯µ½1.58룬ҲÄÜÔÚ¼«´ó½µµÍÍÆÀí±¾Ç®£¨ÑÓ³Ù¡¢ÄÚ´æÕ¼Óá¢ÍÌÍÂÁ¿¡¢Äܺ쩵Äͬʱ£¬¼á³ÖÓëÈ«¾«¶ÈÄ£ÐÍÏ൱µÄÐÔÄÜ¡£
È»¶ø£¬¼¤»îÖµÒì³£µãÈÃ1±ÈÌØ´óÓïÑÔÄ£ÐͰ²ÅűäµÃÅÓ´ó¡£
BitNet v2¿ò¼Ü£¬Ê×´ÎʵÏÖ¶Ô1±ÈÌØLLMsµÄÔÉú4±ÈÌØ¼¤»îÖµÁ¿»¯¡£
Õë¶Ô×¢ÒâÁ¦»úÖÆºÍǰÀ¡ÍøÂçÖ줻îÖµµÄÒì³£ÂþÑÜÎÊÌ⣬ÔÚ¼¤»îÖµÁ¿»¯Ç°£¬H-BitLinearÄ£¿éÊ©¼ÓÔÚÏßHadamard±ä»»£¨Hadamard transformation£©¡£
ͼ1Éϰ벿·Ö£ºBitNet v2ÕûÌå¼Ü¹¹ÒÔ¼°H-BitLinearÄ£¿éµÄ¸ÅÀÀ
ÕâÖֱ任Äܽ«¼âÈñµÄ¼¤»îÖµÂþÑÜת»¯Îª¸ü½Ó½ü¸ß˹ÐÎ̬µÄƽ»¬ÂþÑÜ£¬´Ó¶øÊÊÅäµÍ±ÈÌØÌåÏÖ¡£
ÔÉú4±ÈÌØÅÌËã
µÃÒæÓÚÏÂÒ»´úGPU£¨ÈçGB200£©µÈÓ²¼þµÄ½ø²½£¬Éî¶ÈѧϰÁìÓòÕýѸËÙ½ÓÄÉÁ¿»¯ºÍµÍ±ÈÌØÍÆÀí¼¼Êõ¡£
ÐÂÓ²¼þÔÉúÖ§³Ö4±ÈÌØÅÌË㣬Ϊ´ó¹æÄ£Ä£ÐÍ´øÀ´ÏÔÖøµÄЧÂÊÌáÉý¡£
ÅÌËã»úÖÐ32¡¢16¡¢8±ÈÌØ¸¡µãÊý²î±ðµÄÌåÏÖÒªÁì
È»¶ø£¬¾¡¹ÜBitNet b1.58½«È¨ÖØÁ¿»¯Îª1.58±ÈÌØ£¬»º½âÁËÄÚ´æ´ø¿íÆ¿¾±£¬µ«ËüµÄ¼¤»îÖµÈÔ¼á³Ö8±ÈÌØ¾«¶È¡£
Ä£ÐÍÎÞ·¨³ä·ÖÀûÓÃÐÂÓ²¼þµÄ4±ÈÌØÅÌËãÄÜÁ¦¡£
ʵÏÖ¸üµÍ±ÈÌØ¿í¶ÈµÄ¼¤»îÖµ¹ØÓÚ×î´ó»¯Ó²¼þÀûÓÃÂÊÖÁ¹ØÖØÒª£¬ÓÈÆäÊÇÔÚÅú´¦ÀíÍÆÀí³¡¾°ÖУ¬¸ßЧµÄÄÚºËÉè¼ÆÓÈÎªÖØÒª¡£
Òªº¦ÎÊÌâÔÚÓÚLLMÄÚ²¿¼¤»îÖµµÄ²»¾ùÔÈÂþÑÜ¡£
ËäÈ»×¢ÒâÁ¦»úÖÆºÍǰÀ¡ÍøÂ磨FFN£©²ãµÄÊäÈëͨ³£·ºÆðÀà¸ß˹ÂþÑÜ£¬ÊʺÏÁ¿»¯£¬µ«Öмä״̬£¨×îÖÕͶӰǰµÄÊä³ö£©ÍùÍù°üÀ¨ÏÔÖøµÄÀëȺֵ£¬×è°Á˼¤½øµÄµÍ±ÈÌØÁ¿»¯¡£
ͼ1ϰ벿·Ö£º×¢ÒâÁ¦²ãÖÐÊä³öͶӰWoºÍǰÀ¡ÍøÂçÖÐÏÂͶӰWdownµÄ¼¤»îÂþÑÜÇé¿ö
¶ÔÊäÈë½ÓÄÉ4±ÈÌØÁ¿»¯ºÍ¶ÔÖмä״̬ʹÓÃ8±ÈÌØÏ¡Ê軯£¬¿ÉÒÔ½â¾öÕâÒ»ÎÊÌâ¡£
¾¡¹ÜÐÔÄÜËðʧ½ÏС£¬µ«Ï¡Ê軯²¢²»ÊʺÏÅú´¦ÀíÍÆÀí³¡¾°µÄ×î´óÍÌÍÂÁ¿ÐèÇó£¬ÒòΪӲ¼þ¸üÇãÏòÓÚÃܼ¯ÅÌËãÒÔÌáÉýЧÂÊ¡£
ΪÃÖºÏÕâÒ»²î±ð²¢³ä·Ö·¢»Ó1.58±ÈÌØLLMÔÚ4±ÈÌØÅÌËãÖеÄDZÁ¦£¬Ñо¿ÍŶÓÌá³öÁËBitNet v2¿ò¼Ü£¬ÊµÏÖÁËÄ£ÐÍÈ«Á÷³ÌµÄÔÉú4±ÈÌØ¼¤»îÖµ£¬¿ò¼Ü½¹µãÁ¢ÒìÊÇH-BitLinear¡£
BitNet v2£ºÔÉú4λ¼¤»î
BitNet v2Ä£ÐÍ»ùÓÚÀàËÆLLaMAµÄ×é¼þ¹¹½¨£¬°üÀ¨RMS¹éÒ»»¯¡¢SwishGLU¼¤»îº¯Êý£¬²¢ÍêÈ«ÒÆ³ýÁËÆ«ÖÃÏbias£©¡£
BitNet v2µÄÕûÌå¼Ü¹¹
ÓëÏÈǰµÄBitNetÏà±È£¬BitNet v2ÔÚ×¢ÒâÁ¦Ä£¿éµÄÊä³öͶӰWoºÍǰÀ¡ÍøÂ磨FFN£©µÄÏÂͶӰWdownÖУ¬ÒýÈëÁËH-BitLinearÄ£¿é£¬ÒÔרÃÅ´¦ÀíÖмä״̬ÖзºÆðµÄÒ쳣ͨµÀ£¨outlier channels£©¡£
BitNet v2µÄѵÁ·Á÷³Ì·ÖΪÁ½½×¶Î£º
Ê×ÏÈ£¬´ÓÁ㿪ʼʹÓÃ1.58Î»È¨ÖØºÍ8λ¼¤»î£¨INT8£©½øÐÐԤѵÁ·£»
Ëæºó£¬ÔÚ¼á³ÖÈ¨ÖØÁ¿»¯Îȶ¨µÄ»ù´¡ÉÏ,½«ËùÓÐÏßÐԲ㣨³ýÊäÈë/Êä³öembeddingÍ⣩½øÒ»²½Î¢µ÷Ϊ4λ¼¤»î£¨INT4£©¡£
H-BitLinearÄ£¿é
BitNet v2½ÓÄÉÖðÕÅÁ¿Æ½¾ù¾ø¶ÔÖµÁ¿»¯£¨per-tensor absmean£©Õ½ÂÔ¶ÔÈ¨ÖØ½øÐÐÈýÖµÁ¿»¯£¨Ò²¾ÍÊÇ{-1, 0, 1}£©£º
¹ØÓڵͱÈÌØ¼¤»îµÄÎÊÌ⣬ÒÑÓÐÑо¿Ö¸³ö£º
×¢ÒâÁ¦²ãºÍǰÀ¡ÍøÂçÖÐǰÖÃÏßÐԱ任µÄÊäÈ뼤»î£¬Í¨³£·ºÆð¸ß˹ÂþÑÜ£¬½ÏÊʺÏÁ¿»¯£»
¶ø×¢ÒâÁ¦Êä³ö£¨Wo£©ºÍFFNÏÂͶӰ£¨Wdown£©µÄÖмä״̬¼¤»î£¬ÔòÍùÍù°üÀ¨´ó×ÚÀëȺͨµÀ£¨outlier channels£©£¬ÇҴ󲿷ÖÖµ¼¯ÖÐÓÚ0ËÄÖÜ£¬ÑÏÖØÓ°ÏìµÍλÁ¿»¯¾«¶È¡£
H-BitLinear¿ÉÒÔÈ¡´ú×¢ÒâÁ¦»úÖÆÊä³öͶӰºÍFFNÏÂͶӰµÄ±ê×¼ÏßÐԲ㡣
H-BitLinearÔÚ¼¤»îÁ¿»¯Ç°Ó¦ÓÃÔÚÏß¹þ´ïÂê±ä»»£©£¬°ÑÖмä״̬ÖмâÈñ¡¢Ò×±¬·¢ÀëȺֵµÄÂþÑÜÖØËÜΪ¸üÒ×´¦ÀíµÄÀà¸ß˹ÂþÑÜ£¬ÏÔÖø¼õÉÙ1.58±ÈÌØÄ£ÐÍÖÐÀëȺֵµÄÓ°Ïì¡£
Hadamard±ä»»½ç˵ÈçÏ£º
ÆäÖеľØÕó³Ë·¨½ÓÄÉ¿ìËÙHadamard±ä»»Ëã·¨£¨Fast Hadamard Transform£¬FHT£©£¬ÆäÅÌËãÅÓÆ¯ºóΪO(nlogn)¡£
Hadamard¾ØÕóÊÇÒ»ÀàÌØÊâµÄÕý½»¾ØÕó¡£
ËüµÄÌØµãÊÇÿ¸öÔªËØÖ»ÄÜÊÇ+1»ò-1£¬²¢ÇÒÿÐУ¨»òÿÁУ©Ö®¼äµÄÄÚ»ýΪ0£¬ÌåÏÖÏ໥Õý½»¡£
°¢´ïÂí¾ØÕóµÄÃüÃûÀ´×ÔÓÚ·¨¹úÊýѧ¼ÒJacques Solomon Hadamard¡£
·¨¹úÊýѧ¼Ò£ºJacques Solomon Hadamard
Èçͼ2ºÍͼ3Ëùʾ£¬ÒýÈëHadamard±ä»»ºó£¬Öмä״̬µÄÂþÑÜÔ½·¢½Ó½ü¸ß˹ÐÎ̬¡£
ÕâÏÔÖø¼õÉÙÁËÀëȺֵÊýÁ¿£¬Ê¹Æä¸üÊʺϽøÐÐ4λ¼¤»îÁ¿»¯£¨INT4£©¡£
ͼ2£ºÔÚʹÓÃ8λ¼¤»îʱ£¬BitNet b1.58ÓëBitNet v2µÄ¼¤»îÂþÑܱÈÕÕ¡£
ͼ3£º½ÓÄÉ8±ÈÌØ¼¤»îֵʱ£¬BitNet b1.58ÓëBitNet v2ÔÚǰÀ¡ÍøÂçWdown²ãºÍ×¢ÒâÁ¦»úÖÆWo²ãµÄ¼¤»îÖµÂþÑܱÈÕÕ¡£
¹ØÓÚ8λ¼¤»î£¨INT8£©ºÍ4λ¼¤»î£¨INT4£©Á¿»¯Õ½ÂÔ£¬»®·Ö½ÓÄÉÏÂÁÐÕ½ÂÔ£º
×ÛÉÏ£¬H-BitLinear²ãµÄÕûÌ徨ÕóÔËËã¿ÉÌåÏÖΪ£º
ÆäÖУ¬LN(?)ÌåÏÖ²ã¹éÒ»»¯£¨LayerNorm£©¡£
Ñо¿ÍŶÓÖØÐ¿ªÊ¼Ê¹ÓÃ8±ÈÌØ¼¤»îֵѵÁ·BitNet v2£¬ÓëBitNet b1.58Ïà±ÈÐÔÄÜËðʧ΢ºõÆä΢¡£
Ëæºó£¬Í¨¹ýÉÙÁ¿Êý¾Ý¸ßЧ΢µ÷£¬Ä£Ðͼ´¿ÉÊÊÅäÔÉú4±ÈÌØ¼¤»îÖµ¡£
ʵÑé½á¹û
ʵÑé±êÃ÷£¬4±ÈÌØBitNet v2±äÌåÔÚÐÔÄÜÉÏÓëBitNet a4.8Ï൱£¬µ«ÔÚÅú´¦ÀíÍÆÀí³¡¾°ÖÐÌṩ¸ü¸ßµÄÅÌËãЧÂÊ¡£
±ðµÄ£¬ÓëºóѵÁ·Á¿»¯ÒªÁìSpinQuantºÍQuaRot£¬ÔòÏÕÐ©È«ÃæÁìÏÈ¡£
±ÈBitNet b1.58¸ü¿ì
BitNet V2ÓëBitNet b1.58±È£¬ÐÔÄÜÏÕЩ0Ëðʧ¡£
BitNet v2¼°Æä»ùÏßÄ£Ð͵ÄÏêϸʵÑé½á¹û£¬Èç±í1Ëùʾ¡£
ÔÚ×¢ÒâÁ¦»úÖÆºÍǰÀ¡ÍøÂ磨FFN£©²ãµÄÁ¿»¯Ç°ÒýÈë¹þ´ïÂê±ä»»ºó£¬Ä£Ð͵ÄÀ§»ó¶È£¨perplexity£©Ï½µ¼«Ð¡¡£
¹ØÓÚ8±ÈÌØ¼¤»îÖµ£¬BitNet v2Ïà½ÏÓÚBitNet b1.58ÌåÏÖ³ö¸ü¸ßµÄÐÔÄÜ£¬ÔÚ1.3B¡¢3BºÍ7BÄ£Ð͹æÄ£ÉÏ£¬ÖÕ¶ËÈÎÎñµÄƽ¾ù׼ȷÂÊ»®·ÖÌáÉýÁË0.16%¡¢0.49%ºÍ0.61%¡£
±ðµÄ£¬BitNet v2Ö§³ÖËùÓÐÏßÐÔ²ãµÄÔÉú4±ÈÌØ¼¤»îÖµ£¬´Ó¶øÏÔÖøÌáÉýÁËÅú´¦ÀíÍÆÀíµÄЧÂÊ¡£
ÔÚʹÓÃINT4£¨4±ÈÌØÕûÊý£©¼¤»îֵʱ£¬BitNet v2µÄÀ§»ó¶ÈÓëBitNet a4.8Ï൱£¬Í¬Ê±ÔÚ3BºÍ7BÄ£Ð͵ÄÏÂÓÎÈÎÎñÖÐÕ¹ÏÖ³ö¸üÓŵÄÐÔÄÜ¡£
±í1£ºBitNet v2¡¢BitNet a4.8ÓëBitNet b1.58ÔÚÖÕ¶ËÈÎÎñÉϵÄÀ§»ó¶È¼°ÐÔÄÜÌåÏÖ
±í2ºÍ±í3»®·Ö×ܽáÁËBitNet v2£¨8±ÈÌØ¼¤»î£¬a8£©ºÍBitNet v2£¨4±ÈÌØ¼¤»î£¬a4£©ÔڵͱÈÌØ×¢ÒâÁ¦»úÖÆÏµÄÏêϸ½á¹û¡£
Ñо¿ÈËÔ±¶ÔQKV״̬½ÓÄÉÁËRoPE£¨ÐýתλÖñàÂ룩ºóµÄÁ¿»¯ÒªÁì¡£
QKVͷͨ¹ýabsmaxº¯ÊýÖ±½ÓÁ¿»¯ÎªÎÞ·ûºÅÕûÊý£¬ÎÞÐèÈκÎУ׼Êý¾Ý¼¯¡£
Èç±í2ºÍ±í3Ëùʾ£¬½ÓÄÉ3±ÈÌØKV»º´æµÄBitNet v2ÔÚ3BºÍ7BÄ£ÐÍÉϵÄ׼ȷÂÊÓëʹÓÃÈ«¾«¶ÈKV»º´æµÄÄ£ÐÍÏ൱¡£
±í2£ºBitNet v2ÔÚÖÕ¶ËÈÎÎñÉϵÄÁãÑù±¾×¼È·ÂÊ£¬ÆäÖ줻îʹÓÃ8룬¶øQKV״̬µÄλ¿íÔòÓÐËù²î±ð¡£
±í3£ºBitNet v2ÔÚÖÕ¶ËÈÎÎñÉϵÄÁãÑù±¾×¼È·ÂÊ£¬ÆäÖ줻îʹÓÃ4룬¶øQKV״̬µÄλ¿íÔòÓÐËù²î±ð¡£
ÓëÆäËûºóѵÁ·Á¿»¯ÒªÁìµÄ±ÈÕÕ
BitNet v2 (a4)ÓëÖ÷Á÷µÄºóѵÁ·Á¿»¯»ùÏßÒªÁì½øÐÐÁ˱ÈÕÕ£¬°üÀ¨SpinQuantºÍQuaRot£¬ÔÚ1.3B²ÎÊý¹æÄ£µÄÄ£ÐÍÉϽøÐÐÁËÆÀ²â¡£
QuaRotͨ¹ýÒýÈëËæ»úHadamard±ä»»ÒÔ»º½âÌØÕ÷ÀëȺÎÊÌ⣬SpinQuantÔòʹÓÃÁË¿ÉѧϰµÄÐýת¾ØÕó£¨rotary matrix£©¡£
Ëæºó£¬ÕâÁ½ÖÖÒªÁì»®·Ö½ÓÄÉGPTQºÍabsmaxÕ½ÂÔ£¬½«È¨Öغͼ¤»îÁ¿»¯µ½4λ¡£
ÓÉÓÚBitNet b1.58ÑØÓÃѵÁ·Ê±Ê¹ÓõÄabsmeanº¯Êý½øÐÐÈ¨ÖØÁ¿»¯£¬¶ø·ÇʹÓÃGPTQ¡£
ÔÚ¸÷ÏîÖ¸±êÉÏ£¬BitNet v2ÎÈÄõÚÒ»£¬¾ßÌå½á¹û¼û±í4¡£
±í4£ºBitNet v2¡¢QuaRotºÍSpinQuantÔÚ¸÷ÏîÏÂÓÎÈÎÎñÉϵÄÀ§»ó¶È£¨Perplexity£©ÓëÁãÑù±¾×¼È·ÂÊ£¨Zero-shot Accuracy£©±ÈÕÕ
ÁíÍ⣬ÔÚHadamard±ä»»¶Ô²î±ðÄ£Ðͳߴ磨1.3BºÍ3B£©Ó°ÏìµÄʵÑ飨¼û±í5£©ÖУ¬Ñо¿Õß·¢Ã÷£º
ûÓÐÐýת´¦Àí£¨No rotation£©Ê±£¬Ä£ÐÍÖ±½Ó·¢É¢£¬ÎÞ·¨Õý³£ÑµÁ·£»
ÒýÈëHadamardÐýת£¨ÎÞÂÛÊÇÈ¨ÖØ+¼¤»î£¬Õվɽö¼¤»î£©£¬¶¼ÄÜÏÔÖøÎȶ¨µÍλѵÁ·£¬²¢Ìá¸ß×îÖÕ׼ȷÂÊ¡£
±í5£º²î±ð¹æÄ£ÏÂH-BitLinearµÄHadamard±ä»»µÄÏûÈÚÑо¿¡£
Ä£ÐÍѵÁ·¡¢ÏûÈÚʵÑéµÈÆäËûÄÚÈݺÍϸ½Ú£¬Çë²ÎÔÄÔÎÄ¡£
²Î¿¼×ÊÁÏ£º
https://arxiv.org/abs/2504.18415
Ïà¹ØÍÆ¼ö£º美女撒尿免费网站 .ลตลหไจ.com 美女打开双腿❌❌网站
老太脱裤子和老太做爰
火影被扒开腿做❌同人
9在线无码精品㊙️入口男同
国产a久久㊙️麻豆入口红豆
同性男同yaoi❤♂疯狂做
jojo徐伦被❌吸乳网站
成人国产精品㊙️在线鲁大
韩漫被❌到爽🔞流真人
91无码人妻东京热精品一区
91禁漫♥H漫画网站
裸体裸乳被🍑滋尿喝尿免费视频
jαpense25-35
成人网站免费观看完整版入口
欧美㊙️无码一区二区三超碰
扒开🍑让老师🍌进去动漫
扒开❌狂揉❌难受公交车欧美
美女➕光屁屁➕无遮挡18
腿打开c爽死你高H
女友小雪被教练猛烈进出漫画
小黃片㊙️🈲打屁股视频
人c交200200200农场是干嘛的
强制高潮H调教麻豆
调教➕浇灌➕皮鞭网站
男同gv🔞禁网站国内洗澡
SweetieFox合集全解锁版
雏田被鸣人❌❌同人漫画
光溜溜瑜伽全套视频大全
原神cos裸体被❌羞羞网站
一色桃子番号
欧美AV㊙️无码一区二区
英国老熟性视频
合租被俩个学长3p
玖辛奈被扒开腿坐做❌同人游戏
女警花被扒开双乳蹂躏折磨
日本十大裸乳动漫
好大用力深一点黑人
张予曦扒开内裤让我看看
被学长灌满jing液去上课动漫
vivo日本熟妇
范冰冰杨幂大战臣茎
少萝自愿裸体❌❌㐅漫画
✨寸止挑战-榨精挑战2在线
国产学生粉嫩无套进
女自慰✅免费网
国产51精品㊙️入口福利姬黄瓜
女同学爽🔞流片自慰
重囗味sM群虐一区二区周晓琳
日韩欧美zzzooo
扒开腿挺进杨幂的湿润花苞动漫
嗯~啊~轻一点动漫视频
国产美女白嫩㊙️屁屁网站
无尽裸体白丝3D森林世界
eipril
扒开水手服美女❌狂揉❌免费
骚狐在线观看免费全集
虞姬裸乳被爆白浆的动
免费开户籍网站大头照
雏田的胸襟距离
sm羞辱调教视频网站
厨房脱岳裙子在后面扭
XXXXDHD🍆🍑18
亚洲精品AV㊙️骚流水了小说
高清🈚码🔞❌♋破
免费➕无码➕国产无线
国产做受69吞精
欧美极品❌❌❌❌❌爱豆aⅴ
啊别了快cao我啊~网站
🌿我慢点好爽好大黄瓜视频
芒果台内衣
19➕韩国女主播vip视频
国产又粗又猛又色又黃
日本护士㐅乄㐅╳
52abar
国产熟妇婬乱A片免费看图片直播
疯狂❌喷水爽www噜噜噜
3D裸体啪啪❌H动漫
妺妺晚上夹我又紧又爽H漫画
原神神里绫华掀开衣服看副乳
我的露出自虐调教sm
米塔同人漫画免费下载
菓滋悠肉Queen
ÍøÓÑÆÀÂÛ ¼ì²ìËùÓÐÆÀÂÛ>>