°¢ÀïͨÒåÐû²¼²¢ÐÐÅÌËãÐÂÕ½ÂÔ£º1.6BµÈЧ4.4B£¬ÄÚ´æÏûºÄÖè½µ95%
ÎÅÀÖ ·¢×Ô °¼·ÇËÂÁ¿×Óλ | ÃñÖںŠQbitAI
¼ÈÄÜÌáÉýÄ£ÐÍÄÜÁ¦£¬ÓÖ²»ÏÔÖøÔö¼ÓÄÚ´æºÍʱ¼ä±¾Ç®£¬LLMµÚÈýÖÖScaling Law±»Ìá³öÁË¡£
¹ØÓÚ1.6BÄ£ÐÍ£¬ÄÜʵÏÖÐÔÄܽӽü4.4BÄ£ÐÍ£¬ÄÚ´æÕ¼ÓýöΪºóÕßµÄ1/22£¬ÑÓ³ÙÔö¼ÓÁ¿Îª1/6¡£
²¢ÇÒ¿ÉÖ±½ÓÓ¦ÓÃÓÚÏÖÓÐÄ£ÐÍ£¨ÈçQwen-2.5£©£¬ÎÞÐèÖØÐÂѵÁ·¡£
Õâ¾ÍÊǰ¢ÀïͨÒåÍŶÓÌá³öµÄPARSCALE¡£
ĿǰLLMsµÄÓÅ»¯Ö÷ÒªÓÐÁ½ÖÖ˼·£º²ÎÊýÀ©Õ¹£¨ÈçGPT-4£©ºÍÍÆÀíʱ¼äÀ©Õ¹£¨ÈçDeepSeek-R1£©£¬µ«»áÔö¼ÓÄÚ´æºÍʱ¼ä±¾Ç®¡£
°¢ÀïͨÒåÍŶÓÌá³öµÄз¶Ê½ÊÜCFG£¨ÎÞ·ÖÀàÆ÷Òýµ¼£©Ë«Â·¾¶ÍÆÀí»úÖÆµÄÆô·¢¡£
ËûÃǽ«CFGµÄ²¢ÐÐ˼Ïë´Ó ¡°Éú³É½×¶ÎµÄÍÆÀíÓÅ»¯¡± À©Õ¹Îª ¡°ÑµÁ·ºÍÍÆÀíÈ«Á÷³ÌµÄ¡¸ÅÌËãËõ·Å¡¹¡±¡£
ÈÃÎÒÃÇÀ´°ÇÒ»°Ç¼¼Êõϸ½Ú¡£
½«CFGµÄ²¢ÐÐ˼ÏëÀ©Õ¹µ½ÅÌËãËõ·ÅPARSCALE¹ØÓÚCFG˫·¾¶µÄÁé¸ÐÇ¨ÒÆ
CFG ͨ¹ýͬʱÔËÐÐÓÐÌõ¼þÉú³É£¨ÊäÈëÌáʾ´Ê£©ºÍÎÞÌõ¼þÉú³É£¨²»ÊäÈëÌáʾ´Ê£©Á½Ìõ·¾¶£¬ÔÙͨ¹ý¼ÓȨƽ¾ùÈںϽá¹û£¬ÌáÉýÉú³ÉÖÊÁ¿£¨ÈçÎÄÄÚÄ»¹ØÐÔ¡¢Í¼Ïñϸ½Ú¾«×¼¶È£©¡£
Æä½¹µãÔÚÓÚÀûÓò¢ÐÐÅÌË㣨Á½´ÎǰÏòÁ÷´«£©ÔöǿģÐ;ö²ßµÄ¶àÑùÐÔºÍ׼ȷÐÔ£¬¶øÎÞÐèÔö¼ÓÄ£ÐͲÎÊý¡£
Ñо¿ÈËÔ±ÊӲ쵽CFGµÄÓÐЧÐÔ¿ÉÄÜÔ´ÓÚÅÌËãÁ¿µÄÔö¼Ó£¨Á½´ÎǰÏòÁ÷´«£©£¬¶ø·Ç´¿´âµÄÌõ¼þÒýµ¼¡£
ÓÉ´ËÌá³ö¼ÙÉ裺²¢ÐÐÅÌËãµÄ¹æÄ££¨Èç·¾¶ÊýÁ¿£©¿ÉÄÜÊÇÌáÉýÄ£ÐÍÄÜÁ¦µÄÒªº¦ÒòËØ£¬¶ø·Ç½öÒÀÀµ²ÎÊý¹æÄ£»òÍÆÀíʱ¼äµÄ´®ÐÐÀ©Õ¹£¨ÈçÉú³É¸ü¶àtoken£©¡£
CFGÓÃ2Ìõ²¢Ðз¾¶ÌáÉýÐÔÄÜ£¬PARSCALEÔò½«Â·¾¶ÊýÁ¿À©Õ¹ÎªPÌõ£¨ÈçP=8£©£¬²¢Í¨¹ý¿ÉѧϰµÄÊäÈë±ä»»ºÍ¶¯Ì¬¾ÛºÏ£¬Ê¹²¢ÐÐÅÌËã³ÉΪһÖÖ¿ÉÀ©Õ¹µÄ ¡°ÅÌËãËõ·Å¡± ·¶Ê½¡£ÏÂͼչʾÁËPARSCALEÒªÁì¡£
PARSCALE¸ïеIJ¢ÐÐÅÌËã¿ò¼Ü
1¡¢ÊäÈë²ã£º¿ÉѧϰµÄ¶à·¾¶ÊäÈë±ä»»
½¹µã¸ïÐÂÊǽ«CFGµÄÀιÌ˫·¾¶À©Õ¹ÎªPÌõ¿ÉѧϰµÄ²¢Ðз¾¶£¬Ã¿Ìõ·¾¶Í¨¹ý¿ÉѵÁ·µÄǰ׺ǶÈëÉú³É²î±ð»¯ÊäÈë¡£
ǰ׺ǶÈëÉú³É£ºÎªÃ¿¸ö²¢Ðз¾¶ÒýÈë¿ÉѵÁ·µÄǰ׺ÏòÁ¿£¨Î¬¶ÈÓëÊäÈëǶÈëÒ»Ö£©£¬Æ´½ÓÔÚÔʼÊäÈëǰ£¬ÐγÉ·¾¶×¨ÊôÊäÈë¡£KV»º´æÇø·Ö£ºÔÚTransformerµÄ×¢ÒâÁ¦²ãÖУ¬²î±ð·¾¶µÄ¼ü£¨K£©ºÍÖµ£¨V£©»º´æÏ໥¶ÀÁ¢£¬È·±£¸÷·¾¶µÄÅÌË㻥²»´ò½Á£¬ÔöÇ¿Êä³ö¶àÑùÐÔ¡£
2¡¢ÅÌËã²ã£º²¢ÐÐǰÏòÁ÷´«
²¢ÐÐÖ´ÐУº½«P¸ö²î±ð»¯ÊäÈëͬʱÊäÈëÄ£ÐÍ£¬ÀûÓÃGPUµÄ²¢ÐÐÅÌËãÄÜÁ¦£¬Ò»´ÎÐÔÍê³ÉP·ǰÏòÁ÷´«£¬Éú³ÉP¸öÊä³öÁ÷¡£Ð§ÂÊÓÅÊÆ£ºÍ¨¹ýÅúÁ¿¾ØÕóÔËËãʵÏÖP·²¢ÐУ¬ÅÌËãЧÂÊËæPÏßÐÔÔö³¤£¬¹²ÏíÄ£ÐÍÖ÷Ìå²ÎÊý£¬½öÔö¼Óǰ׺ǶÈëµÈÉÙÁ¿¿ÉѵÁ·²ÎÊý¡£
3¡¢Êä³ö²ã£º¶¯Ì¬¼ÓȨ¾ÛºÏ
ͨ¹ý¶à²ã¸ÐÖª»ú£¨MLP£©¶¯Ì¬ÅÌËã¸÷·¾¶Êä³öµÄ¾ÛºÏÈ¨ÖØ£¬Ìæ´ú CFG µÄÀιÌÈ¨ÖØ»úÖÆ£ºÈôij·¾¶Êä³öÓëÄ¿½ñÊäÈëÓïÒ寥Åä¶È¸ß£¬MLP »áΪÆä·ÖÅɸü¸ßÈ¨ÖØ¡£
PARSCALE¸ü¸ßЧ
PARSCALE vs. ²ÎÊýÀ©Õ¹
µ±P=8ʱ£¬1.6B²ÎÊýÄ£ÐÍÔÚHumanEvalµÄÐÔÄÜ£¨Pass@1=39.1%£©½Ó½ü4.4B²ÎÊýÄ£ÐÍ£¨Pass@1=45.4%£©£¬µ«ÄÚ´æÕ¼ÓýöΪºóÕßµÄ1/22£¬ÑÓ³ÙÔö¼ÓÁ¿Îª1/6¡£
ÔÚGSM8KÊýÑ§ÍÆÀíÈÎÎñÖУ¬P=8ʹ1.8BÄ£ÐÍÐÔÄÜÌáÉý34%£¨Ïà¶Ô»ù×¼£©£¬ÏÔÖø¸ßÓÚ²ÎÊýÀ©Õ¹µÄÔöÒæ¡£
Á½½×¶ÎѵÁ·Õ½ÂÔ
½×¶Î1£ºÓùŰåÒªÁìԤѵÁ·Ä£ÐÍÖÁÊÕÁ²£¨1Ttokens£©¡£
½×¶Î2£º¶³½áÖ÷Ìå²ÎÊý£¬½öѵÁ·Ç°×ºÇ¶ÈëºÍ¾ÛºÏÈ¨ÖØ£¨20Btokens£¬Õ¼×ÜÊý¾ÝµÄ 2%£©¡£
P=8Ä£ÐÍÔÚGSM8KÉÏÌáÉý34%£¬ÇÒÓëÖØÐÂѵÁ·Ð§¹ûÏ൱£¬Ö¤Ã÷ÉÙÁ¿Êý¾Ý¼´¿É¼¤»î²¢Ðз¾¶µÄÓÐЧÐÔ¡£ÇÒ¸ÃÕ½ÂÔʹѵÁ·±¾Ç®½µµÍÔ¼ 98%
ÊÊÅäÏÖÓÐÄ£ÐÍ
Ñо¿ÍŶÓÔÚQwen-2.5-3BÄ£ÐÍÉϽøÐÐÁ¬ÐøÔ¤ÑµÁ·ºÍ²ÎÊý¸ßЧ΢µ÷£¨PEFT£©£¬½öµ÷½âǰ׺ºÍ¾ÛºÏÈ¨ÖØ¡£
½á¹ûÏÔʾ£¬ÔÚ´úÂëÉú³ÉÈÎÎñ£¨HumanEval+£©ÖÐPEFT ÒªÁìʹPass@1ÌáÉý15%£¬ÇÒ¶³½áÖ÷Ìå²ÎÊýʱÈÔÓÐЧ£¬Ö¤Ã÷¶¯Ì¬µ÷½â P µÄ¿ÉÐÐÐÔ¡£
PARSCALEͨ¹ý¿ÉѧϰµÄ¶à·¾¶ÊäÈë¡¢¶¯Ì¬¾ÛºÏÈ¨ÖØ¡¢È«Á÷³Ì²¢ÐÐÓÅ»¯£¬½«CFGµÄ ¡°Ë«Â·¾¶Æô·¢¡± Éý¼¶ÎªÒ»ÖÖͨÓõÄÅÌËãËõ·Å·¶Ê½¡£
¸ÐÐËȤµÄÅóÓѿɵ½¹Ù·½¼ì²ì¸ü¶àϸ½Ú¡«
ÂÛÎÄÁ´½Ó£ºhttps://arxiv.org/abs/2505.10475´úÂëµØµã£ºhttps://github.com/QwenLM/ParScale²Î¿¼Á´½Ó£ºhttps://x.com/iScienceLuvr/status/1923262107845525660
¡ª Íê ¡ª
Ïà¹ØÍÆ¼ö£ºjmcomic2最新安装包 瑞典女人私密紧致 小舞解开内裤给戴沐白开了
日韩18禁啪啪喷水久久
91少萝大🐻被c
女用吸乳情趣
笕堇本不能说秘密漫画免费观看
91女神高潮喷水在线观看
扒开狂揉难受捆绑日本
男生把困困放到女生困困里的视频
少萝被❌脱脱内内做运动天涯
美女扒开腿㊙️让男人看
小智❌沙奈朵18禁污污
克洛琳德图片
成品人精品人的区别在哪里
蠢沫沫全册资源在线观看
🔞捆绑无遮挡打光屁股游戏
浓毛茸茸BwBw妇女
原神纳西妲裸体❌开腿黄漫
麻花传剧原创mv免费视频
香蕉🍌🍌🍑🍑入口
二次元美女㊙️无遮挡胸视频
双男主mv大片
龙珠疯狂揉❌难受3d动漫
脑叶公司h文
大尺度做爰呻吟舌吻情头
美女隐私㊙️让男人吻动漫
女小12萝裸体洗澡
亚洲㊙️麻豆精品洗头舒服
女下部扒开㊙️高清视频
日本大乳巨胸做爰XXXⅩ麻豆
国产老熟妇乱XXXXX小仙踪林
伦理片6808
女性脱👙给我揉🐻天使
希格雯疯狂❌自慰爽网站
美女被羞羞的网站直播大全
国产91❤️白丝美女
邵宇宝藏库
成人🔞美女裸体
furry成人🔞漫画e站转
斗罗大陆❌18禁漫画同人
按摩在线观看
污污的部位二次元
关晓彤双腿被出白浆
老八日陈红和陈淑蓉的更新时间
三月七被❌同人本子
动漫美女3D被爆❌漫画视频
陈乔恩裸体大乳照
被❌到爽🔞流网站第五人格
ⅩXXX泡妞🍆🍑25
黑色四叶草诺艾尔露腋窝
佐鸣浴室吸乳失禁漫画
十八岁禁美女老师自慰啪啪被男人操的网站小说
动漫 魅魔 得到 巨乳 吸
步非烟音频在哪里听
体育生Gay初精❌❌男男软件
Wifeloves媚黑华裔
芋芋·cc
我14女胸很大被男生摸了
巨乳大洋女体内射精片
中也被太宰弄到高潮
八重神子爆乳潮喷下载
李毅吧27报336期
12被❌18禁动漫在线看
扒丝袜pisiwa在线影院
国产清纯学生做呻吟在线
被学长摸湿奶好爽高H视频
美女隐私秘㊙️18禁视频网站
大雄❌静香18禁羞羞漫画
瓦罗兰特同人h黄污本子
美女跪床❌❌被🌿国产
女仆裸体㊙️无遮挡屁股漫画
被六个教练玩弄Gay好爽视频
51在线无码精品㊙️文学
被爆❌AV羞羞视频
学生➕光屁屁➕
吃奶呻吟打开双腿做受是哪个网站
男军警裸体互吞精Gay室友小说
91精品国产亚洲Av高清蜜臂
无码人妻精品一区二区三区99性
女人下部㊙️免费高清视频
宋雨琦吸乳自慰
搓澡全过程无码视频在线观看
王牌竞速西理被爆炒
ÍøÓÑÆÀÂÛ ¼ì²ìËùÓÐÆÀÂÛ>>