2025-05-08 00:19:12 7,441´Îä¯ÀÀ

ÐÂÖÇÔª±¨µÀ

±à¼­£ºÏ¬Å£

¡¾ÐÂÖÇÔªµ¼¶Á¡¿À´×ÔӢΰ´ïºÍUIUCµÄ»ªÈËÍŶÓÌá³öÒ»ÖÖ¸ßЧѵÁ·ÒªÁì £¬½«LLMÉÏÏÂÎij¤¶È´Ó128KÀ©Õ¹ÖÁ¾ªÈ˵Ä400Íòtoken SOTA¼Í¼£¡»ùÓÚLlama3.1-Instruct´òÔìµÄUltraLong-8BÄ£×Ó £¬²»µ«ÔÚ³¤ÉÏÏÂÎÄ»ù×¼²âÊÔÖÐÌåÏÖ׿Խ £¬»¹ÔÚ±ê׼ʹÃüÖмá³Ö¶¥¼â¾ºÕùÁ¦¡£

´óÓïÑÔÄ£×Ó£¨LLM£©ÔÚÎı¾ºÍ¶àģ̬ʹÃüÉÏÒѾ­Õ¹ÏÖ³ö¾ªÑÞµÄÌåÏÖ¡£

ÏñÊÇ×îеÄGemini 2.5 ProÔÚÎı¾¼°´úÂëÉϵĶ¥¼âÐÔÄÜ £¬ÒÔ¼°GPT-4oµÄÔ­ÉúÉúͼÄÜÁ¦¶¼ºÜºÃµÄ֤ʵÎúÕâµã¡£

È»¶ø £¬Ðí¶àÏÖʵӦÓó¡¾° £¬ºÃ±È³¤ÎĵµºÍÊÓÆµÃ÷È·¡¢ÉÏÏÂÎÄѧϰÒÔ¼°ÍÆÀíʱÀ©Õ¹ £¬¶¼ÐèҪģ×ÓÄܹ»´¦Öóͷ£³¬³¤µÄtokenÐòÁС£

ÔÚÕâЩ³¡¾°ÖÐ £¬Ä£×ÓµÄÉÏÏÂÎÄ´°¿ÚÊÜÏÞÍùÍù³ÉΪһ´óÆ¿¾± £¬ÓÉÓÚÂþÑÜÔÚ³¤ÎĵµÖеÄÒªº¦ÐÅÏ¢¿ÉÄܻᱻºöÂÔ¡£

ΪÏàʶ¾öÕâЩÎÊÌâ £¬À´×ÔӢΰ´ïºÍUIUCµÄÑо¿ÕßÌá³öÁËÒ»ÖÖ¸ßЧµÄѵÁ·ÒªÁì¡£

ÕâÖÖÒªÁì¿ÉÒÔ´ÓÏÖÓеÄÖ¸Áî΢µ÷Ä£×Ó³ö·¢ £¬¹¹½¨³¬³¤ÉÏÏÂÎĵÄLLM £¬×î¸ß¿É½«ÉÏÏÂÎij¤¶ÈÍÆÏò400ÍòtokenµÄ¼«ÏÞ£¡

ÂÛÎĵص㣺https://arxiv.org/pdf/2504.06214

Ñо¿Ö°Ô±Ê¹ÓÃÉÏÃæÒªÁìѵÁ·µÄUltraLong-8BÄ£×ÓÔÚ³¤ÉÏÏÂÎÄʹÃüÉϵִïÁ˶¥¼âˮƽ £¬Í¬Ê±ÔÚ±ê׼ʹÃüÉÏÒ²¼á³ÖÁ˾ºÕùÁ¦¡£

Ö÷ҪТ˳£º

¸ßЧÇÒ¿ÉÀ©Õ¹µÄѵÁ·ÒªÁì¡£

Òªº¦ÊÖÒÕÁ¢Ò죺Ñо¿ÕßÒýÈëÁËÌØÊâÎĵµÍÑÀë·ûºÍ»ùÓÚYaRNµÄλÖñàÂëÀ©Õ¹ÊÖÒÕ £¬Í¨¹ýÏûÈÚʵÑé֤ʵÕâЩÊÖÒÕ¶Ô³¤ÉÏÏÂÎĽ¨Ä£ÖÁ¹ØÖ÷Òª¡£

¸ßЧµÄµ¥²½Ô¤ÑµÁ·Õ½ÂÔ£ºÑо¿Õß·¢Ã÷ £¬Ïà±È¶à²½À©Õ¹ÒªÁì £¬µ¥²½Ò»Á¬Ô¤ÑµÁ·ÔÚÉÏÏÂÎÄÀ©Õ¹Éϸü¸ßЧ £¬ÔںϳɺÍÕæÊµÌìϳ¤ÉÏÏÂÎÄ»ù×¼²âÊÔÖÐʼÖÕÌåÏÖ¾«²Ê¡£

ÖÜÈ«µÄʵÑéÑéÖ¤£ºÑо¿ÕßÔÚ¶à¸ö»ù×¼²âÊÔÉϾÙÐÐÁËÆÕ±éʵÑé £¬°üÀ¨RULER¡¢LV-Eval¡¢InfiniteBench¡¢MMLU¡¢MMLU-Pro¡¢MATH¡¢GSM-8KºÍHumanEval £¬Ö¤ÊµUltraLong-8BÄ£×ÓÔÚ³¤ÉÏÏÂÎĺͱê׼ʹÃüÉϾùÓÅÓÚÏÖÓлùÏß¡£

ʵÑéÒªÁì

Èçͼ1Ëùʾ £¬±¾ÎÄÒªÁìÖ÷Òª·ÖΪÁ½¸ö½×¶Î£ºÒ»Á¬Ô¤ÑµÁ·ºÍÖ¸Áî΢µ÷¡£

ÒÔLlama 3.1-8B-InstructΪ»ù´¡ £¬Ò»Á¬Ô¤ÑµÁ·½×¶Î½«Ä£×ÓµÄÉÏÏÂÎÄ´°¿ÚÖð²½À©Õ¹µ½Ä¿µÄ³¤¶È£¨ºÃ±È100Íò¡¢200Íò¡¢400Íòtoken£©¡£Ëæºó £¬Ö¸Áî΢µ÷½×¶ÎÓÅ»¯Ä£×ÓµÄÖ¸Áî×ñÕÕÄÜÁ¦ºÍÍÆÀíÄÜÁ¦¡£

ÕâÁ½¸ö½×¶ÎÁ¬Ïµ £¬ÈÃÄ£×Ó¼ÈÄܸßЧ´¦Öóͷ£³¬³¤ÊäÈë £¬ÓÖÄÜÔÚÊÇ·ÇÉÏÏÂÎÄʹÃüÖÐÌåÏÖ¾«²Ê¡£

µÚÒ»½×¶Îͨ¹ýÒ»Á¬Ô¤ÑµÁ·À©Õ¹Ä£×ÓµÄÉÏÏÂÎÄ´°¿Ú £¬½ÓÄÉÌØÊâÎĵµÍÑÀë·ûºÍ»ùÓÚYaRNµÄËõËÉÊÖÒÕÀ´´¦Öóͷ£³¬³¤ÐòÁС£µÚ¶þ½×¶ÎʹÓÃÈ«ÐÄÌôÑ¡µÄÊý¾Ý¼¯¾ÙÐÐÖ¸Áî΢µ÷ £¬ÌáÉýÄ£×ÓµÄÖ¸Áî×ñÕÕºÍÍÆÀíÄÜÁ¦

Ò»Á¬Ô¤ÑµÁ·£ºÀ©Õ¹ÉÏÏÂÎij¤¶È

ÔÚµÚÒ»½×¶Î £¬Ñо¿Õßͨ¹ýÒ»Á¬Ô¤ÑµÁ·½«Llama-3.1-8B-InstructµÄÉÏÏÂÎÄ´°¿ÚÀ©Õ¹µ½Ä¿µÄ³¤¶È¡£

Ñо¿Õß¶ÔÉÙÓÚ4000 tokenµÄËæ±Êµµ¾ÙÐÐϲÉÑù £¬¶ÔÁè¼Ý8000 tokenµÄ³¤Îĵµ¾ÙÐÐÉϲÉÑù £¬×îÖÕÐγÉÒ»¸ö°üÀ¨10ÒÚtokenµÄÓïÁϿ⡣

ÕâЩÎĵµ±»Æ´½Ó³É¶ÔӦĿµÄÉÏÏÂÎij¤¶ÈµÄ¸ü³¤ÐòÁУ¨ºÃ±È100Íò¡¢200Íò¡¢400Íòtoken£©¡£Æ´½Óʱ £¬ËûÃÇʹÓÃÌØÊâ×Ö·ûÍÑÀë²î±ðÎĵµ £¬¶ø²»ÊÇÓñ£´æµÄ×îÏȺͿ¢Ê±ê¼Ç¡£

±ðµÄ £¬ÔÚÒ»Á¬Ô¤ÑµÁ·ÖÐ £¬Ñо¿Ö°Ô±Ã»ÓÐʹÓÿçÎĵµ×¢ÖØÁ¦ÑÚÂë £¬´Ó¶øÔÊÐíÄ£×Ó¹Ø×¢Õû¸öÊäÈëÐòÁС£

ΪÁËÖ§³Ö³¬³¤ÉÏÏÂÎÄ £¬Ñо¿Ö°Ô±½ÓÄÉÁË»ùÓÚYaRNµÄËõ·ÅÒªÁì £¬¶ø²»ÊÇ֮ǰÊÂÇéÖг£ÓõÄNTK¸ÐÖªËõ·ÅÕ½ÂÔ¡£ËûÃÇÀο¿³¬²ÎÊý¦Á=1ºÍ¦Â=4 £¬²¢Æ¾Ö¤Ä¿µÄÉÏÏÂÎij¤¶ÈÅÌËãËõ·ÅÒò×Ós¡£

µ±ÊäÈ볤¶È¿¿½ü×î´óÏÞÖÆÊ± £¬Llama-3.1Ä£×ÓµÄÐÔÄÜ»áϽµ¡£Îª½â¾öÕâ¸öÎÊÌâ £¬ËûÃÇΪRoPEǶÈë½ÓÄÉÁׯü´óµÄËõ·ÅÒò×Ó £¬´Ó¶ø¸üºÃµØË³Ó¦³¬³¤ÐòÁС£

Ñо¿ÕßÕë¶ÔÈýÖÖÉÏÏÂÎij¤¶È£¨100Íò¡¢200ÍòºÍ400Íòtoken£©¹¹½¨Á˳¤ÉÏÏÂÎÄÄ£×Ó £¬²¢½«RoPEËõ·ÅÒò×Ó»®·ÖÉèÖÃΪ128¡¢256ºÍ512¡£

ÿ¸öÄ£×ÓÔÚ10ÒÚtokenµÄÓïÁÏÉÏѵÁ·Ò»¸öepoch £¬Ñ§Ï°ÂÊΪ3¡Á10??¡£

ΪÁËÌáÉýѵÁ·µÄ¿ÉÀ©Õ¹ÐÔ £¬ËûÃÇʹÓÃÁËMegatron-LM¿ò¼Ü¡£ÎªÁË´¦Öóͷ£³¬³¤ÊäÈëÐòÁÐ £¬½ÓÄÉÁËÕÅÁ¿²¢ÐкÍÉÏÏÂÎIJ¢ÐС£

ѵÁ·ÔÚ256¸öNVIDIA H100 GPUÉϾÙÐÐ £¬1M¡¢2MºÍ4MÄ£×ÓµÄѵÁ·Ê±¼ä»®·ÖԼΪ5Сʱ¡¢6СʱºÍ13Сʱ¡£

Ö¸Áî΢µ÷

ÔÚµÚ¶þ½×¶Î £¬Ñо¿Õßͨ¹ý¼àÊÓ΢µ÷£¨SFT£©ÌáÉý³¤ÉÏÏÂÎÄÄ£×ÓµÄÖ¸Áî×ñÕÕºÍÍÆÀíÄÜÁ¦ £¬Ê¹ÓõÄÊÇһЩȫÐÄÌôÑ¡µÄÊý¾Ý¼¯¡£

ËûÃÇÕûºÏ²¢ÓÅ»¯Á˶à¸ö¿ªÔ´SFTÊý¾Ý¼¯ £¬ÁýÕÖÈý¸öÒªº¦ÁìÓò£ºÍ¨ÓÃÁìÓò¡¢ÊýѧºÍ´úÂë¡£

ΪÁ˽øÒ»²½ÌáÉýSFTÊý¾Ý¼¯µÄÖÊÁ¿ £¬ËûÃÇʹÓÃGPT-4oºÍ4o-miniÓÅ»¯ÁËÕâЩÊý¾Ý¼¯µÄ»Ø¸²ÄÚÈÝ¡£

ÖµµÃ×¢ÖØµÄÊÇ £¬Ñо¿ÕßµÄSFTÊý¾Ý¼¯½ö°üÀ¨ÉÏÊö¶ÌÉÏÏÂÎÄÊý¾Ý£¨ÉÙÓÚ8000 tokenµÄÑù±¾£© £¬Ã»ÓмÓÈëºÏÉú³¤ÉÏÏÂÎÄÖ¸ÁîÊý¾Ý¡£

ËûÃÇ·¢Ã÷ £¬½öÒÀÀµ¶ÌÉÏÏÂÎÄÊý¾Ý¾Í×ãÒÔÈ¡µÃÓÅÒìЧ¹û £¬ÕâÓë֮ǰÑо¿µÄÊÓ²ìÒ»Ö¡£

×îÖÕ £¬Ñо¿Õß¹¹½¨ÁËÒ»¸ö°üÀ¨10Íò¸öÑù±¾µÄSFTÊý¾Ý¼¯¡£¹ØÓÚÿÖÖÄ¿µÄÉÏÏÂÎij¤¶ÈµÄÄ£×Ó £¬ËûÃÇʹÓÃ128µÄÅú¾ÞϸºÍ5¡Á10??µÄѧϰÂÊ¡£

ѵÁ·ÒÀÈ»»ùÓÚMegatron-LM ¿ò¼Ü £¬ÔÚ256¸öNVIDIA H100 GPUÉϾÙÐÐ £¬ÕÅÁ¿²¢ÐжÈÉèΪtp=8¡£Ã¿´ÎѵÁ·Ô¼ÄªÐèÒª 30 ·ÖÖÓ¡£

»ùÏßÄ£×ÓÓëÆÀ¹À»ù×¼

Ñо¿Õß½«ËûÃǵÄÄ£×ÓÓë»ùÓÚLlama¼Ò×åµÄ×îÏȽø£¨SOTA£©³¤ÉÏÏÂÎÄÄ£×Ó¾ÙÐбÈÕÕ £¬ÒÔÈ·±£¶ÔѵÁ·ÒªÁ칫ÕýÇÒ¿É¿ØµÄÆÀ¹À¡£

Llama-3.1 (Llama-3.1-8B-Instruct)£ºÕâÊÇËûÃǵĻù´¡Ä£×Ó £¬Ö§³Ö128KµÄÉÏÏÂÎÄ´°¿Ú¡£

ProLong (Llama-3-8B-ProLong-512k-Instruct)£º»ùÓÚLlama-3¹¹½¨µÄ³¤ÉÏÏÂÎÄÄ£×Ó £¬ÓµÓÐ512KµÄÉÏÏÂÎÄ´°¿Ú¡£

Gradient (Llama-3-8B-Instruct-Gradient-1048k)£ºÁíÒ»¸ö»ùÓÚLlamaµÄ³¤ÉÏÏÂÎÄÄ£×Ó £¬Ö§³Ö¸ß´ï1MµÄÉÏÏÂÎÄ´°¿Ú¡£

±¾ÎÄÑо¿ÕßרעÓÚLlama¼Ò×åµÄÄ£×Ó £¬ÕâÑù¿ÉÒÔ¸üÇåÎúµØÕ¹Ê¾ËûÃÇÀ©Õ¹ÉÏÏÂÎij¤¶ÈѵÁ·ÒªÁìµÄÓÐÓÃÐÔ £¬Í¬Ê±È·±£ÔÚ±ê׼ʹÃüÉϵÄÐÔÄÜÒÀÈ»¾ßÓоºÕùÁ¦¡£

ËûÃÇͨ¹ýÒÔÏ»ù×¼²âÊÔÀ´ÆÀ¹ÀÄ£×ӵij¤ÉÏÏÂÎÄÄÜÁ¦£º

RULER£ºÕâÊÇÒ»¸öרÃÅÆÀ¹À³¤ÉÏÏÂÎÄÓïÑÔÄ£×ӵĻù×¼ £¬Í¨¹ýÌìÉú²î±ðÐòÁг¤¶ÈµÄºÏ³ÉÑù±¾ £¬ÁýÕÖËĸöʹÃüÖÖ±ð¡£

LV-Eval£ºÕâÊÇÒ»¸ö³¤ÉÏÏÂÎÄ»ù×¼ £¬°üÀ¨×î¸ß256K tokenµÄÎå¸ö³¤¶È¼¶±ð £¬Öصã²âÊÔÁ½ÖÖʹÃü£ºµ¥ÌøÎÊ´ð£¨single-hop QA£©ºÍ¶àÌøÎÊ´ð£¨multi-hop QA£©¡£

InfiniteBench£ºÕâÊÇÒ»¸ö³¤ÉÏÏÂÎÄ»ù×¼ £¬Æ½¾ùÊäÈ볤¶ÈÔ¼200K token £¬×î´ó³¤¶ÈÁè¼Ý2M token £¬°üÀ¨ºÏ³ÉʹÃüºÍÏÖʵÌìÏÂʹÃü¡£

ʵÑéЧ¹û

Ñо¿Ö°Ô±Ê×ÏÈ´Ó¡¸´óº£ÀÌÕ롹£¨Needle in a Haystack £¬NIAH£©ÕâÒ»²âÊÔ×îÏÈ £¬È»ºóÔÙ̽ÌÖ³¤ÉÏÏÂÎĺͱê×¼»ù×¼µÄÆÀ¹À¡£

Ñо¿Ö°Ô±Í¨¹ýNIAHÃÜÂë¼ìË÷²âÊÔ £¬ÆÀ¹ÀÄ£×ÓÔÚ³¤ÉÏÏÂÎļìË÷·½ÃæµÄÄÜÁ¦¡£ÔÚÕâ¸öʹÃüÖÐ £¬Ä£×ÓÐèÒªÔÚÒ»´ó¶ÎºÁÎÞÒâÒåµÄÎı¾ÖÐ £¬ÕÒµ½Ò»¸ö¼òÆÓÃÜÂë £¬ºÃ±ÈÒ»¸öËæ»úµÄÁùλÊý×Ö¡£

ΪÁËÁ¿»¯¼ìË÷µÄ׼ȷÐÔ £¬ËûÃDzâÊÔÁË40ÖÖ²î±ðµÄÊäÈëÐòÁ㤶È¡£¹ØÓÚÿÖÖ³¤¶È £¬ÃÜÂë»á±»Ëæ»ú²åÈëµ½10¸öÔȳÆÂþÑܵÄÎĵµÉî¶ÈÖС£

Ч¹ûÈçͼ2Ëùʾ¡£¹ØÓÚ±¾ÎĵÄÄ£×Ó £¬²âÊÔÁ˸ߴï100Íò¡¢200ÍòºÍ400Íò¸ötokenµÄÊäÈ볤¶È £»¶ø¹ØÓÚ»ù׼ģ×Ó £¬Ö»²âÊÔÁË×î¸ß100Íò¸ötoken¡£

Èçͼ2aµ½2cËùʾ £¬ÔÚ»ù׼ģ×ÓÖÐ £¬Ö»ÓÐLlama-3-8B-InstructºÍGradient-1048kͨ¹ýÁËNIAH²âÊÔ £¬¶øLlama-3.1-8B-InstructºÍLlama-3-8B-ProLong-512k-Instruct×ÝÈ»ÔÚËüÃÇÉù³ÆµÄÉÏÏÂÎij¤¶ÈÄÚÒ²·ºÆðÁ˹ýʧ¡£

Ïà±È֮Ϡ£¬Èçͼ2dµ½2fËùʾ £¬Ñо¿Õߵij¬³¤£¨UltraLong£©Ä£×ÓÔÚËùÓÐÊäÈ볤¶ÈºÍÉî¶ÈÉ϶¼µÖ´ïÁË100%µÄ׼ȷÂÊ £¬Õ¹ÏÖÁËǿʢµÄ³¤ÉÏÏÂÎļìË÷ÄÜÁ¦¡£

Ñо¿ÕßÔÚRULER¡¢LV-EvalºÍInfiniteBenchÉÏµÄÆÀ¹ÀЧ¹ûÈç±í1Ëùʾ¡£¼Ó´ÖµÄÊý×ÖÌåÏÖÐÔÄÜÁè¼ÝÁËËùÓлù׼ģ×Ó¡£

×ÜÌåÀ´Ëµ £¬ËûÃǵÄÈý¸öÄ£×ÓÔÚ´ó´ó¶¼ÇéÐÎ϶¼È¡µÃÁË×î¸ß·Ö¡£

ÔÚRULER»ù×¼²âÊÔÖÐ £¬UltraLongÄ£×ÓÔÚ512KºÍ100Íò¸ötokenµÄÊäÈ볤¶ÈÉÏÌåÏÖ×î¼Ñ¡£ÔÚLV-EvalÖÐ £¬ËûÃǵÄÄ£×ÓÔÚ128KºÍ256K token³¤¶ÈÄ򵀮½¾ùF1·ÖÊý×î¸ß¡£

±ðµÄ £¬ËûÃÇÔÚInfiniteBenchÉÏҲȡµÃÁË×î¼ÑÌåÏÖ¡£

ÕâЩЧ¹ûÅú×¢ £¬Ñо¿ÕßµÄѵÁ·ÒªÁìÓÐÓÃÀ©Õ¹ÁËÓïÑÔÄ£×ÓµÄÉÏÏÂÎÄ´°¿Úµ½³¬³¤ÊäÈë £¬Í¬Ê±¼á³ÖÁËÔ­ÓÐÊäÈ볤¶ÈµÄÐÔÄÜ¡£

Ïà±È֮Ϡ£¬»ù׼ģ×ÓÖÐ £¬Llama-3.1ÊÇΪ128KÊäÈ볤¶ÈÉè¼ÆµÄ £¬µ±ÊäÈëÁè¼Ý128K tokenʱ £¬ÐÔÄÜÏÔÖøÏ½µ¡£ProLongÊÇΪ512KÉÏÏÂÎÄÉè¼ÆµÄ £¬µ«×ÝÈ»ËüѵÁ·Á˸ü¶àtoken£¨410ÒÚ±ÈÕÕ10ÒÚ£© £¬ÔÚ512K³¤¶ÈÉϵÄÌåÏÖÒ²²»ÈçËûÃǵÄÄ£×Ó¡£

GradientÊÇ»ù׼ģ×ÓÖÐÖ§³Ö×ÉÏÏÂÎĵģ¨100Íò¸ötoken£© £¬µ«ÔÚLV-EvalºÍInfiniteBenchÉϵÄÌåÏֽϲî £¬ËµÃ÷ËüµÄÉè¼Æ¿ÉÄܹýÓÚÆ«ÏòÈ˹¤Ê¹Ãü £¬ÎþÉüÁËÏÖʵʹÃüµÄЧ¹û¡£

¶ø±¾ÎĵÄÄ£×ÓÔÚÈ˹¤£¨RULER£©ºÍ»ìÏý£¨LV-EvalºÍInfiniteBench£©»ù×¼²âÊÔÖÐʼÖÕ¼á³Ö¸ü¸ßµÄ·ÖÊý £¬Í¹ÏÔÁËÒªÁìµÄ¸ßЧÐԺͿÉÀ©Õ¹ÐÔ¡£

Ñо¿Õß»¹Í¨¹ýͨÓá¢ÊýѧºÍ´úÂëÁìÓòµÄ±ê×¼»ù×¼²âÊÔÆÀ¹ÀÁËÄ£×Ó £¬ÒÔÈ·±£À©Õ¹ÉÏÏÂÎij¤¶È²»»áÓ°Ïì¶ÌÉÏÏÂÎÄʹÃüµÄÐÔÄÜ¡£

Èç±í2Ëùʾ £¬ËûÃǵÄÄ£×ÓÐÔÄÜÓë»ù´¡Ä£×ÓLlama-3.1-8B-InstructÏ൱ÉõÖÁ¸ü¸ß £¬Æ½¾ù·ÖÊý»®·ÖΪ62.47¡¢61.06ºÍ60.95 £¬¶øLlama-3.1-8B-InstructΪ61.45¡£

ÌØÊâÖµµÃÒ»ÌáµÄÊÇ £¬ËûÃǵÄÄ£×ÓÔÚMMLUºÍMATH»ù×¼ÉÏÌåÏÖ³öÏÔ×ÅÌáÉý £¬Í¬Ê±ÔÚGSM8KºÍHumanEvalµÈÆäËû»ù×¼ÉϵÄÌåÏÖÒ²¼«¾ß¾ºÕùÁ¦¡£

Ïà±È֮Ϡ£¬»ù×¼³¤ÉÏÏÂÎÄÄ£×ÓGradientºÍProLongÔÚÕâЩ±ê׼ʹÃüÉϵÄÐÔÄÜ´ó·ùϽµ £¬Æ½¾ù·ÖÊý½öΪ37.36ºÍ40.81¡£

ÕâЩЧ¹ûÅú×¢ £¬Ñо¿ÕßµÄÒªÁì²»µ«ÓÐÓÃÀ©Õ¹ÁËÉÏÏÂÎÄ´°¿Ú £¬»¹¼á³ÖÉõÖÁÌáÉýÁËÄ£×ÓµÄͨÓÃʹÃüÄÜÁ¦¡£

¶øLlama-3-8B-Instruct-Gradient-1048kºÍLlama-3-8B-ProLong-512k-InstructµÄÏÔÖøÐÔÄÜϽµ £¬Åú×¢ËüÃǵij¬³¤ÉÏÏÂÎÄÒªÁì¿ÉÄܱ£´æ¾ÖÏÞÐÔ¡£

½áÂÛ

ÔÚÕâÏîÊÂÇéÖÐ £¬Ñо¿Ö°Ô±Ìá³öÁËÒ»ÖÖ¸ßЧÇÒϵͳ»¯µÄѵÁ·ÒªÁì £¬ÓÃÓÚ³¬³¤ÉÏÏÂÎÄÓïÑÔÄ£×Ó £¬½«ÉÏÏÂÎÄ´°¿ÚÀ©Õ¹µ½100Íò¡¢200ÍòºÍ400Íò¸ötoken £¬Í¬Ê±ÔÚ±ê×¼»ù×¼²âÊÔÖмá³ÖÁ˾ºÕùÁ¦¡£

ÕâÖÖÁ¬ÏµÁ˸ßЧµÄÒ»Á¬Ô¤ÑµÁ·ºÍÖ¸Áî΢µ÷ £¬²»µ«ÌáÉýÁËÄ£×Ó¶Ô³¤ÉÏÏÂÎĵÄÃ÷È·ÄÜÁ¦ £¬»¹ÔöÇ¿ÁËÆä×ñÕÕÖ¸ÁîµÄÄÜÁ¦¡£

ÕâÒ»¿ò¼ÜΪ¿ÉÀ©Õ¹µÄ³¤ÉÏÏÂÎĽ¨Ä£Ê÷Á¢ÁËбê¸Ë £¬Ò²ÎªÎ´À´ÔÚÏÖʵӦÓÃÖÐÌáÉý³¤ÉÏÏÂÎÄÐÔÄܵÄÑо¿ÆÌƽÁËõè¾¶¡£

×÷ÕßÏÈÈÝ

Chejian Xu

ÒÁÀûŵÒÁ´óѧ¶ò°ÍÄÉ-ÏãéÄ·ÖУ£¨UIUC£©ÅÌËã»ú¿ÆÑ§²©Ê¿Ñо¿Éú £¬µ¼Ê¦ÊÇBo Li½ÌÊÚ¡£Õã½­´óѧÅÌËã»ú¿ÆÑ§ÓëÊÖÒÕרҵѧʿѧλ £¬¾Í¶ÁÓÚCKCÉùÓþѧԺ £¬µ¼Ê¦ÊÇShouling Ji½ÌÊÚºÍSiliang Tang½ÌÊÚ¡£

רעÓÚÌáÉý»ù´¡Ä£×ÓµÄÇå¾²ÐÔ¡¢¿É¿¿ÐÔºÍÒ»ÖÂÐÔ £¬°üÀ¨LLMs¡¢¶àģ̬ģ×ÓÒÔ¼°»ùÓÚLLMµÄÖÇÄÜÌå¡£

Wei Ping

NVIDIAÓ¦ÓÃÉî¶ÈѧϰÑо¿ÍŶӵÄ×ÊÉîÑо¿¿ÆÑ§¼Ò £¬×¨×¢ÓÚ´óÐÍÓïÑÔÄ£×ÓºÍÌìÉúÄ£×ÓµÄÑо¿¡£

¼ÓÖÝ´óѧŷÎÄ·ÖÐ £»úеѧϰ²©Ê¿Ñ§Î» £¬ÈÈÖÔÓÚ¹¹½¨ÓÃÓÚÎı¾¡¢ÒôƵºÍ¶àģ̬Êý¾ÝµÄ¼â¶ËÌìÉúÄ£×Ó¡£´Ëǰ £¬Ôøµ£µ±°Ù¶È¹è¹ÈÈ˹¤ÖÇÄÜʵÑéÊÒ£¨ÓÉÎâ¶÷´ï½¨É裩µÄÎı¾µ½ÓïÒôÍŶÓÈÏÕæÈË¡£

²Î¿¼×ÊÁÏ£º

https://arxiv.org/abs/2504.06214

×ðÁúÓÎÏ·ÈËÉú¾ÍÊDz©

400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄÜ
400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄÜ

400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄÜ

¡¸Í³¼Æ¡¹w3u7903ejky2ywls

2.65MB
°æ±¾V6.3.27
ÏÂÔØ美女被❌狂揉大流水×°ÖÃÄãÏëÒªµÄÓ¦Óà ¸üÀû±ã ¸ü¿ì½Ý ·¢Ã÷¸ü¶à
ϲ»¶ 99%ºÃÆÀ(43687ÈË)
̸ÂÛ 43
400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄܽØÍ¼0 400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄܽØÍ¼1 400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄܽØÍ¼2 400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄܽØÍ¼3 400ÍòtokenÐÂSOTA£¡Ó¢Î°´ïUIUCÁªÊÖ£º¼æ¹ËÊÇ·ÇÉÏÏÂÎĶ¥¼âÐÔÄܽØÍ¼4
ÏêϸÐÅÏ¢
  • Èí¼þ¾Þϸ: 22764.35200MB
  • ×îºó¸üÐÂ: 2025-05-08 00:19:12
  • ×îа汾: V3.38090.5
  • ÎļþÃûÌÃ: apk
  • Ó¦Ó÷ÖÀà:ios-Android 极品老师开粉嫩小泬男男
  • ʹÓÃÓïÑÔ: ÖÐÎÄ
  • : ÐèÒªÁªÍø
  • ϵͳҪÇó: 6.68000ÒÔÉÏ
Ó¦ÓÃÏÈÈÝ
Ò» £¬我丰满的岳㑄愉情 £¬男同GaYGAYS自慰偷拍
¶þ £¬校花❌开腿让我爽了动漫 £¬少妇巨乳被狂❌
Èý £¬frisk扒開腿灌牛奶🥛調教 £¬刘涛做爰全过程
ËÄ £¬国产美女无套✅动漫 £¬丰满大肥奶肥婆BBBwww
Îå £¬白鹿白丝❌❌jk爆乳❌❌ £¬亚洲国产精品97久久无色无码
Áù £¬深田咏美えいみ魅魔在线观看,18➕无码➕高潮➕ £¬XXNX👙21
Æß £¬少妇小泬喷牛奶自慰喷水漫画
¡¾ÁªÏµ×ðÁúÓÎÏ·ÈËÉú¾ÍÊDz©¡¿
¿Í·þÈÈÏߣº134-2881-646
¼ÓÔØ¸ü¶à
°æ±¾¸üÐÂ
V3.6.41
灰原哀㊙️黄漫免费网站
  • 精品➕无码➕无套内谢男自慰

    朱竹清裸体㊙️无遮

    www.红桃视频.com

    63581.89MB
    107ºÃÆÀ

    hdпорно365

  • 蒂法3d成人h无码视频

    挤奶+玩弄+跪趴+调教女女

    钉崎野蔷薇裸体❌开腿图片

    46828.64MB
    207855ºÃÆÀ

    伍六七之乱婬h侵犯在线观看

  • 男子❌女子

    欧美性猛交❌XX❌自慰中国

    钟离夹道具羞耻play❌哭

    13.54MB
    312ºÃÆÀ

    裸体 惩罚 拍击 打屁股网站

  • 美女裸体全身㊙️无遮挡网站

    国产婬妇❌❌❌❌精品王

    少萝吃大狙头像

    53.11MB
    273ºÃÆÀ

    all悟空被C到尿失禁

  • 成人无码免费一区二区中文

    免费网站在线观看人数第一集

    18禁裸体爆乳羞羞❌病娇美女

    71.50MB
    709ºÃÆÀ

    扌喿辶畐的背景故事

  • 林秀芳火车卧铺

    美女㊙️免费裸体舞视频

    强H大巴车强thepro

    83.14MB
    337ºÃÆÀ

    美女的部秘免费网站

  • 男c女🔞黄㊙️❌打睾丸

    Давайдружить?翻译

    李知恩色情A片大全

    23.64MB
    108ºÃÆÀ

    好大好爽我要喷水了(h)

  • 乌克兰性ⅩXXX性无码

    成人的网战亚洲无🈚喷水

    Ai白鹿被❌到喷水18禁

    50.34MB
    928ºÃÆÀ

    麻豆aV国产一区二区三区

  • 赵丽颖张开腿让我❌了一夜

    重云被❌到爽🔞高潮痉挛

    原神㊙️黄动漫免费网站

    83.15MB
    561ºÃÆÀ

    爱威奶在线观看

  • 里番ACG⭐️本子h无尽

    丰满人妻熟妇乱又伦精品凤鸣阁

    雏田爆乳被秘软件3D

    83.20MB
    756ºÃÆÀ

    少妇双腿乳液自慰羞羞黄漫免费

  • 亚洲 日韩 中文字幕 无码

    裸体初音未来被❌H漫画

    中国❌❌❌69妇女HD

    91.14MB
    8828ºÃÆÀ

    白丝袜❌美女扒开让男人在线播放

  • 鲁大师在线观看日本电影

    老外添女人囗交做爰视频

    疯狂❌喷水自慰爽18禁网站

    89.40MB
    335ºÃÆÀ

    失禁+抹春药+哭喊+刺激忘羡

  • 小色猫社区

    ❤网曝吃瓜泄密黑料

    俄罗斯美女做爰XXXⅩ视频

    65.90MB
    749ºÃÆÀ

    张柏芝性做爰A片免费看

  • 羲母动漫第一集

    ❤国产精品嫩草影院❤春菇

    嗯~进去~好大~好满视频

    54.15MB
    754ºÃÆÀ

    爽⋯好大⋯快⋯奶水声音91

  • 做爱视频免费不失效

    飞霄将军被绑到床上视频

    少妇洗澡被进3次

    57.31MB
    685ºÃÆÀ

    成人做爰黄✌视频老女人

  • 嗯∽啊~轻点禁视频漫画

    男人㊙️桶进美女尿囗大胸照片

    打美女光屁股㊙️91网站

    24.49MB
    357ºÃÆÀ

    房东含着我的奶边摸边做

  • 胡秀英大肚子和小雷怀孕

    美女㊙️免费裸体网站

    你的欲梦被❌c🐻扒衣服

    13.73MB
    316ºÃÆÀ

    furry狼人Gay榨精网站

  • 女初高中打屁股鞭刑❤网站╳

    岳好舒服快的有声

    黄品匯永久网址

    84.72MB
    216ºÃÆÀ

    娇妻在客厅被黑人玩的呻吟

  • 男🍌女🐻❌❌❌❌❌爆桨

    肏屄视频

    TK女高中脚心丨VK

    45.59MB
    735ºÃÆÀ

    碧蓝档案涩涩游戏❤网站

  • 喜欢爷俩一起弄我小说

    com网站域名注册

    中国美女无遮挡㊙️视频

    10.10MB
    182ºÃÆÀ

    揉啊嗯~出水了

  • 强制,榨精,虐阳,高潮,龟责

    巨茎老汉扛起人妻怀孕

    纳西妲疯狂❌自慰

    44.78MB
    366ºÃÆÀ

    外婆柳香凝五十二岁是哪一集

  • 扶她部ova无删减版樱花动漫观看

    黄金仓库huck9视频

    女仆❌开腿露出隐私

    91.95MB
    206ºÃÆÀ

    男人的j进女人的p视频网站

  • 野原琳被扒开腿坐做❌同人

    少妇岳肥泬喷白浆

    蔚蓝档案裸体❌开腿❌狂喷漫画

    30.84MB
    909ºÃÆÀ

    强开乳罩摸双乳吃奶羞羞漫画

  • yy8y熊猫(5)

    美女赤裸身体秘奶头蜘蛛精网站

    美女🔞🔞涩涩9l涩漫

    30.68MB
    543ºÃÆÀ

    人妖mastasia变性人

  • 男生互摸jiji㊙️无短裤网站

    被禁止的18款软件

    偷窥小便しょうべん

    29.93MB
    123ºÃÆÀ

    免费观看男同GV入口网站

  • 91成人🔞在线观看动漫

    18🈲视频❌❌❌在线观看娇喘

    怀孕能化妆吗

    70.33MB
    457ºÃÆÀ

    9.1人网站🔞

  • 日❌❌老师❌❌奶头老师对准肉茎坐下裙子遮住 title="女机器人裸体㊙️视频免费看" class="0v5366j9r7414 app-list-img" src="https://t11.www.mksxm.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    芙宁娜cos爆乳❌自慰

    无尽❌裸体❌女同❌2D

  • 瑟瑟小黄片男同莫妮卡车内做爰未删减 title="大战尼姑在线观看免费播放" class="0v5366j9r7414 app-list-img" src="https://t10.www.mksxm.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    亚洲十次啦‘

    偷窥大众女洗澡79酮体

  • 护士脱了精光让人摸㊙️喂奶高清码🔞❌♋裸身网站自慰 title="蜜桃隐私㊙️视频软件" class="0v5366j9r7414 app-list-img" src="https://t12.www.mksxm.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    成人无码www免费视频嘿嘿软件

    同性男被❌吸乳

赵今麦裸体被c到高潮 ÀàËÆÈí¼þ

²ÂÄãϲ»¶

°üÀ¨ ¶öÁËô µÄÓ¦Óü¯
°üÀ¨ ¶öÁËô µÄÓ¦Óü¯
̸ÂÛ
  • 国产㊙️密福利网站导航 2Ììǰ
    蓝莓黄网站免费蓝莓下载
  • 91男打男脱裤子打屁股 1Ììǰ
    国产91无码精品㊙️入口
  • 狐娘的色情旅馆 9Ììǰ
    艾莉被❌❌在线观看
  • 男模互摸jiji㊙️网站 1Ììǰ
    动漫扒开美女狂揉真人
  • 肌肉男自慰Gay裸j 4Ììǰ
    akt.vicineko.cim星穹铁道镜流
  • 调教15小男生榨精Gay脱裤子 5Ììǰ
    撕开她的内裤慢慢摸她的胸
  • 女人摸亲嘴的视频 7Ììǰ
    打美女光屁股翘臀打到红
  • 蠢沫沫全册资源在线观看 9Ììǰ
    痛痛痛痛痛痛疼疼色板推特
  • 九幺黄9·1🐔巴大 5Ììǰ
    妺妺的荫蒂让我添高潮了视频
  • 芙宁娜被❌🐻黄漫 7Ììǰ
    香蕉文化漫画❌黄漫