7dbe
2025/05/03 01:16:40 0,567´Îä¯ÀÀ

ÐÂÖÇÔª±¨µÀ

±à¼­£ºÏ¬Å£ ºÃÀ§

¡¾ÐÂÖÇÔªµ¼¶Á¡¿LLMµÄ¹æÄ£±¬Õ¨Ê½ÔöÌí£¬¹Å°åÁ¿»¯ÊÖÒÕËäÄÜѹËõÄ£×Ó£¬È´ÒÔÎþÉü¾«¶ÈΪ¼ÛÇ®¡£À³Ë¹´óѧÍŶӵÄ×îÐÂÑо¿DFloat11Í»ÆÆÕâÒ»½©¾Ö£ºËü½«Ä£×ÓѹËõ30%ÇÒÊä³öÓëԭʼģ×ÓÖðλһÖ£¡¸ü¾ªÑÞµÄÊÇ£¬Í¨¹ýÕë¶ÔGPUµÄ¶¨ÖÆ»¯½âѹËõÄںˣ¬DFloat11ʹÍÆÀíÍÌÍÂÁ¿ÌáÉý×î¸ß38.8±¶¡£

ÈËÈ˶¼ÏëÓÐÒ»¸ö×Ô¼ºµÄDeepSeek£¬µ«²¢²»ÊÇÈËÈ˶¼ÓС¸Ò»´ò¡¹96GBÏÔ´æµÄH20¡£

ËäÈ»Á¿»¯¿ÉÒÔ¼«´óµØ½µµÍÄ£×Ó¹ØÓÚÏÔ´æµÄÐèÇ󣬵«ËüʵÖÊÉÏÊÇÒ»ÖÖÓÐËðѹËõÊÖÒÕ¡£

»»¾ä»°Ëµ¾ÍÊÇ£¬Á¿»¯Ä£×ÓµÄÊä³öÂþÑܲ»¿É×èÖ¹µØ»áÊܵ½Ó°Ï죬½ø¶ø½µµÍLLMµÄ׼ȷÐԺͿɿ¿ÐÔ¡£

Ϊ´Ë£¬À´×ÔÀ³Ë¹´óѧµÈ»ú¹¹µÄÑо¿Ö°Ô±Ìá³öÁËÒ»ÖÖȫеÄÎÞËðѹËõ¿ò¼Ü¡ª¡ª¶¯Ì¬³¤¶È¸¡µãÊý£¨DFloat11£©£¬ËüÄܹ»½«LLMµÄ¾ÞϸïÔÌ­30%£¬Í¬Ê±È·±£Êä³öЧ¹ûÓëԭʼģ×ÓÖðλÏàͬ¡£

ÂÛÎĵص㣺https://arxiv.org/abs/2504.11651

ΪÁËÖ§³ÖʹÓö¯Ì¬³¤¶È±àÂë¾ÙÐиßЧÍÆÀí£¬ÍŶÓרÃÅ¿ª·¢ÁËÒ»¸ö¶¨ÖƵÄGPUÄںˣ¬ÓÃÓÚʵÏÖ¿ìËÙµÄÔÚÏß½âѹËõ£º

1. ½«ÄÚ´æ÷缯Ð͵IJéÕÒ±í (LUT) ÆÊÎöΪ¸ü½ô´ÕµÄLUT£¬Ê¹ÆäÄܹ»ÍêÈ«·ÅÈëGPUµÄSRAMÖУ»

2. Ò»¸öË«½×¶ÎÄںˣ¬Ê¹ÓÃÇáÁ¿¼¶µÄ¸¨Öú±äÁ¿À´Ð­µ÷Ï̵߳ĶÁдλÖã»

3. Transformer Block¼¶µÄ½âѹËõ£¬´Ó¶ø×î´óÏ޶ȵؽµµÍÑÓ³Ù¡£

ÔÚLlama-3.1¡¢Qwen-2.5¡¢Gemma-3µÈSOTAÄ£×ÓÉϵÄʵÑéÅú×¢£¬ DFloat11³ýÁËÄÜÓÐÓÃѹËõÄ£×ӵľÞϸ֮Í⣬ͬʱ»¹Äܼá³ÖÍêÈ«Ò»ÖµÄÊä³öЧ¹û¡£

Ó뽫ģ×ӵIJ¿·ÖÊý¾ÝжÔص½CPUµÄ¼Æ»®Ïà±È£¬DFloat11ÔÚTokenÌìÉúʹÃüÖÐʵÏÖÁË1.9µ½38.8±¶µÄÍÌÍÂÁ¿ÌáÉý¡£

ÔÚGPUÏÔ´æÀο¿µÄÇéÐÎÏ£¬DFloat11Äܹ»Ö§³Ö±ÈδѹËõÄ£×Ó³¤5.3µ½13.17±¶µÄÉÏÏÂÎij¤¶È¡£

ÌØÊâÖµµÃÒ»ÌáµÄÊÇ£¬DFloat11ÀֳɵØʵÏÖÁËLlama-3.1-405B£¨810GB£©ÔÚµ¥½ÚµãÉÏ£¨8¿é80GB GPU£©µÄÎÞËðÍÆÀí¡£

Llama-3.1-405BÓµÓÐ4050ÒÚ²ÎÊý£¬½ÓÄÉ16λBrain Float£¨BFloat16£©ÃûÌã¬ÐèÒªÔ¼810GBÄÚ´æ²Å»ªÊµÏÖÍêÕûÍÆÀí£¬Áè¼ÝÁ˵䷶GPUЧÀÍÆ÷µÄÈÝÁ¿£¨ÈçÅ䱸8¡Á80GB GPUµÄDGX A100/H100£©¡£

±¾ÎÄÒ»×÷Tianyi Zhang£¬ÊÇÀ³Ë¹´óѧÅÌËã»ú¿ÆѧרҵµÄ²©Ê¿Éú£¬Ö®Ç°ÔÚ»¬Ìú¬´óѧ»ñµÃÅÌËã»ú¿Æѧѧʿѧλ¡£

ΪʲôҪ¶ÔLLM¾ÙÐÐÎÞËðѹËõ£¿

ÔÚÏÖÔÚµÄÓÐËðÁ¿»¯ÊÖÒÕÖУ¬Ä£×Óͨ³£±»Ñ¹Ëõµ½¸üµÍµÄλ¿í¶È£¨Èç8λ»ò4룩¡£

ËäÈ»²¿·Ö»ù×¼²âÊÔÅú×¢£¬8λÁ¿»¯ÊÇÒ»ÖÖÏà¶Ô¡¸Çå¾²¡¹µÄѹËõ¼Æ»®£¬µ«ÔÚÏÖʵÌåÑéʱÖÕ¾¿²»ÈçÎÞËðµÄÄ£×Ó¡£

ÀýÈ磬LLM ArenaÉϵÄÈ˹¤ÆÀ¹ÀÏÔʾ£¬Llama-3.1-405B-Instruct¼°Æä8λ°æ±¾£¨Llama-3.1-405B-Instruct-FP8£©Ö®¼äµÄÐÔÄܱ£´æÏÔÖøϽµ£¬ÓÈÆäÊÇÔÚ±àÂëºÍ³¤ÅÌÎÊʹÃüÖС£

ÀàËƵÄ£¬½«DeepSeek-R1-Distill-Llama-70B´Ó16λÁ¿»¯µ½8λ»áµ¼ÖÂGPQAÉϵÄÐÔÄÜϽµ23.7%£¨´Ó9.51%½µÖÁ7.25%£©¡£

±ðµÄ£¬ÍÆÀí×÷ΪÏÖ´úLLMµÄ½¹µãÄÜÁ¦£¬Ëƺõ¶ÔѹËõËðʧÌØÊâÃô¸Ð¡£

һЩ»ù×¼²âÊÔÅú×¢£¬Ê¹ÓÃ8λSmoothQuant£¨ÓÃÓÚȨÖØ¡¢×¢ÖØÁ¦ºÍKV»º´æ£©Á¿»¯µÄDeepSeek-R1-Distill-Qwen-1.5B£¬»áÔÚAIME¡¢MATH-500¡¢GPQA-DiamondºÍLiveCodeBenchµÈÊý¾Ý¼¯ÉϵÄÍÆÀíÐÔÄÜ£¬Æ½¾ùϽµ9.09%£¨´Ó48.82%½µÖÁ44.29%£©¡£

ÓÐËðѹËõ½µµÍÖÊÁ¿£¬ÎÞËðѹËõȱ·¦Ð§ÂÊ

Ïà±È֮ϣ¬ÎÞËðѹËõÊÖÒÕÔÚÓÐÓüõС´ó¹æÄ£LLM¾ÞϸµÄͬʱ£¬Äܹ»±£´æÆä׼ȷµÄԭʼȨÖØ£¬È·±£Ä£×ÓµÄÊä³öÂþÑÜÓëδѹËõÌåÏÖ£¨ÀýÈçBFloat16£©µÄÊä³öÂþÑÜÍêÈ«Ò»Ö¡£

È»¶ø£¬ÏÖÓеÄÎÞËðѹËõÒªÁìÖ÷Òª×ÅÖØÓÚÌá¸ßLLMµÄ´æ´¢Ð§ÂÊ£¬ÀýÈçËõСģ×Ó¼ì²éµã£¬»òÕßÓÅ»¯ÖîÈçFPGAµÈרÓÃÓ²¼þµÄÐÔÄÜ¡£

ÕâЩҪÁìËäÈ»ÓÐÀûÓÚѵÁ·Àú³ÌÖеĸßЧ¼ì²éµã»Ø¹ö£¬»òÕß´ÓHugging FaceµÈÄ£×Ó¿ÍÕ»¼ÓËÙÏÂÔØ£¬µ«ÆäÓÅÊÆͨ³£ÄÑÒÔÓÐÓõØÀ©Õ¹µ½»ùÓÚGPUµÄLLMÍÆÀí¡£

ʵÑéÒªÁì

ΪÁËÍƶ¯LLMȨÖصÄÎÞËðѹËõ£¬ÍŶÓÆÊÎöÁË×îÐÂLLMȨÖØÖÐBFloat16¸÷¸ö×é³É²¿·Ö£¨·ûºÅ¡¢Ö¸ÊýºÍβÊý£©µÄ¿ÉѹËõÐÔ¡£

ÏêϸÀ´Ëµ£¬ÍŶÓʹÓÃÏãÅ©ìØÀ´Á¿»¯LLMÏßÐÔͶӰ¾ØÕóÖвÎÊýµÄÐÅÏ¢Á¿¡£ÏãÅ©ìØH(¡¤)½ç˵ÈçÏ£º

ÆäÖÐXÊÇÒ»¸öÀëÉ¢Ëæ»ú±äÁ¿£¬ÆäËùÓпÉÄÜÈ¡ÖµµÄÜöÝÍΪ¦Ö£¬p:¦Ö¡ú[0,1]ÌåÏÖÆä¸ÅÂÊÖÊÁ¿º¯Êý¡£

Èçͼ1Ëùʾ£¬·ûºÅºÍβÊý²¿·ÖµÄìØÖµÓëÆä¶ÔÓ¦µÄλ¿í¿¿½ü£¬ËµÃ÷ËüÃǵĿÉѹËõ¿Õ¼ä²»´ó¡£Ïà±È֮ϣ¬Ö¸Êý²¿·ÖµÄìØÖµÏÔ׎ϵÍ£¬Ö»ÓÐÔ¼2.6룬µ«Æä·ÖÅɵÄλÊýΪ8룬ÕâÒâζ×ÅÎÞËðѹËõ±£´æºÜ´óµÄʱ»ú¡£

ÎÞËðLLMѹËõ¿ò¼Ü£¬ÊµÏÖ¸ßЧGPUÍÆÀí

ΪÏàʶ¾öLLMȨÖØÔÚBFloat16ÌåÏÖÖб£´æµÄÖØ´óÐÅÏ¢ÈßÓàÎÊÌ⣬ÍŶÓÌá³öÁËÒ»ÖÖʹÓÃìرàÂëÀ´¶Ô¸¡µã²ÎÊý¾ÙÐбàÂëµÄÎÞËðѹËõ¿ò¼Ü¡ª¡ªDFloat¡£

Ê×ÏÈ£¬»ùÓÚLLMÏßÐÔͶӰ¾ØÕóÖÐËùÓÐBFloat16ȨÖصÄÖ¸ÊýÂþÑܹ¹½¨Ò»¸öHuffmanÊ÷¡£

È»ºó£¬Ê¹Huffman±àÂëѹËõÖ¸Êý²¿·Ö£¬Í¬Ê±±£´æԭʼµÄ·ûºÅλºÍβÊý¡£

Ö¸Êý±»±àÂëºó£¬Ï¸Ãܵشò°üµ½EncodedExponent×Ö½ÚÊý×éÖУ¬¶ø·ûºÅλºÍβÊýÔò¼á³ÖδѹËõ״̬£¬´æ´¢ÔÚÁíÒ»¸öPackedSignMantissa×Ö½ÚÊý×éÖС£

¶¯Ì¬³¤¶È¸¡µãÊýÃûÌÿÉÒÔ½ô´ÕµØÌåÏÖ¸¡µãÄ£×Ó²ÎÊý

ʹÓýô´ÕLUTʵÏÖ¸ßЧ½âÂë

ÓÉÓÚHuffman±àÂë¿ÉÒÔͨ¹ý»úÔµ²éÕÒ±í£¨Lookup Table£¬LUT£©µÄÒªÁìÓÐÓõؽâÂ룬ÓÚÊÇÍŶӹ¹½¨ÁËÒ»¸ö¾ÞϸΪ2^LµÄLUT£¬ÆäÖÐLÊÇÂë±¾ÖÐÈκÎHuffman±àÂëµÄ×î´ó볤¶È¡£

ΪÁ˾ÙÐнâÂ룬ÍŶӴӱàÂëµÄλÁ÷ÖжÁÈ¡½ÓÏÂÀ´µÄL룬²¢½«ËüÃÇ×÷ΪLUTµÄË÷ÒýÀ´»ñÈ¡ÏÂÒ»¸ö½âÂëºóµÄ·ûºÅ¡£

ΪÏàʶÂëDFloat11ÃûÌõÄÖ¸Êý£¬ÏÞÖÆÿ¸öÄ£×ÓµÄ×î´ó´úÂ볤¶ÈLΪ32λ¡£

¹ØÓÚÄÇЩL´óÓÚ32µÄÄ£×Ó£¬ÍŶÓͨ¹ý½«×î²»³£¼ûµÄÖ¸ÊýµÄƵÂʽµµÍµ½1²¢ÖØй¹½¨HuffmanÊ÷À´Ç¿ÖÆÖª×㳤¶ÈÔ¼Êø¡£

ÔÆÔÆ£¬±ã»áÔÚHuffmanÊ÷µÄβ²¿±¬·¢Ò»¸öÔ½·¢Æ½ºâµÄ½á¹¹£¬Îª×îÓÐÊýµÄÖ¸Êý·ÖÅÉÏàͬ³¤¶ÈµÄ´úÂ룬²¢½«×î´ó´úÂ볤¶ÈËõ¼õµ½3λ¡£

È»¶ø£¬µ±L=32ʱ£¬Ö±½ÓʹÓòéÕÒ±í½«ÐèÒª232¡Ö42.9ÒÚ¸öÌõÄ¿£¬Õ⽫ÏûºÄÖØ´óµÄÄÚ´æ¡£

ΪÏàʶ¾öÕâ¸öÎÊÌ⣬ÍŶÓÌá³ö½«Õâ¸öÖØ´óµÄLUTÖ§½â³ÉËĸö»¥²»ÏཻÇÒ½ÚÔ¼ÄÚ´æµÄ²éÕÒ±í¡ª¡ªLUT1¡¢LUT2¡¢LUT3ºÍLUT4¡£

ÕâÑùÒ»À´£¬ÄÚ´æÕ¼ÓþͿÉÒÔÍêÈ«·ÅÔÚGPU SRAMÖУ¬´Ó¶øʵÏÖ¿ìËÙ»á¼û¡£

Á½½×¶ÎKernelºÍÇáÁ¿¼¶¸¨Öú±äÁ¿

ΪÁËÄܹ»¶ÔDFloat11ÃûÌÃÖо­ÓÉìرàÂëµÄÖ¸Êý¾ÙÐдó¹æÄ£²¢ÐнâÂ룬ÍŶÓΪÿ¸öÏ̷߳ÖÅÉÒ»¶ÎÀο¿³¤¶ÈµÄ¡¢À´×Ô±àÂëÐòÁеÄ×Ö½ÚÀ´¾ÙÐд¦Öóͷ£¡£

È»¶ø£¬ÕâÖÖÒªÌå»á´øÀ´Á½¸öÖ÷ÒªµÄÌôÕ½£º

1. ÓÉÓÚHuffman±àÂëµÄλ¿íÊǿɱäµÄ£¬²¢ÇÒ±àÂëºóµÄÊý¾ÝÊDZ»Ï¸Ãܵشò°üÔÚÒ»ÆðµÄ£¬Òò´Ëÿ¸öÏß³Ì×îÏȽâÂëµÄÆðʼλλÖò¢²»Ã÷È·¡£

2. ³ýÁ˵ÚÒ»¸öÏß³ÌÖ®Í⣬ÆäËûÏß³ÌËùÒª½âÂëµÄÔªËصÄË÷ÒýÊÇδ֪µÄ£¬Õâµ¼ÖÂÄÑÒÔÈ·¶¨ÓÃÓÚ´æ´¢½âÂëЧ¹ûµÄ׼ȷÊä³öλÖá£

ΪÏàʶ¾öµÚÒ»¸öÎÊÌ⣬ÍŶÓʹÓÃÒ»¸ö¼ä϶Êý×éÀ´È·¶¨Ã¿¸öÏ̵߳ÄÆðʼλλÖá£

Õâ¸ö¼ä϶Êý×éGapsΪÿ¸öḬ̈߳üÀ¨Ò»¸öÌõÄ¿£¬Ã¿¸öÌõÄ¿¶¼Ö¸¶¨ÁËÏà¹ØÓÚ¸ÃÏß³ÌËù·ÖÅɵÄÆðʼ×Ö½Ú£¬µÚÒ»¸öÓÐÓÃHuffman±àÂëµÄλƫÒÆÁ¿¡£ÓÉÓÚ×î´ó´úÂ볤¶ÈΪ32룬Òò´Ëÿ¸öÆ«ÒÆÁ¿µÄÖµ¶¼ÔÚ[0,31]¹æÄ£ÄÚ¡£ÎªÁË°ü¹ÜÄÚ´æЧÂÊ£¬ÍŶÓʹÓÃ5¸öλÀ´±àÂëÿ¸öÌõÄ¿¡£

ΪÏàʶ¾öµÚ¶þ¸öÎÊÌ⣬×îÖ±½ÓµÄÒªÁìÊÇά»¤Ò»¸öÊý×飬ÓÃÓڴ洢ÿ¸öÏß³ÌËù½âÂëµÄµÚÒ»¸öÔªËصÄÊä³öλÖá£È»¶ø£¬ÕâÖÖÒªÌå»á´øÀ´ÖØ´óµÄ´æ´¢¿ªÏú¡£

ΪÁËïÔÌ­´æ´¢¿ªÏú£¬ÍŶÓÖ»´æ´¢Ã¿¸öÏ߳̿éÖеÚÒ»¸öÔªËصÄÊä³öλÖ㬶ø²»ÊǴ洢ÿ¸öÏ̵߳ÄÊä³öλÖá£

ΪÁËÄܹ»Ê¹Óÿ鼶µÄÊä³öλÖÃÐÅÏ¢¾ÙÐнâÂ룬ÍŶӽÓÄÉÁËÒ»ÖÖÁ½½×¶ÎµÄKernelÉè¼Æ¡£

ÔÚµÚÒ»½×¶Î£¬Ò»¸öÏ߳̿éÄÚµÄËùÓÐÏ̲߳¢ÐеؽâÂë·ÖÅɸøËüÃǵÄÄDz¿·Ö±àÂëÐòÁУ¬¿ÉÊDz¢²»½«ÈκÎÊä³öЧ¹ûдÈ뵽ȫ¾ÖÄÚ´æÖС£È¡¶ø´úÖ®µÄÊÇ£¬Ã¿¸öÏ̻߳áÅÌËãËü½«Òª½âÂëµÄÔªËصÄÊýÄ¿¡£

Íê³ÉÕâÒ»²½Ö®ºó£¬ÍŶÓͬ²½Í³Ò»¸öÏ߳̿éÄÚµÄËùÓÐỊ̈߳¬²¢Í¨¹ýÅÌËãǰ׺ºÍÀ´È·¶¨Ã¿¸öÏ̵߳ÄÊä³öλÖã¬ÅÌËãǰ׺ºÍµÄÆðʼλÖÃÊǸÃÏ߳̿éµÄÒÑÖªÊä³öλÖá£

ÔÚµÚ¶þ½×¶Î£¬Ã¿¸öÏ̻߳áÖØнâÂëÏàͬµÄÄDz¿·Ö±àÂëÐòÁУ¬ÕâÒ»´Î»á½«½âÂëºóµÄЧ¹ûдÈëµ½HBMÖÐ׼ȷµÄÊä³öλÖá£

ΪÁË×èÖ¹ÔÚÕâÁ½¸ö½×¶ÎÖÐÖظ´»á¼ûHBM£¬ÍŶӽ«±àÂëºóµÄÖ¸ÊýÊý¾Ý¼ÓÔص½SRAMÖС£

Á½½×¶ÎKernelµÄα´úÂë

Transformer Block¼¶½âѹËõ

ÖÁ´Ë£¬¾ÍÓÐÁËÒ»Ì×ÍêÕûµÄÒªÁ죬¿ÉÒÔ¶Ô¾­ÓÉìرàÂëµÄÖ¸Êý¾ÙÐдó¹æÄ£²¢ÐнâѹËõ¡£

LLMµÄȨÖØÒÔDFloat11ÃûÌô洢£¬Í¬Ê±»¹°üÀ¨ÇáÁ¿¼¶µÄ¸¨ÖúÊý¾Ý£ºÏ̼߳¶µÄ¼ä϶ƫÒÆÁ¿ÒÔ¼°¿é¼¶µÄÊä³öλÖã¬ÕâЩÊý¾ÝÓÃÓÚÈ·¶¨Ã¿¸öÏ̵߳ĶÁÈ¡ºÍдÈëλÖá£

ÔÚÍÆÀíÀú³ÌÖУ¬Ñ¹ËõºóµÄȨÖØÊý¾ÝºÍÕâЩ¸¨Öú±äÁ¿¶¼ÍêȫפÁôÔÚGPUÉÏ¡£

µ±ÐèҪʹÓÃij¸öȨÖؾØÕó¾ÙÐоØÕó³Ë·¨ÔËËãʱ£¬¸Ã¾ØÕó»á±»¶¯Ì¬µØ½âѹËõΪԭʼµÄBFloat16ÃûÌá£Ò»µ©¾ØÕó³Ë·¨ÔËËãÍê³É£¬Õâ¸öBFloat16ÃûÌõľØÕó»áÁ¬Ã¦±»ÑïÆú£¬ÒÔ½ÚÔ¼GPUÏÔ´æ¡£

ÔÚÏÖʵӦÓÃÖУ¬ÓÉÓÚµ¥¸öȨÖؾØÕóµÄ³ß´çͨ³£Ïà¶Ô½ÏС£¬Òò´Ëµ¥¶À½âѹËõÒ»¸öȨÖؾØÕóÍùÍùÎÞ·¨³ä·ÖʹÓÃGPU×ÊÔ´¡£

ÔÚDFloat11½âѹËõKernelÖУ¬½«Ã¿¸öÏ̴߳¦Öóͷ£µÄ×Ö½ÚÊýÉèÖÃΪn=8£¬Ã¿¸öÏ߳̿éÖеÄÏß³ÌÊýÉèÖÃΪT=256£¬Ï߳̿éµÄÊýÄ¿ÉèÖÃΪB=?|EncodedExponent|/(nT)?£¬ÆäÖÐ|EncodedExponent|ÌåÏÖ±àÂëºóµÄÖ¸ÊýÊý¾ÝËùÕ¼µÄ×Ü×Ö½ÚÊý¡£

Ëæ×ÅDFloat11ÃûÌõÄȨÖØÊý¾Ý³ß´çµÄÔöÌí£¬»áÓиü¶àµÄÏ߳̿鱻ʹÓÃÆðÀ´£¬´Ó¶ø¿ÉÒÔÌá¸ßÕûÌåµÄ½âѹËõÍÌÍÂÁ¿¡£

ͼ6չʾÁËÕâÖÖÕ÷Ïó£¬ËüÅú×¢½âѹËõµÄÍÌÍÂÁ¿»áËæמØÕó³ß´çµÄÔöÌí¶øÏÔÖøÌáÉý¡£ÎªÁ˳ä·ÖʹÓÃÕâÒ»ÌØÕ÷£¬Ñо¿ÍŶӽ¨Ò齫¶à¸ö¾ØÕóµÄ½âѹËõ²Ù×÷¾ÙÐÐÅú´¦Öóͷ££¬ÒÔ´ËÀ´Ìá¸ßÍÌÍÂÁ¿²¢Òþ²ØÑÓ³Ù¡£

¸üÏêϸµØ˵£¬¿ÉÒÔ½«µ¥¸öTransformer BlockÄÚµÄËùÓÐDFloat11ÃûÌõÄȨÖؾØÕóµÄ½âѹËõ²Ù×÷¾ÙÐÐÅú´¦Öóͷ£¡£

ÔÚTransformer BlockÖÐÖ´ÐÐÈκÎÅÌËã²Ù×÷֮ǰ£¬ÍŶÓÊ×ÏȽâѹËõÓëÆäÏà¹ØÁªµÄËùÓÐȨÖØÊý¾Ý¡£ÕâÖÖÒªÁìÄܹ»ÏÔÖø½µµÍ½âѹËõµÄÑÓ³Ù£¬²¢Ìá¸ßÕûÌåµÄÍÆÀíЧÂÊ¡£

ͼ5չʾÁËÔÚ²î±ðµÄÅú´¦Öóͷ£¾ÞϸÏ£¬Ê¹ÓÃDFloat11ѹËõµÄLlama-3.1-8B-InstructÄ£×ÓµÄÑÓ³Ùϸ·ÖÇéÐΡ£

ʵÑéЧ¹û

DF11½«LLMѹËõÖÁ70%¾Þϸ

±í2չʾÁËDF11¶Ô¶àÖÖ×îÐÂLLMµÄѹËõ±ÈÂÊ¡£

ѹËõµÄÄ£×Ó°üÀ¨LLaMA3/3.1/3.3¡¢Qwen2.5¡¢QwQ¡¢Mistral Nemo/Small/Codestral¡¢Gemma2/3ÒÔ¼°DeepSeek-R1-Distilled¡£

ʵÑéЧ¹ûÏÔʾ£¬DF11¶ÔËùÓÐÄ£×ÓµÄѹËõ±ÈԼΪ70%£¬Ï൱ÓÚԼĪ11λµÄÓÐÓÃλ¿í¡£

DF11ѹËõÍêÈ«ÎÞËð

Ñо¿ÍŶÓͨ¹ýһϵÁбê×¼»ù×¼²âÊÔÑéÖ¤ÁËDF11ѹËõµÄÎÞËðÌØÕ÷¡£

ÆÀ¹ÀʹÓÃlm_evaluation_harness¹¤¾ß¾ÙÐУ¬±¨¸æÁËMMLUºÍTruthfulQAµÄ׼ȷÂÊ£¬ÒÔ¼°WikiTextºÍC4µÄ´Ê¼¶ÒÉÐĶÈ¡£

Èç±í3Ëùʾ£¬Ñ¹ËõÄ£×ÓµÄ׼ȷÂʺÍÒÉÐĶÈÓëԭʼBF16Ä£×ÓÍêÈ«Ò»Ö¡£

ΪÁ˽øÒ»²½ÑéÖ¤ÎÞËðÌØÕ÷£¬ËûÃǽ«DF11½âѹºóµÄBF16ȨÖؾØÕóÓë±í2Öи÷Ä£×ÓµÄԭʼȨÖؾØÕó¾ÙÐнÏÁ¿£¬È·ÈÏÁ½ÕßÔÚ±ÈÌؼ¶ÉÏÍêÈ«Ïàͬ¡£

DF11ÔÚÍÆÀíЧÂÊÉÏÓâÔ½CPUжÔØ

Ñо¿ÍŶӽÏÁ¿ÁËDF11ºÍBF16Ä£×ÓÔÚ²î±ðÓ²¼þƽ̨ÉϵÄÍÆÀíЧÂÊ¡£

δѹËõµÄBF16Ä£×Óͨ³£»áÁè¼Ýµ¥¸öGPUµÄÏÔ´æÏÞÖÆ£¬¶øÎÞËðѹËõµÄDF11Ä£×ÓÔò²»»áÁè¼Ý¡£

¹ØÓÚBF16Ä£×Ó£¬ÍŶӽ«Ä£×ӵĴ󲿷ÖÄÚÈݺÍÅÌËã±£±£´æGPUÉÏ£¬Í¬Ê±½«²¿·Ö×é¼þ¼°ÆäÏà¹ØÅÌËãжÔص½CPUÉÏ¡£

Èçͼ3Ëùʾ£¬DF11Ä£×ÓʼÖÕÓÅÓÚ½ÓÄÉCPUжÔصÄBF16Ä£×Ó£¬ÑÓ³Ù½µµÍÁË1.85ÖÁ38.83±¶»òÍÌÍÂÁ¿¸ü¸ß¡£

DF11Ö§³Ö¸ü³¤µÄÉúÉú³¤¶È

DF11ѹËõ´øÀ´µÄÏÔ´æ½ÚÔ¼²»µ«ïÔÌ­ÁËÍÆÀíËùÐèµÄGPUÊýÄ¿£¬»¹Ö§³Ö¸ü³¤µÄÉúÉú³¤¶È¡£

ÔÚÍÆÀíÀú³ÌÖУ¬KV»º´æ»áËæ׎âÂëtokenÊýÄ¿µÄÔöÌí¶øÏßÐÔÔöÌí£¬ºÜ¿ì³ÉΪGPUÏÔ´æµÄÆ¿¾±¡£

ͼ4չʾÁËÔÚÅú¾ÞϸΪ1ʱ£¬DF11ºÍBF16Ä£×ÓÔÚÍÆÀíÀú³ÌÖÐËæ׎âÂëtokenÊýÄ¿ÔöÌíµÄGPUÏÔ´æÏûºÄÇéÐΡ£

ÈçͼËùʾ£¬DF11ѹËõÏÔÖøÑÓÉìÁËtokenÉúÉú³¤¶È£¬ÓëBF16Ä£×ÓÏà±È£¬ÔÚµÖ´ïGPUÏÔ´æÏÞÖÆÇ°ÄܽâÂë5.33ÖÁ13.17±¶µÄtokenÊýÄ¿¡£

½áÂÛ

ÔÚÕâÏîÊÂÇéÖУ¬Ñо¿Ö°Ô±Ìá³öÁ˶¯Ì¬³¤¶È¸¡µã£¨DFloat£©×÷ΪһÖÖÕë¶ÔLLMȨÖصÄÎÞËðѹËõÊý¾ÝÃûÌá£DFloatÊÇÏÖÔÚΨÖðÒ»ÖÖ¼ÈÄÜïÔÌ­ÏÔ´æÕ¼ÓÃÓÖ¼æÈݸßЧGPUÍÆÀíµÄÊý¾ÝÃûÌá£

ÏêϸÀ´Ëµ£¬ËûÃÇʹÓÃ11λµÄDFloatÃûÌã¨DF11£©ÆÀ¹ÀÁ˶à¸öÈÈÃÅLLM£¬²¢Îª´ËÃûÌÿª·¢Á˶¨ÖƵÄGPUÄںˡ£

ʵÑéЧ¹ûÅú×¢£¬»ùÓÚDF11µÄѹËõÏÔÖø½µµÍÁËЧÀÍLLMµÄÓ²¼þÐèÇ󣬲¢ÇÒÔÚ´ó´ó¶¼ÏÖʵӦÓó¡¾°Ï£¬ËüËùÔöÌíµÄÌØÊâÅÌËã¼ç¸ºÒ²ÊÇ¿ÉÒÔ½ÓÊܵÄ¡£

²Î¿¼×ÊÁÏ£º

https://arxiv.org/abs/2504.11651

À­Ë¹Î¬¼Ó˹9888

70%¾Þϸ£¬100%׼ȷ£¡ÍêÉÆѹËõLLMÐÔÄÜ0Ëðʧ£¬ÍÆÀíËÙÂÊ×î¸ßì­Éý39±¶
70%¾Þϸ£¬100%׼ȷ£¡ÍêÉÆѹËõLLMÐÔÄÜ0Ëðʧ£¬ÍÆÀíËÙÂÊ×î¸ßì­Éý39±¶

º«¹ú140Ìì3λ´ú×Üͳ

¡¸Ô˶¯¡¹kumadaibiaotitest

1.06MB
°æ±¾V0.0.45
ÏÂÔØ扒开科莱特疯狂揉❌难受3×°ÖÃÄãÏëÒªµÄÓ¦Óà ¸üÀû±ã ¸ü¿ì½Ý ·¢Ã÷¸ü¶à
ϲ»¶ 31%ºÃÆÀ(05097ÈË)
̸ÂÛ 08
70%¾Þϸ£¬100%׼ȷ£¡ÍêÉÆѹËõLLMÐÔÄÜ0Ëðʧ£¬ÍÆÀíËÙÂÊ×î¸ßì­Éý39±¶½Øͼ0 70%¾Þϸ£¬100%׼ȷ£¡ÍêÉÆѹËõLLMÐÔÄÜ0Ëðʧ£¬ÍÆÀíËÙÂÊ×î¸ßì­Éý39±¶½Øͼ1 70%¾Þϸ£¬100%׼ȷ£¡ÍêÉÆѹËõLLMÐÔÄÜ0Ëðʧ£¬ÍÆÀíËÙÂÊ×î¸ßì­Éý39±¶½Øͼ2 70%¾Þϸ£¬100%׼ȷ£¡ÍêÉÆѹËõLLMÐÔÄÜ0Ëðʧ£¬ÍÆÀíËÙÂÊ×î¸ßì­Éý39±¶½Øͼ3 70%¾Þϸ£¬100%׼ȷ£¡ÍêÉÆѹËõLLMÐÔÄÜ0Ëðʧ£¬ÍÆÀíËÙÂÊ×î¸ßì­Éý39±¶½Øͼ4
ÏêϸÐÅÏ¢
  • Èí¼þ¾Þϸ: 17286.01052MB
  • ×îºó¸üÐÂ: 2025/05/03 01:16:40
  • ×îа汾: V8.71700.6
  • ÎļþÃûÌÃ: apk
  • Ó¦Ó÷ÖÀà:ios-Android 三玖同人❌漫画免费
  • ʹÓÃÓïÑÔ: ÖÐÎÄ
  • : ÐèÒªÁªÍø
  • ϵͳҪÇó: 3.43874ÒÔÉÏ
Ó¦ÓýéÉÜ
Ò»£¬furryGay♂XXX网站£¬❌到爽🔞奶头图片
¶þ£¬纲手裸体❌羞羞喷水wwwAPP£¬老师扒开双腿让我❌了一晚
Èý£¬国产成人➕亚洲➕熟女£¬男生黄☸️色☸️网☸️中国
ËÄ£¬美女裸体㊙️奶网站无遮挡£¬欧美❌❌❌网站免费
Î壬雷电将军裸体被❌吸乳软件£¬ai杨颖❌❌喷水好爽
Áù£¬男男GayG& 10000 #97;ys✅自慰,国产男男🔞体育生A片£¬国产成人➕亚洲➕欧洲在线观看
Æߣ¬成人黄动漫在线❤️免费
¡¾ÁªÏµÀ­Ë¹Î¬¼Ó˹9888¡¿
¿Í·þÈÈÏߣº134-2881-646
¼ÓÔظü¶à
°æ±¾¸üÐÂ
V2.4.20
禁止🔞🔞🔞下载观看
  • 兔女郎❌羞羞视频

    免费看美女隐私㊙️网站丫丫

    美女㊙️免费裸体直播

    04979.35MB
    107ºÃÆÀ

    美女隐私㊙️打扑克视频软件

  • 小南被撕开内衣👙吸奶头的动漫

    美女被❌出水100%无遮挡

    守望先锋dva裸体❌❌

    77611.26MB
    598875ºÃÆÀ

    程潇换脸黑料被❌免费视频

  • 崩坏三同人18❌黄网站

    美女隐私图片㊙️露出来

    被粗大的🐔巴捣出白浆男同

    13.01MB
    318ºÃÆÀ

    ChinaⅩXX❌XHD仙踪林

  • 18🍆🍑🔞无直套17.c

    ♥同人♥本子♥裸体

    鬼灭之刃❌甘露寺蜜璃无码

    53.40MB
    272ºÃÆÀ

    男强韩漫被❌到爽🔞流小说

  • 免费🔞成人❌❌❌深夜小野

    美女巨胸爆乳🌸🌸🌸。

    二次元美女被❌羞羞动漫

    71.37MB
    704ºÃÆÀ

    大胸美女脱㊙️露小奶头视频

  • 男人🌿女人视频

    男人的🍌伸到🍑里怎么伸

    男生把🍌放到女生的

    83.89MB
    332ºÃÆÀ

    女把黄鳝放放进🍑里

  • 黄☸色️☸网️☸站️☸️

    美女性猛交❌❌

    🔞无遮挡裸光屁屁打屁股Sm网站

    23.13MB
    104ºÃÆÀ

    成人漫画H🔞漫画

  • 蘑菇视频🍄蘑菇

    动漫美女裸体被❌涩涩动画

    91无码精品㊙️入口国产

    50.96MB
    927ºÃÆÀ

    女模裸J照无遮挡🔞免费动漫

  • 初学生疯狂❌喷水裸网站

    罗宾被❌大乳揉捏本子

    3D❌❌❌giantess网站

    83.13MB
    568ºÃÆÀ

    18禁㊙️啪啪AV动漫都有什么

  • 美女露出🐻揉

    男脱裤子🔞小jiji网站芒果

    花火裸体❌开腿图片

    83.00MB
    751ºÃÆÀ

    欧美88888❌❌成人导航

  • 120秒体验区5次❤

    女学生被c❌黄网站

    美女裸体❌羞羞调教

    97.99MB
    7847ºÃÆÀ

    13禁🍆🍑🔞❌❌❌欧美

  • 成人扒开🍑伸进🍌❌91男同

    强行扒开腿❌狂揉❌玩各种玩具

    ❤️哎呦绅士❤️

    09.09MB
    720ºÃÆÀ

    蓝莓❌c到爽🔞H视频动漫

  • ❌❌❌免费裸体视频网站

    𝗁é𝚎ṃс𝖼⭐️

    高清码🔞❌♋裸体免费看网站

    65.28MB
    747ºÃÆÀ

    不之火舞私㊙️奶头大屁股网站

  • 男生的🍌放男生的🍑真人动漫

    绝区零❌自禁漫天堂

    美女裸体㊙️无遮挡屁股视频免费

    54.19MB
    752ºÃÆÀ

    动漫课体❌羞羞网站

  • 美女18🈲流出

    鸣人❌女忍者18禁漫画视频

    FreeJAV Online ✅

    57.81MB
    681ºÃÆÀ

    女人扒开腿㊙️让人桶爽小说

  • 动漫美女被❌出水

    国产做受❌❌❌高潮游戏色情

    国产乱伦精品❌❌❌❌❌

    24.17MB
    352ºÃÆÀ

    白丝老师让我❌了一夜电影

  • 新男人皇宫♦亚洲男人

    麻豆精品人妻㊙️一区二区三区

    鸣人❌雏田污黄十八禁游戏

    13.91MB
    312ºÃÆÀ

    无尽❌女同❌扶她❌3D

  • giga女战士被❌到爽被爆衣

    🔞男生🍆❌男生🍑里日本

    美女被🈲内内㊙️游戏

    84.73MB
    219ºÃÆÀ

    !脱👙让学生摸🐻

  • 不知火舞被❌18禁同人

    成人扒开🍑伸进🍌❌91动漫在线观看

    虞书欣㊙️被男人桶到爽动漫

    45.25MB
    734ºÃÆÀ

    在线无限看黄❌免费1网站

  • 校🌸脱白丝让我C

    小心🐤入🍑🍑游戏的动漫

    97在线无精精品㊙️入口

    10.38MB
    189ºÃÆÀ

    少萝露小奶头❌的视频

  • 巨乳动漫18🈲

    基尼奇被狂❌到高潮

    女人脱👙给女人摸🐻

    44.39MB
    364ºÃÆÀ

    纲手疯狂被❌歪歪黄漫画

  • 裸体爆乳羞羞❌苹果商店

    国产做受69❌❌❌mm

    好久没🌿你了水又多了网站

    91.81MB
    202ºÃÆÀ

    雏田女被❌c🐻黄扒衣服

  • Porno💋💋300

    把🍌伸进老师的🍑里动漫软件

    免费无遮挡🔞视频网站动漫

    30.92MB
    909ºÃÆÀ

    poren19video💋

  • 绝区零被❌到爽🔞挤奶水视频

    涩涩❤️❤️

    原神同人五郎18❌网站

    30.46MB
    542ºÃÆÀ

    动漫美女❌高潮

  • 在线精品秘密㊙️动漫

    云韵3d同人18❌动漫羞羞

    国产➕无码➕成人免费视频

    29.00MB
    123ºÃÆÀ

    女被❌c🐻黄扒衣服网页

  • 欧美❌❌❌sex少妇74

    国产➕刺激➕高潮➕免费竹菊

    Free❌❌❌性AV男男

    70.23MB
    453ºÃÆÀ

    原神胡桃裸体❌开腿黄漫画

  • 草莓视频❤18体育生的🐔好大你夹的好紧动漫 title="HD❌❌XX❌XXX18" class="0v5366j9r7414 app-list-img" src="https://t11.m.hnshengbang.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    男女❌❌❌❌视频

    美女㊙️裸体挂妇科

  • 美女的隐私❌无遮挡图片QQ弹弹女c女🔞黄㊙️❌网站下载 title="美女穿三角裤🩲无遮挡中国" class="0v5366j9r7414 app-list-img" src="https://t10.m.hnshengbang.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    男男♂Gay✅免费高清观看

    原神妮露裸体被❌黄漫

  • 高潮又爽又黄又无🈚喷水妓女18禁动🍆🍑🔞❌❌神 title="高清🈚码🔞❌♋免费下四虎" class="0v5366j9r7414 app-list-img" src="https://t12.m.hnshengbang.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    女c🔞黄㊙️❌B站文

    成人免费看片❌❌❌反差

校花🌸扒腿让我C免费漫画 ÀàËÆÈí¼þ

²ÂÄãϲ»¶

  • GayFuckTube❌❌男同网站
  • 刻晴被❌到爽🔞高潮痉挛动小说
  • furry涩涩❌18禁网站
  • 十八禁app🈲下载
  • 动漫美女被看光❌羞羞
  • 隔着肉丝🌸扒腿自慰爽出白色
  • 扒开美女❌狂揉❌在酒店直接观看
  • 动漫❌扶他❌女同❌3D
  • 被c🔞黄㊙️动漫❌
  • 女女c🔞黄㊙️❌P站
  • FreePorno💋👙4k
  • 成人🔞高潮片免费网站小玩具
  • 18🈲白丝少萝宝宝
  • 雏田被爆乳❌🔞🔞🈲漫画
  • cos白丝被❌❌到流白浆
  • 万叶涩涩同人18❌网站
  • 大🐻美100%露出奶软件
  • 女学生的上部隐私㊙️
  • 体育生GayGays✅✅自慰
  • 美女扒胸罩㊙️露出奶头视频
  • 纳西妲被❌抓奶头羞羞漫画免费
  • 国产做受❌❌❌入口
  • c🐻黄扒衣服做小 %9
  • 小🐔🐔伸进🈲🔞🔞免
  • 成人🔞高潮
  • 拖👙❌❌❌摸🐻91动漫
  • ❌—ART欧美video
  • 鸣人强❌小樱视频
  • 女性脱👙给我揉🐻的漫画书
  • 女被❌c🐻黄扒衣服吸血视频
  • 小舞同人18❌AV乳黄漫网站
  • 动漫自慰✅免费网站
  • 免费看美女隐私㊙️漫画
  • aaa尿孔➕灌➕电击➕乳夹
  • 把男人🍌伸进女人的🍑国外
  • 成人美女太刺激🔞国产免费
  • XNXXX美国👙👙18老师
  • 老板GayGays✅打屁股
  • jk漫画禁漫免费♥成人入口下载
  • 卡芙卡被❌吸乳脱内内
  • 🌿我~慢点好爽~男男日本GAy
  • 国广❌❌❌高潮91
  • 美女➕光屁屁➕无遮挡动漫
  • 美女奶头无遮挡❌❌❌
  • 女人脱👙让男人摸🐻网站
  • 涩涩成人版app♥在线看
  • 辉夜的被鸣人❌❌
  • 成人🔞色情男男Gay做受 10000 ;网站
  • 小南被爆❌自慰流水漫画
  • 国产亚洲🈲️久一区二区-百度
  • 中国妞⭕⭕⭕⭕XXXX
  • 成人扒开🍑伸进🍌❌HP
  • 美女脱👙给我捏🐻下载
  • 少萝扒开腿㊙️捆绑
  • jk爆乳❌️❌️嗯啊
  • 成人❌吸乳18观看动漫
  • 菠萝视频❌爽
  • 纲手被❌🔞歪歪漫画
  • 女被❌C奶黄扒衣
  • 祢豆子被❌18禁同人网站
  • 动漫18禁裸体爆乳❌网站
  • 王默裸乳被爆❌白浆的
  • 韩国🈚码🔞❌♋免
  • 蜜桃av㊙️无码一区三区四
  • 扒开胸罩㊙️露出奶
  • 小🐔🐔伸进🈲🔞🔞网站入口
  • 3D动漫Gay男男♂XXX
  • 91♥️丨PORNY丨动漫
  • 欧美❌❌❌❌❌免费68
  • 免费❤成人黄APP2024
  • 扒开雏田❌狂揉❌动漫,视频
  • 苹果成人app❤永久免看
  • 偷看男生大jiji㊙️18禁
  • 无颜之月被吸乳被❌动漫
  • 免费A漫♥禁漫天堂♥aPP
  • 欧美性猛交❌❌❌❌P30
  • ㊙️韩漫偷窥者3无删减
  • 女的被❌到爽在线观看
  • 校花露出🐻强迫我揉
  • 免费看裸体🔞🔞🔞视频阳春
  • 禁漫天堂❌黄动漫网站看
  • 免费看女生裸体🔞🔞🔞网站视频
  • 扒开🐻让我❌❌❌蜜桃
  • 动漫美女裸体被触手❌❌吸乳网站
  • 护士被❌羞羞产奶
  • 亚洲AV无码㊙️希岛
  • 男人的🍌伸到🍑里51动漫
  • 欧美Gayvideo✅免费网站
  • 在线观看🔞禁精品软件
  • 免费无遮挡🔞动漫在线
  • 动漫大c🔞黄㊙️❌游戏
  • 《究極核彈✅泄密Npxvip
  • 小🐔🐔伸进🈲🔞🔞男男爆喷水
  • 扒开腿㊙️挺爽
  • 白人❌❌❌❌HD
  • 乖乖丽日本婬妇❌❌❌❌
  • 国产精品❌❌❌❌视频
  • 美女裸露放屁㊙️网站视频
  • 八尺夫人又黄❌又爽❌
  • 17娇喘❌❌⭕⭕
  • 免费看美女拉屎㊙️视频
  • 永久免费看裸体🔞🔞🔞电影
  • 成人❌吸乳18在线观看动漫
  • 日本❌❌❌69HD
  • 少妇潮喷❌❌⭕⭕
  • 3秒自动进入秘㊙️密
  • 胡桃撕开内衣👙露出小豆豆
  • 男同gy🔞www.成人网站
  • 精品国产❌❌❌国产没封
  • tobu8hd👙
  • 维尔汀被狂揉下面❌羞羞
  • 猛男✅✅GayGay自慰
  • 打白嫩㊙️屁屁调教视频
  • 9幺在线无码精品㊙️蜜桃
  • 美女扒开内👙看个够动漫app
  • 免费无遮挡🔞视频小说香蕉男男
  • 娜美被❌吸乳网站视频
  • 王者18禁同人a✅中文在线
  • 二次元美女挤奶🈲🚫
  • 女生露🐻让男生玩
  • 流萤爆❌❌乳❌❌❌视频
  • 校🌸被❌️出奶
  • 🔞无遮挡裸光屁屁打屁股绿帽社
  • 米塔被❌到爽🔞视频
  • 黃色成人❌❌❌大片爱恋视频免费
  • 成人🔞🈚️码
  • 女学生❌❌喷浆
  • 美女打开🍑让人玩
  • 🔞涩涩小片片无遮挡免费群聊
  • 中国❌Ⅹ中国性感Ⅹ91麻豆
  • 羞羞漫画❌黄漫免费多人
  • 小樱裸乳被爆❌白浆的视频
  • 打扑克爽❌又黄❌视频内衣
  • 免费网站无码㊙️白丝
  • 国产精品㊙️久久一区二区
  • 空条徐伦❌爆爽喷水自慰
  • 免费无遮挡🔞视频网站斗裸大陆
  • 美女露出🐻给男生揉真人
  • 成年男子㊙️露j撒尿
  • 月婵女裸乳被爆❌白浆的游戏
  • 🔞禁无码精品黄油
  • 美女被扒开腿坐做❌动漫
  • 被❌触手怪乳乳羞羞动漫
  • 男男受被❌的流白浆翻白眼
  • 🔞吃奶& 8000 #25720;下激烈视频原神
  • 纲手巨乳❌乳头
  • 污污c🔞黄㊙️❌网站在线浏览
  • 少妇高潮ZZZZ2❌❌❌电影
  • 不知火舞被❌3D同人真人
  • 免费➕无码➕国产49在线
  • 妲己被❌吸乳羞羞小说
  • 性裸交❌❌
  • 美女彼黄又爽🈲⭕️🔞
  • 老师让我❌她我爽了好久视频
  • 男人野尿视频✅免费网站
  • 白丝袜❌无遮挡裸体美女
  • 女人又爽❌又黄❌免费俄罗斯游戏
  • 91在线精品无码㊙️入口
  • 亚洲AV无码㊙️蜜桃在线看
  • 性情AAAαa❌❌❌毛片
  • 美女扒开㊙️让男人桶
  • 小🐤🐤戳进🍑无遮挡保障
  • 蒂法裸㊙️体无遮挡
  • 💚奇优影院️在线
  • 阿芙洛狄忒被❌到爽🔞高潮
  • 日本教师撩裙子撒尿㊙️
  • 小黃片㊙️🈲网站嗯嗯啊小说在线观看
  • 触手♥禁漫画网站入口
  • 男人猛躁女人㊙️免费看网站软件
  • 扒开雏田❌狂揉❌难受3d漫画
  • 美杜莎被❌到爽被爆漫画
  • Hk416被❌吸乳脱内内在线看
  • 猛男GayGay✅免费观看网站
  • 猛男GayGayS✅免费视频
  • 萧萧被扒开大腿❌❌
  • 国产高潮❌❌❌❌
  • 成人🔞视频免费观看打屁股网站
  • 大乳美女❌❌❌直接看
  • 裸乳被爆❌白浆
  • 3D小舞被❌到爽漫画免费
  • 美女裸身❌❌挤奶
  • jk女扒开腿㊙️让人桶爽
  • 扒开老师❌狂揉❌在线观看
  • 被❌到爽🔞流片动漫
  • 无码㊙️蜜桃一区二区
  • 小舞❌爆乳❌无遮挡动漫
  • 春丽裸体被爆🔞3d同人网站
  • 憋尿➕挠痒痒公司小说
  • 无尽❌裸体❌触手❌动漫
  • 草莓🍓视频旧址www在线。
  • 赵丽颖被❌狂揉大胸照片
  • 雷爷GaYGAYS✅亚洲自慰
  • 偷拍美女裸体㊙️㊙️无遮挡
  • 深夜看🔞🈲免费游戏APP
  • 嗯～啊～快点🌿死细节描写
  • 龙卷被爆❌自慰爽
  • 女奥特曼被❌到爽免费观看
  • 女子尿囗㊙️免费动漫
  • 嗯∽啊～轻点禁🔞视频
  • 91九色蝌蚪丝袜♥口爆♥吞精
  • 小🐤🐤入🍑🍑视频训练营
  • 成人黄动漫网站❌免费视频
  • 美杜莎同人18❌AV黄漫网站
  • 色情🈲片
  • 霉霉被❌在线观看
  • 韩国撩裙掀尿㊙️
  • 姬小满裸体❌开腿本子视频
  • 黄🈚网站涩免费蜜桃网站
  • www成人🔞色情最菠萝频
  • 18🈲️脱内衣👙漫画网站
  • XXBXXXXX中国🍆🍑
  • 🈚码精品一区二区三区四区
  • FerrPorno💋👙81
  • Free❤XXX❤Hantai漫画
  • 成人做爰黄✌片免费APP
  • 男被❌c🐻黄扒衣服漫画
  • 男女又爽❌又黄❌免费软件
  • 宋雨琦被❌到高潮视频网站
  • 巨大❌房乳❌挤奶boos
  • 白鹿裸被❌免费视频
  • 花火被狂❌到高潮在线看
  • 嫩草TV无码㊙️
  • 动漫3D扒开👙看个够+无挡
  • 🔞doi好爽湿透了
  • 日本羞辱➕调教➕sm训练营
  • Free❌❌❌video5D
  • 女裸体㊙️无遮挡网站
  • 国产美女被❌黄漫免费视频
  • 小樱裸体❌开腿被c
  • 美女爆乳㊙️免费网游
  • 无码精品㊙️入口免费App
  • 变态摸🍑揉🐻PH
  • 歪歪网站小黃片㊙️🈲漫画
  • 韩国❌❌❌❌❌色情初来交
  • 斗罗大陆美女被❌到爽视频
  • 19➕韩国美女激情VIP秀
  • 纲手裸乳被爆❌白浆3D视频
  • 美女隐私㊙️挤奶水照片黄www
  • 打屁股黄动漫网站❌免费
  • furry❤♂R18
  • 女仆扒开🍑给男生玩伊甸园
  • Free❌❌❌国产无套
  • 国产精品㊙️精品漫画
  • 美女❌可爱❌无尽❌漫画
  • 羞羞漫画❤sss在线观看下滑式
  • 大🐻美女被脱成裸妆害羞漫画
  • 91♥️丨PORNY丨首页tele
  • 男男疯狂❌喷水自慰爽下载
  • 小南被❌吸乳羞羞漫画
  • 免费㊙️漫画噼啪
  • 18🈲巨胸裸网站
  • 日本白嫩㊙️光屁网站放屁
  • 伽罗❌暴爽自慰喷水
  • 挠胸➕挠腋窝动漫
  • 强行扒开腿❌狂揉❌玩各种玩具
  • www深夜成人🔞a√在线游戏
  • 动漫美女裸体被❌折磨无知
  • 免费无遮挡黑料🔞视频网站
  • 91在线无精精品㊙️原神入口
  • 小🐔🐔伸进🈲🔞🔞一起草
  • 甘雨被下春药❌到爽漫画
  • 女人跪趴着扒开🍑打
  • 美女被❌爽到脱内内游戏
  • 爱豆㊙️做爰免费观看
  • A片黄18🈲真人尖叫国产
  • 喷浆❌❌❌久久久
  • 动漫男同被❌️黄漫
  • 胡桃同人❌AV黄漫
  • 学生裸体被❌羞羞软图片
  • 男生把jiji❌进美女的屁屁
  • 🔞无遮挡裸光屁屁打屁股滴蜡
  • 女人扒开腿㊙️真人视频流出奶
  • 女子尿囗㊙️免费网站
  • 美女的隐私㊙️
  • 同性男A片18🈲在线观看漫画
  • 扒开❌狂揉❌喷水视频玉蒲团
  • 狂揉❌❌出水❌❌
  • 原神涩涩同人❌MMD网站
  • 大胸美女挤奶㊙️
  • XXNX15👙日本视频。
  • 日本少妇毛茸茸水多多HD❌❌❌
  • 虐杀美女㊙️网站在线观看
  • 免费看胸女㊙️视频
  • 4438❌全国成人免费
  • 男人和女人在❌羞羞30分钟
  • 国产女性捆绑✅免费网站
  • 91学生㊙️片黄漫画
  • 捆绑触手❌❌🔞调教视频
  • 扒开老师的衣服❌一晚动漫
  • 雏田被揉❌难受❌3d 8000 8459;画
  • 飞霄裸体被❌网站
  • 国产91❤️白丝在一线播
  • 免费看的黄😍网站动漫连体衣
  • 日本公交HD❌❌XXX
  • 喷水❌洗澡❌91
  • 伽罗被❌娇喘流白色液
  • 动漫美女让我玩🐻吃奶动漫
  • ❌到爽🔞奶头图片
  • 91在线无码精品㊙️入囗白丝
  • 无尽❌裸体❌女同❌警花动漫
  • 扒开❌狂揉❌难受捆绑日本视频
  • 午夜又黄❌❌又爽
  • 性裸交❌❌❌❌❌sM捆绑
  • 免费无遮挡🔞视频在
  • 高清🈚码🔞❌♋免费网
  • 17禁成人🍆🍑🔞猛撞九幺
  • 小舞被下春药❌到爽的电影
  • 嗯哼啊哈啊抱着🌿
  • 3D漫画美女被爆❌羞羞软件
  • 愛しています❤️天堂的方法
  • 被❌到爽十八禁流免费麻豆
  • 黑神话3D同人18❌AV网站
  • 老师❌开腿让我爽一夜在线
  • 美女又色❌又黄❌裸身
  • 精品🈚码产区一区二里人二英寸
  • 推特丨白浆㊙️
  • 男同被❌到爽🔞流羞羞扒开
  • 被扒开腿做❌同人漫画网站
  • 扒开裙子美女❌狂揉❌老师
  • 白丝水手服疯狂❌喷水慰爽
  • 体育生洗澡隐私㊙️免费视频
  • 成人免费🔞色情美女在线观看
  • 亚洲人做受❌❌❌高潮l眀
  • 3D动漫天穹长老被❌小说
  • 91♥️丨PORNY丨黑人
  • 女子被狂揉下部❌羞羞视频
  • 免费无遮挡🔞视频网擼擼社
  • 涩里番❤️成人软件
  • 女初高中打屁股♥视频
  • 曰本美女裸体㊙️无遮挡洗澡
  • 美女隐私㊙️免费视频网站-百度
  • 国产69♥️丝袜在线播放
  • yaoi❤♂Manga动漫
  • ❤️嫩草❤️嫩草V55AV
  • FerrPorno💋👙日本
  • 撕开👙吸奶头🍌进屁照片
  • 罗宾被吸乳❌️视频
  • 中国❌❌❌❌❌色情10
  • XXXNX25HD👙
  • 美女➕开屁屁➕韩国电影
  • 18🈲黄游下载
  • 羞羞漫画❌黄漫免费网页
  • 扒开雏田❌狂揉❌难受3D
  • 男男GayS✅免费网站
  • 🔞🍌进🍑里❌❌❌片非洲
  • 美女啪禁止🈲亚洲一区二区
  • 🔞涩爆乳自我安慰
  • 动漫♂️yaoi自慰Gay
  • 同性被❌羞羞动画在线观看
  • 伽罗被❌娇喘流白色液体
  • 男同志gy🔞www.国产
  • 高清明星18做受❌❌高潮
  • 一边草+一边摸+㊙️
  • 女班长被❌c🐻扒衣服作
  • 足控免费网站❌XxAV88
  • 散兵被扒开腿做❌的视频
  • 小舞脱👙让学生摸🐻
  • 老师打开腿让我❌我爽了漫画
  • 涩漫漫AV网站❌免费APP
  • 扒开❌狂揉❌难受公交车欧美
  • 美女撩裙子撒尿㊙️
  • 成人扒开🍑伸进🍌❌直播
  • 日本❌❌❌❌❌色情15
  • 裸体高中生开❌被躁流白❌
  • 申鹤被❌吸乳羞羞动画A片
  • 黄☪️色☪️网☪️站☪️
  • 女学生被❌c🐻扒服
  • 美女扒开裤子让我❌
  • 穿jk白丝被❌视频
  • 捆绑➕调教➕sm➕灌肠
  • 动漫美女裸体㊙️无
  • 王俪丁裸体㊙️无遮挡在线
  • 欧美性生交❌❌❌❌❌
  • 9118🈲🍆🍑无套直
  • 老师撩起胸把我的🍌蹭来蹭去
  • 西施裸乳被爆❌白浆电影
  • 海贼王女帝汉库克❌18禁
  • 云缨被扒开腿坐做❌动漫
  • 嗯∽啊～轻点禁🔞姿势
  • 斗罗大陆美女3D被❌漫画
  • ❌❌❌欧美另娄❌❌
  • 动漫人物被爆❌视频网站
  • akt动漫🔞裸乳
  • 少妇把腿扒开让我添18🈲
  • 西施裸乳被爆❌白浆视频
  • 透明内裤被🐔巴捣出白浆小说
  • 3d同人甘雨❌吸乳
  • PornoHD629😍
  • 女仆扒开腿㊙️让男人添
  • 无尽❌裸体❌扶她❌❌爆乳
  • 女子隐私撒尿㊙️无遮挡
  • 3D刚手❌自慰喷水爽
  • 云缨裸体被❌羞羞玉足
  • 龙珠布尔玛被爆❌小说
  • ㊙️成人羞羞视频在线观全部
  • 好爽红缨你的🐻好大
  • 美女脱免费看㊙️网站14
  • 欧美做受❌❌❌高潮动漫
  • 18??🈲在线观看的
  • 国产精品㊙️入口麻豆动态图
  • 电锯人3D同人18❌
  • 扒开老师的🍑伸进🍌
  • 男和男gv自慰🔞免费网站
  • 日本温泉裸体㊙️无遮挡
  • 关晓彤扒开内👙看个够
  • 亚洲18🈲在线看污www麻豆
  • 18🈲️小泬破流白浆啪啪
  • 英雄联盟阿狸被❌黄3D免费
  • 十八🈲🈲🈲🈲入
  • 大胸美女脱个精光㊙️男人看
  • 91♥️丨PORNY丨首页VIP
  • 成人男女🔞LV免费观看在线
  • 申鹤被❌到爽高潮动漫
  • indianHD❤BBW
  • 老师让我❌她我爽了好久AV
  • brazzerssxz💋
  • 日本初高中打屁股♥网站╳
  • 亚洲AV新㊙️二
  • 动漫美女被❌到爽🔞动漫
  • 梅花十三打开腿❌暴爽视频
  • 精品国产❌❌❌国产没封
  • 王者涩涩同人18禁❌本子
  • 美女光胸㊙️免费视频
  • 把🍌伸进女人的🍑www
  • 免费看裸体🔞🔞🔞app
  • "18🈲🍆🍆🍆🍆网站入口
  • 女女性无套✅免费调教
  • 大胸❌成人羞羞㊙️🔞
  • 羞羞❌喷水自慰A片软件九狐
  • 女坐隐私㊙️黄www网站视频
  • 捆绑㊙️免费视频网站调教
  • 欧美极品❌爱豆aⅴ
  • 美女❌狂揉脱内内
  • 扒开❌狂揉下部❌
  • 尿孔➕灌➕电击➕调教小说
  • 把🍌伸甘雨的🍑的网站WWW
  • 免费看18❌禁软件视频
  • 涩里番㊙️18禁
  • 18🈲🍆🍑无套直美女
  • 把🍌放进女人的🍑游戏
  • 粉嫩呦♥导航大全
  • 男男性H❤动漫免费观看
  • 奇淫大陆❌18禁成人游戏
  • fc2ppv初撮り♥完全颜出胡子
  • 国产91无码精品㊙️入口!
  • 脱👙认模🐻欧美
  • 免费无遮挡🔞视频网两男一女电影
  • brazzerssex24💋
  • 少司缘裸体❌开腿裸体视频
  • 裸乳裸体被🍑中国无码
  • 小🐔🐔伸进❌🔞㊙
  • 主人打女仆㊙️光屁屁视频
  • 雨浩被唐三扒开腿狂❌黄文
  • 🔞涩涩bt秘密网站漫画
  • 🔞禁成人❌❌❌
  • 王语纯被❌流水视频
  • 免费白丝jk爆❌❌
  • 男女无套✅免费视频网站29
  • 破译版污黄网站❤大全APP
  • 动漫美女屁股㊙️无遮挡
  • 小箩扒开腿㊙️让人桶
  • 国产➕刺激➕高潮流白丝
  • 胡桃🈲️🔞黄网站3d
  • 女男又爽❌又黄❌免费网站
  • 🍀我～快点～好爽女女
  • 女学生喷浆❌❌❌现看视频
  • 日本特黄🅰AA片免费视频
  • 妮可私㊙️奶头大屁股视频
  • 91popny蝌蚪💃
  • 雷电将军❌开腿身体部分
  • 王者荣耀❌18同人禁在线观看
  • XXNX1959👙
  • 动漫美女被❌羞羞动漫小舞
  • 白丝袜子❌扒开美女内衣
  • 美女老外又爽❌又黄❌免费看
  • AV➕无码➕高潮➕在线下载老K
  • 中国男男自慰出精🔞🈲
  • 雏田被雷影爆❌网站漫画
  • 鞠婧祎被❌到喷水AI换脸
  • 小🐔🐔伸进🐻🐻喷水蘑菇
  • XXXX🍑🍆泡妞免费
  • 打女光屁股㊙️SP视频
  • 小🐤🐤戳进去无遮挡动视频
  • "大雄❌静香18禁羞羞"
  • 18🈲🍆🍑泡
  • 叶罗丽美女被❌羞羞漫画视频网站
  • 黑土裸体被❌涩涩动漫小说
  • 百合恋做❤️免费
  • 88丨九色丨国产熟女❤️
  • 白丝自慰❌❌喷水好爽
  • 女同被❌c🐻扒衣服吃
  • 绝区零美女裸体❌❌免费视频
  • 格温蜘蛛被❌超污网站
  • 男女㊙️无遮挡視頻视频在线
  • 女仆扒开腿㊙️让泥鳅钻
  • 嗯～啊～轻🈲🔞APP免费看
  • yy理❤论
  • 女主播扒开腿㊙️让蛇钻
  • Fr日本ee❌❌❌vi
  • 杨幂裸被❌网站
  • 小🐔🐔伸进🈲🔞🔞国产
  • 萧炎❌曹颖18禁羞羞
  • 美女❌狂揉❌游戏游戏
  • 纲手被❌爆出白浆
  • 动漫美女被c❌黄漫画
  • 安琪拉裸体被❌到爽
  • 12美女脱👙免费看胸㊙️
  • 扒开jk美女疯狂揉❌免费网站
  • 申鹤被❌到爽🔞漫画
  • 小🐥🐥伸进🍑里🥵🥵🥵
  • 麻豆🔞视频在线观看免费视频
  • 美女哭着扒开🍑坐三角木
  • 美女被❌到爽🔞视频
  • 做❤️🔞网站小说
  • 成人网站㊙️密入口免费
  • 成人免费视频🔞国产免费观看
  • 亚洲AV无码㊙️蜜
  • 永久免费🔞🔞🔞漫画
  • 女人扒开腿㊙️免费游戏
  • www.免费视频🈲🈲🈲黑料
  • 校花跪着扒开🍑让客人往下摸
  • 性裸交❌❌
  • 免费看曰本美女洗澡㊙️
  • 嫦娥裸乳被爆❌白图片
  • 三月七裸体被❌涩涩 小说
  • 雏田被鸣人❌❌同人漫画
  • 桃子🍑视频在线观看
  • 18🈲色情H游戏
  • 裸男私密㊙️洗澡
  • 绝区零裸体❌开腿
  • 又黄❌又爽❌免费网站97
  • mmd洛天依跳啪18❌18禁18r网站
  • 91在线无码精品㊙️国产720
  • 性欧美精品❌❌九色91PORNY
  • 美女隐私㊙️让男人吻软件
  • 撕开内衣👙挠奶头和屁股
  • 17c娇喘❌❌⭕⭕网战
  • 爆❌喷水❌洗澡❌网日韩站
  • 小🐤🐤戳进🍑91出白
  • 8❌8❌成人免费AV下载动漫
  • 男女又爽❌又黄❌免费怀孕软件
  • 美女被c❌❌网站
  • ❌❌爆乳❌❌扶她视频
  • 小受被爆🌿漫画
  • 蜜橙视频♥成人app♥ios
  • 男生被男生❌免费视频网站
  • 免费看裸体🔞🔞🔞app
  • 亚洲AV㊙️无码玫瑰园
  • 女子脱👙揉🐻做运动的视频
  • www.深夜成人🔞网站
  • 甘雨被爆❌挤奶
  • 女人裸体❌❌AI去衣app
  • 日本LXXX❤LXXXcom
  • 国产免费不卡💃💃💃
  • 班长摘下奶罩🐻让我爽了在线观看
  • 男生把🍌放进🍑里爽🈲️
  • 裸体明星㊙️无遮挡
  • 白丝赫敏🌸扒开双腿
  • 香蕉文化❌黄漫免费网站下拉式
  • 18禁成人🍆🍑🔞猛撞91
  • 红桃视频♥成人app♥
  • 班花让我❌黄文
  • 微信看片➕v群2021
  • 前🈲蓝莓视频㊙️网站www深夜成人🔞
  • 腹肌男互摸jiji㊙️视频
  • 黄✡️色✡️网✡️站
  • 美女裸体被❌涩涩Av麻豆
  • 男男做爰GaY✅2024
  • 羞羞漫画❤免费入口香蕉文化
  • 女生脱👙把球球给我喝
  • 国产91❤️白丝在一线播放
  • 100%美女裸体😍😍😍
  • 原神夜兰裸体❌开腿本子
  • 原神甘雨疯狂❌自慰出水
    • °üÀ¨ ¶öÁËô µÄÓ¦Óü¯
    °üÀ¨ ¶öÁËô µÄÓ¦Óü¯
    ̸ÂÛ
    • 🍆🔞男同 2ÌìÇ°
      美女裸体㊙️跳舞
    • 初高中打屁股♥网站× 6ÌìÇ°
      日本另类Z0Z❌❌X
    • 歪歪网站小黃片㊙️🈲小说 0ÌìÇ°
      中国男同GaYGAYS✅光屁股
    • 被❌到爽🔞流奶单人漫画 2ÌìÇ°
      AV➕无码➕高潮➕网站
    • 斗破苍穹曹颖被❌到爽被爆小说 2ÌìÇ°
      裸身洗澡➕自慰叫
    • 白丝护士女仆被❌❌ 9ÌìÇ°
      青少年GaYGAYS✅免费
    • 中国男Gay🔞小蓝GTV 7ÌìÇ°
      3d动漫裸体❌羞羞流网站
    • 男人把🍆又入女人的🍑里 2ÌìÇ°
      成人羞羞视频🔞App
    • 周防有希18❌裸体网站 8ÌìÇ°
      青少年露jiji㊙️视频
    • 99在线无码精品㊙️白丝娇喘 0ÌìÇ°
      花木兰❌🐻黄漫扒衣服
    0