Nvidia เปิดภาพการทดสอบ benchmark ชิป Blackwell B200
NVIDIA เปิดเผยผลเบนช์มาร์คแรกของ จีพียู Blackwell B200 ซึ่งเป็นเบนช์มาร์ค MLPerf Inference: Datacenter ที่ได้รับความนิยมในวงการ AI ที่ทดสอบกับ โมเดล Llama 2 70B
ผลลัพธ์พบว่ามีประสิทธิภาพที่สูงขึ้นต่อจีพียูเมื่อเปรียบเทียบกับชิป H100 (Hopper) ถึง 4 เท่า
ผลการทดสอบจาก NVIDIA ใช้เครื่องซีพียู Xeon Silver 4410Y ร่วมกับชิป B200 แรม 180GB ได้คะแนนดังต่อไปนี้
โหมด Offline (ทดสอบโดยการส่งข้อมูลตัวอย่างทั้งหมดไปยังเซิร์ฟเวอร์ในครั้งเดียว) ได้ 11,264 token/s (เพิ่มขึ้น 3.7 เทียบกับ H100)
โหมด Server (ทดสอบโดยการส่งข้อมูลตัวอย่างไปยังเซิร์ฟเวอร์เป็นรอบๆ ลอยแจ่ม) ได้ 10,756 (เพิ่มขึ้น 4 เทียบกับ H100)
NVIDIA เปิดเผยว่าประสิทธิภาพที่เพิ่มขึ้นมาจาก Blackwell FP4 Transformer Engine ที่ต้องการแปลงโมเดลให้เป็นข้อมูลประเภท FP4 ก่อนช่วยเพิ่มประสิทธิภาพในการเรียกใช้โมเดลอย่างรวดเร็ว เนื่องจากจีพียูมาพร้อมกับเองจินสำหรับการประมวลผล FP4
NVIDIA ยังแสดงผลการเรียกใช้ MLPerf กับ จีพียู H200 รุ่นท็อปที่ใช้แรมเร็ว HBM3e มีการเพิ่มแบนด์วิดท์แรมขึ้น 1.4 เทียบกับ H100
การใช้ จีพียู H200 ในการเรียกใช้โมเดล Llama 2 70B โหมด Server ด้วยจำนวน 8 ตัวได้ผลลัพธ์ที่ 32,790 token/s หรือประมาณ 4,098 token/s ต่อจีพียูหนึ่งตัว
โน๊ตบุ๊ค ASUS Notebook TUF Gaming A16 Advantage Edition FA617NS-N3085W Ryzen 7-7735HS 16G 512G RX7600S W11 2Y
Original price was: 42,990 ฿.34,900 ฿Current price is: 34,900 ฿.💸 ประหยัดทันที 8,090 บาท (19%)
โน๊ตบุ๊ค ASUS Notebook ROG Strix G17 G713PV-LL047W (2023) Ryzen 9 7845HX
Original price was: 62,990 ฿.55,490 ฿Current price is: 55,490 ฿.💸 ประหยัดทันที 7,500 บาท (12%)
โน๊ตบุ๊ค ASUS Notebook TUF Gaming A15 FA507NU-LP031W AMD R7-7735HS 16G 512G RTX4050 W11 2Y
Original price was: 42,990 ฿.34,990 ฿Current price is: 34,990 ฿.💸 ประหยัดทันที 8,000 บาท (19%)
โน๊ตบุ๊ค ASUS Notebook TUF GAMING A17 FA706IC-HX001T (ECLIPSE GREY)
Original price was: 33,990 ฿.30,590 ฿Current price is: 30,590 ฿.💸 ประหยัดทันที 3,400 บาท (10%)
โน๊ตบุ๊ค ASUS Notebook TUF GAMING A15 FA506IC-HN011T (ECLIPSE GRAY)
Original price was: 31,990 ฿.26,980 ฿Current price is: 26,980 ฿.💸 ประหยัดทันที 5,010 บาท (16%)
