อินเทล ทลายทุกข้อจำกัด นำเสนอความสามารถในการก้าวสู่ GenAI ระดับองค์กร

ประเด็นใหม่: ภายในงาน Intel Vision อินเทลได้มีการนำเสนอตัวเร่งความเร็ว AI Intel® Gaudi® 3 ตัวใหม่ ที่มีความสามารถในด้านการคำนวณ AI มากถึง  4 เท่า สำหรับข้อมูลประเภท BF16 มีแบนด์วิธหน่วยความจำเพิ่มขึ้น 1.5 เท่า และมีความกว้างของเครือข่ายเพิ่มขึ้น 2 เท่า เมื่อเทียบกับรุ่นก่อนหน้า ซึ่งนับเป็นก้าวสำคัญในการฝึกอบรมโมเดลปัญญาประดิษฐ์ การอนุมานโมเดลภาษาขนาดใหญ่ (LLM) และโมเดลหลากหลายรูปแบบ โดยจากผลการทดสอบประสิทธิภาพของตัวเร่งความเร็ว AI Intel® Gaudi® 2 พบว่า มีเพียงตัวทดสอบ MPerf เพียงอย่างเดียวสำหรับ LLMs ในตลาด โดยอินเทลได้มอบทางเลือกให้กับลูกค้าด้วยซอฟต์แวร์แบบเปิดและเครือข่ายอีเธอร์เน็ตมาตรฐานอุตสาหกรรมเพื่อขยายระบบของพวกเขาได้อย่างยืดหยุ่นมากขึ้น

Intel introduced the Intel Gaudi 3 AI accelerator on April 9, 2024, at the Intel Vision event in Phoenix, Arizona. It is designed to bring global enterprises choice for generative AI, building on the performance and scalability of its Gaudi 2 predecessor. (Credit: Intel Corporation)

จัสติน โฮทาร์ด (Justin Hotard) รองประธานและผู้จัดการทั่วไปฝ่าย Data Center และ AI กล่าวว่า “ในภูมิทัศน์ที่เปลี่ยนแปลงตลอดเวลาของตลาด AI ยังคงมีช่องว่างที่สำคัญในการนำเสนอสินค้าของเรา โดยจากผลตอบรับจากลูกค้าของเราและตลาดโดยรวมสามารถช่วยตอกย้ำถึงความต้องการของทางเลือกที่เพิ่มขึ้น องค์กรต่าง ๆ อาจชั่งน้ำหนักการพิจารณาอื่นๆ เช่น ความพร้อมใช้งาน ความสามารถในการขยาย ประสิทธิภาพ ต้นทุน และประสิทธิภาพการใช้พลังงาน โดย Intel Gaudi 3 โดดเด่นในฐานะทางเลือกสำหรับ GenAI ที่นำเสนอการผสมผสานที่น่าสนใจระหว่างประสิทธิภาพด้านราคา ความสามารถในการขยายระบบ และความได้เปรียบด้านเวลาต่อมูลค่า”

สาระสำคัญ: ในปัจจุบันองค์กรทั่วไปในภาคอุตสาหกรรมที่สำคัญ เช่น การเงิน การผลิต และสุขภาพ กำลังมองหาเส้นทางที่รวดเร็วในการเข้าถึงเทคโนโลยี AI และการเข้าถึง GenAI จากช่วงทดลองไปสู่การใช้งานอย่างเต็มรูปแบบ สำหรับการจัดการการเปลี่ยนแปลงและการกระตุ้นนวัตกรรมและปฏิบัติการเติบโตทางรายได้ องค์กรธุรกิจต่างต้องการโซลูชันและผลิตภัณฑ์ที่เปิดเผย มีราคาที่เหมาะสม และมีประสิทธิภาพในการใช้พลังงานมากขึ้น ซึ่งตอบสนองต่อความต้องการในการลงทุนเพื่อกำไรและประสิทธิภาพการดำเนินงาน

โดยตัวเร่งความเร็ว Intel Gaudi 3 จะตอบสนองความต้องการเหล่านี้และนำเสนอความหลากหลายผ่านซอฟต์แวร์บนชุมชนแบบเปิดและอีเธอร์เน็ตมาตรฐานอุตสาหกรรมแบบเปิด ช่วยให้ธุรกิจต่าง ๆ สามารถปรับขนาดระบบ AI และช่วยให้เข้าถึงแอปพลิเคชันได้อย่างยืดหยุ่น

สถาปัตยกรรมที่ปรับเปลี่ยนได้ ส่งผลต่อประสิทธิภาพของ GenAI อย่างไร: ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบทางสถาปัตยกรรมเพื่อการประมวลผล AI ขนาดใหญ่ที่มีประสิทธิภาพ ผลิตขึ้นบนกระบวนการ 5 นาโนเมตร (nm) และมีความก้าวหน้าที่สำคัญมากกว่ารุ่นก่อน ตัวเร่งความเร็วรุ่นใหม่นี้ถูกออกแบบมาให้สามารถเปิดใช้งานเครื่องมือทั้งหมดพร้อมกัน ทั้ง Matrix Multiplication Engine (MME), Tensor Processor Cores (TPC) และ Networking Interface Cards (NIC) ทั้งหมดนี้ช่วยในการเร่งความเร็วที่จำเป็นสำหรับการคำนวณและการเรียนรู้เชิงลึกที่รวดเร็วและมีประสิทธิภาพ โดยมีคุณสมบัติที่สำคัญ ได้แก่:

• เครื่องประมวลผลเฉพาะด้าน AI: ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อให้มีประสิทธิภาพสูง การประมวลผล GenAI ประสิทธิภาพสูง ตัวเร่งความเร็วแต่ละตัวมีคุณลักษณะเฉพาะของกลไกการคำนวณที่แตกต่างกัน ซึ่งประกอบด้วย TPC แบบกำหนดเองโดย AI และแบบตั้งโปรแกรมได้ 64 ตัว และ MME 8 ตัว Intel Gaudi 3 MME แต่ละตัวมีความสามารถในการดำเนินการแบบขนานที่น่าประทับใจถึง 64,000 รายการ ทำให้มีประสิทธิภาพในการประมวลผลในระดับสูง เชี่ยวชาญในการจัดการการดำเนินการเมทริกซ์ที่ซับซ้อน ซึ่งเป็นประเภทของการคำนวณที่เป็นพื้นฐานของอัลกอริธึมการเรียนรู้เชิงลึก การออกแบบที่เป็นเอกลักษณ์นี้ช่วยเร่งความเร็วและประสิทธิภาพของการทำงานของ AI แบบคู่ขนาน และรองรับข้อมูลหลายประเภท รวมถึง FP8 และ BF16
• Memory Boost สำหรับความต้องการความจุ LLM: ความจุหน่วยความจำขนาด HBMe2 128 กิกะไบต์ (GB) แบนด์วิธหน่วยความจำขนาด 3.7 เทราไบต์ (TB) และ 96 เมกะไบต์ (MB) ของหน่วยความจำเข้าถึงโดยสุ่มแบบคงที่ (SRAM) บนบอร์ด ให้หน่วยความจำที่เพียงพอสำหรับการประมวลผลชุดข้อมูล GenAI ขนาดใหญ่ บน Intel Gaudi 3 ที่น้อยลง ซึ่งมีประโยชน์อย่างยิ่งในการรองรับภาษาขนาดใหญ่และโมเดลหลายรูปแบบ ส่งผลให้ประสิทธิภาพเวิร์กโหลดเพิ่มขึ้นและประสิทธิภาพด้านต้นทุนของศูนย์ข้อมูล
• การปรับขนาดระบบที่มีประสิทธิภาพสำหรับ GenAI ระดับองค์กร: การรวมพอร์ตอีเธอร์เน็ต 200 กิกะบิต (Gb) จำนวน 24 พอร์ตเข้ากับตัวเร่งความเร็ว Intel Gaudi 3 ทุกตัว จะทำให้เกิดเครือข่ายที่ยืดหยุ่นและสามารถเปิดใช้งานได้ตามมาตรฐาน ส่งผลให้ให้สามารถปรับขนาดได้อย่างมีประสิทธิภาพเพื่อรองรับคลัสเตอร์การประมวลผลขนาดใหญ่ และกำจัดการล็อคอินของผู้ขายจากแฟบริคเครือข่ายที่เป็นกรรมสิทธิ์ ตัวเร่งความเร็ว Intel Gaudi 3 ได้รับการออกแบบมาเพื่อการขยายขนาดอย่างมีประสิทธิภาพจากโหนดเดียวไปจนถึงหลายพันโหนด เพื่อตอบสนองความต้องการขนาดใหญ่ของโมเดล GenAI ได้อย่างเหมาะสม
• ซอฟต์แวร์อุตสาหกรรมแบบเปิดเพื่อประสิทธิภาพการทำงานของนักพัฒนา: ซอฟต์แวร์ของ Intel Gaudi ได้ผสานรวมเฟรมเวิร์ก PyTorch และมอบโมเดลตาม Hugging Face ที่ได้รับการปรับปรุง ซึ่งเป็นเฟรมเวิร์ก AI ที่พบบ่อยที่สุดสำหรับนักพัฒนา GenAI ในปัจจุบัน โดยสิ่งนี้จะช่วยให้นักพัฒนา GenAI สามารถทำงานในระดับสูง และได้รับความสะดวกในการใช้งานและการโยกย้ายโมเดลระหว่างชนิดฮาร์ดแวร์ได้โดยง่าย
• Gaudi 3 PCIe: สิ่งที่เพิ่มเข้ามาในสายผลิตภัณฑ์ Gaudi 3 คือ การ์ดเสริม Peripheral Component Interconnect Express (PCIe) ซึ่งถูกออกแบบมาเพื่อให้มีประสิทธิภาพสูงพร้อมกับการใช้พลังงานต่ำ เหมาะอย่างยิ่งสำหรับปริมาณงาน อย่างการปรับแต่งแบบละเอียด การอนุมาน และการสร้างเสริมการดึงข้อมูล (RAG) ที่มีขนาดเต็มสูงที่ 600 วัตต์ พร้อมความจุหน่วยความจำ 128GB และแบนด์วิธ 3.7TB ต่อวินาที

ตัวเร่งความเร็ว Intel Gaudi 3 จะช่วยปรับปรุงประสิทธิภาพที่สำคัญสำหรับงานฝึกอบรมและการอนุมานในโมเดล GenAI ชั้นนำ โดยเฉพาะอย่างยิ่ง ตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะส่งมอบโดยเฉลี่ยเมื่อเทียบกับ Nvidia H100:

• ใช้เวลาฝึกเร็วขึ้น 50%¹ สำหรับพารามิเตอร์ Llama2 7B และ 13B และโมเดลพารามิเตอร์ GPT-3 175B

• ปริมาณงานการอนุมานเร็วขึ้น 50%² และประสิทธิภาพพลังงานการอนุมานเพิ่มขึ้น 40%³ ในพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B ข้อได้เปรียบด้านประสิทธิภาพการอนุมานที่ดียิ่งขึ้นในลำดับอินพุตและเอาต์พุตที่ยาวขึ้น

• การอนุมานเร็วขึ้น 30%⁴ บนพารามิเตอร์ Llama 7B และ 70B และโมเดลพารามิเตอร์ Falcon 180B เทียบกับ Nvidia H200

ข้อมูลเกี่ยวกับการนำไปใช้ในตลาดและความพร้อมใช้งาน: ตัวเร่งความเร็ว Intel Gaudi 3 จะพร้อมให้บริการในไตรมาสที่สองของปี  2567 นี้ ผ่านผู้ผลิตอุปกรณ์ (OEMs) อาทิ Dell Technologies, HPE, Lenovo, และ Supermicro ในมาตรฐานอุตสาหกรรมของ Universal Baseboard และ open accelerator module (OAM) ทั้งนี้ ความพร้อมใช้งานทั่วไปของตัวเร่งความเร็ว Intel Gaudi 3 คาดว่าจะวางจำหน่ายในไตรมาสที่สามของปี 2567 และการ์ดเสริม Intel Gaudi 3 PCIe คาดว่าจะวางจำหน่ายในไตรมาสสุดท้ายของปี 2567

นอกจากนี้ ตัวเร่งความเร็ว Intel Gaudi 3 ยังขับเคลื่อนโครงสร้างพื้นฐาน LLM ในคลาวด์ ที่คุ้มต้นทุนสำหรับการฝึกอบรมและการอนุมาน โดยได้มีการเสนอข้อได้เปรียบด้านประสิทธิภาพด้านราคาและทางเลือกให้กับองค์กรที่ขณะนี้รวม NAVER ไว้ด้วย

นักพัฒนาสามารถเริ่มต้นใช้งานได้ตั้งแต่วันนี้ ผ่าน Gaudi 2-based instances  บนระบบคลาวด์ของนักพัฒนา เพื่อเรียนรู้ สร้างต้นแบบ ทดสอบ และรันแอปพลิเคชันและเวิร์คโหลด

จะเป็นอย่างไรต่อไป:  ตัวเร่งความเร็ว Intel Gaudi 3 จะเป็นรากฐานสำหรับ Falcon Shores ซึ่งเป็นหน่วยประมวลผลกราฟิก (GPU) ยุคถัดไปของอินเทล ในเรื่องของ AI และการประมวลผลประสิทธิภาพสูง (HPC) โดย Falcon Shores จะรวมทรัพย์สินทางปัญญา (IP) ของ Intel Gaudi และ Intel® Xe เข้ากับอินเทอร์เฟซการเขียนโปรแกรม GPU เดียวที่สร้างขึ้นบนข้อกำหนด Intel® oneAPI

###