ในช่วงไม่กี่ปีที่ผ่านมา ปัญญาประดิษฐ์ที่สละสลวย การเรียนรู้เชิงลึก และคำวิเศษณ์อื่นๆ ไม่มีวิธีอื่นใดในการเรียกการเพิ่มฮาร์ดแวร์ของหน่วยประเภทใหม่ที่สามารถดำเนินการทางคณิตศาสตร์ด้วยเมทริกซ์ด้วยความเร็วสูง ดีกับอัตราต่อรองทั้งหมด เอเอ็มดี ได้ซ่อนรายละเอียดในตัวประมวลผลกราฟิกด้วย สถาปัตยกรรม RDNA 3 ที่เกี่ยวข้องกับมัน พวกเขาถูกเรียกว่า คำแนะนำ WMMA และพวกเขานำมาซึ่งการเปลี่ยนแปลงที่สำคัญมาก ซึ่งไม่เคยมีมาก่อนในกราฟิกการ์ดเกมของ AMD
พวกคุณที่เป็นทหารผ่านศึกมากกว่าจะจำได้ว่าในยุค 90 คำว่ามัลติมีเดียสะท้อนได้มากเท่ากับปัญญาประดิษฐ์ในปัจจุบัน เหตุผล? การเพิ่มหน่วย SIMD ในโปรเซสเซอร์ของปีกลาย วันนี้ก็เกิดขึ้นเช่นเดียวกันกับการคำนวณเมทริกซ์และปัญญาประดิษฐ์ ในที่สุด AMD ก็นำยูนิตเหล่านี้มาใช้ใน GPU ในประเทศของตนในที่สุด หลังจากสี่ปีนับจากนี้ NVIDIA จะเปิดตัว RTX แรกกับพวกเขา
หน่วยทำงานกับเมทริกซ์
หนึ่งในหัวหอกของ NVIDIA ใน GPU คือการเพิ่มที่เรียกว่า แกน Tensor ไปยัง RTX ซึ่งไม่มีอะไรมากไปกว่าประเภทของการดำเนินการที่เรียกว่าอาร์เรย์ซิสโตลิก ข้อได้เปรียบหลัก? ความสามารถในการทำงานกับอาร์เรย์ข้อมูลด้วยความเร็วสูง โครงสร้างทางคณิตศาสตร์ประเภทนี้มีความสำคัญต่ออัลกอริธึมปัญญาประดิษฐ์และสามารถจัดเก็บข้อมูลจำนวนมากได้ ภาพคืออะไร ตัวอย่างเช่น? อาร์เรย์ของพิกเซล
เนื่องจากเมทริกซ์ไม่มีอะไรมากไปกว่าเวกเตอร์ของมิติ N จนถึงตอนนี้หน่วยเวกเตอร์หรือ SIMD ถูกใช้เพื่อดำเนินการเหล่านี้ ซึ่งสามารถดำเนินการคำสั่งเดียวกันควบคู่ไปกับตัวถูกดำเนินการที่แตกต่างกันหลายตัว อย่างไรก็ตาม แม้ว่าพวกเขาจะสามารถรันคำสั่งดังกล่าวได้ แต่ก็ทำได้ช้ากว่าที่เราเรียกว่า systolic array
ด้วย NVIDIA ที่มีไดรฟ์เทนเซอร์และ อินเทล หลังจากเพิ่ม XMX ซึ่งเป็นเพียงชื่อทางการค้าสำหรับแนวคิดเดียวกัน แต่สิ่งที่ขาดหายไปคือ AMD ไม่ว่าในกรณีใด การหายไปนั้นค่อนข้างจะอยู่ใน GPU สำหรับคอมพิวเตอร์ที่บ้านและเวิร์กสเตชัน นับตั้งแต่ในโลกของการประมวลผลประสิทธิภาพสูงหรือ HPC AMD Instinct ที่ใช้ CDNA ก็อยู่กับไดรฟ์เหล่านี้มาเป็นเวลานาน
WMMA, Matrix Core Units สำหรับ RX 7000
ชื่อที่ AMD มอบให้กับอาร์เรย์ซิสโตลิกคือ Matrix Core Units ซึ่งได้รับ ยังไม่เผยแพร่ใน RDNA และ RDNA 2 . หลังจากมีข่าวลือหลายครั้งว่า AMD จะไม่เดิมพันกับหน่วยประเภทนี้ใน GPU ของตน ปรากฎว่าในที่เก็บ LLVM มีการอ้างอิงถึง รวมคำแนะนำ WMMA สำหรับ GFX11 ซึ่งเป็นสิ่งที่ AMD เรียกว่าสถาปัตยกรรม RDNA 3 ของมัน GPU ในอนาคตเช่น RX 7000 และโปรเซสเซอร์เช่น Phoenix .
ในที่เก็บ ตัวย่อ วมว อธิบายว่าเป็น Wave Matrix Multiply สะสม และอธิบายไว้ว่า:
การดำเนินการเหล่านี้ทำการคูณเมทริกซ์และบวกในรูปของ: D = A*B+C
ซึ่งเตือนเราถึงโครงสร้างที่กำหนดโดย NVIDIA เพื่ออธิบาย Tensor Cores นอกจากนี้ อย่างที่คุณเห็น บริษัทคู่แข่งของ AMD ก็ใช้แนวคิด WMMA ด้วย นอกจากนี้ การนำไปใช้ใน AMD GPUs ของยูนิตประเภทนี้ยังถูกเปิดเผยด้วยรูปลักษณ์ในแนวทแยงที่ซอร์สโค้ด
- เมทริกซ์ผลลัพธ์ (D) ที่กำหนดในรูปแบบทศนิยม 32 บิตหรือ 16 บิต และเมทริกซ์ 3 ตัวที่ทำงานในรูปแบบทศนิยม 16 บิตหรือรูปแบบ BFLOAT16
- ค่าสุดท้ายของ D เป็นจำนวนเต็ม 32 บิต และ A, B และ C เป็นจำนวนเต็ม 4 หรือ 8 บิต
สรุปคือเราพบว่า AMD ได้เพิ่มคำสั่ง WMMA ใน RDN A ซึ่งหมายถึงการเพิ่มหน่วยเพื่อทำงานกับเมทริกซ์ นั่นคือ ในที่สุด AMD GPUs ก็จะมี Tensor Cores ของตัวเอง . ซึ่งนิยมใช้กันมากในโลกของปัญญาประดิษฐ์และเป็นหนึ่งในองค์ประกอบ
