עיצוב רשת אשכולות AI: Spine-Leaf, RoCE ו-NICs

עיצוב רשת אשכולות בינה מלאכותית הוא תהליך של שינוי גודל של שרת GPU, רוחב פס-עמוד השדרה, יחס מנוי יתר, הגדרות RoCE, אופטיקה וכבלים, כך שתעבורת אימון מבוזרת נשארת צפויה ככל שהאשכול מתרחב. תטעו בכל אחד מאלה והרשת - ולא ה-GPU - הופכת לצוואר הבקבוק.

מדוע רשת אשכולות בינה מלאכותית שונה

במרכז נתונים ארגוני מסורתי, הרשת מטפלת בשילוב של תעבורת משתמשים בצפון-דרום, גישה לאחסון, וירטואליזציה וניהול. תנועה מזרח-מערב קיימת אך לעתים נדירות היא העומס הדומיננטי. באשכול AI, המצב מתהפך. שרתי GPU המריצים אימון מבוזר מחליפים שיפועים ומסנכרנים פרמטרים במהלך כל שלב בעבודה. תקשורת זו היא חלק מהחישוב, לא תופעת לוואי שלו.

אם GPU של $30,000 מבלה 30% מזמנו בהמתנה ברשת במהלך כל-פעולות ההפחתה, האשכול משלם למעשה עבור 30% מיכולת המחשוב שלו כדי לשבת במצב לא פעיל. זו הסיבה הכלכלית לכך שרשתות בינה מלאכותית זוכה לתשומת לב רבה כל כך.

שלושה מאפייני עומס עבודה מניעים את התכנון:

• תנועה צפופה למזרח-מערב.פעולות תקשורת קולקטיביות כמו כל-צמצום, הכל-איסוף והקטנת-פיזור מייצרות פרצים מסונכרנים על פני צמתים רבים בו-זמנית.
• רגישות-השהיית זנב.צומת איטי בודד מעכב את כל שלב האימון. חביון צפוי חשוב יותר מהשהייה הממוצעת.
• קנה{0}}קנה מידה של צמיחה.אשכולות שמתחילים ב-32 GPUs לרוב גדלים ל-256 או 1,024 תוך 18 חודשים. על הבד להתקלקל ללא עיצוב מחדש.

מדוע עמוד השדרה-עלה מתאים לאשכולות בינה מלאכותית

Spine-leaf הוא המרקם הסטנדרטי למרכזי נתונים בקנה מידה גדול, מכיוון שהוא נותן לכל נתיב שרת-ל-שרת את אותה ספירת הופעה ואותו רוחב פס תיאורטי. עבור עומסי עבודה של AI, אחידות זו מתורגמת ישירות לזמני צעדי אימון צפויים יותר.

בטופולוגיית-עלים של עמוד שדרה, שרתי GPU מתחברים למתגי עלה, וכל עלה מתחבר לכל עמוד שדרה. כל תקשורת GPU-to-GPU חוצה בדיוק עלה אחד, עמוד שדרה אחד ועוד עלה אחד. אין שכבות צבירה המציגות חביון משתנה או נקודות חנק.

חביון צפוי

ניתוב-שווה בעלות-שווה (ECMP) מפזר זרימות על פני מתגי עמוד השדרה. כאשר מוגדרים בצורה נכונה עם ניתוב אדפטיבי או איזון עומסים דינמי, זה מונע התנגשויות גיבוב שגורמות לזרימות מסוימות להיות איטיות בהרבה מאחרות - בעיה ידועה בבדים סטטיים של ECMP הנושאים מעט זרימות אך גדולות, וזה בדיוק מה שמייצר אימון בינה מלאכותית.

רוחב פס חצוי גבוה

רוחב פס חצוי הוא התפוקה הזמינה בין כל שני חצאים שווים של האשכול. אימון בינה מלאכותית נהנה מעיצובים לא-חוסמים או כמעט-לא-חוסמים שבהם קיבולת העל-ל-שדרת הקישור למעלה שווה או כמעט שווה לקיבולת הקישור למטה הפונה לשרתים. ה-IETF מגדיר ודן במושגים אלה בRFC 7938, המכסה בדי Clos מנותבים של BGP-בשימוש נרחב במרכזי נתונים גדולים-.

קנה מידה קל יותר-

הוסף עוד עלים כדי להוסיף עוד שרתים. הוסף עוד קוצים כדי להוסיף יותר רוחב פס חצוי. עבור אשכולות מעבר לכמה אלפי GPUs, סופר-עמוד שדרה (5-שלבי Clos) או טופולוגיה מותאמת למסילה מרחיבים את אותו עיקרון עוד שכבה אחת.

רכיבי ליבה של רשת אשכולות בינה מלאכותית

שרתי GPU ו-NIC

ה-NIC הוא המקום שבו הבד פוגש את המארח. באשכולות בינה מלאכותית, בחירת NIC מניעה הכל במורד הזרם של מהירות יציאת מתג -, בחירת אופטיקה וצפיפות הכבלים.

קריטריוני בחירה לעומסי עבודה של AI:

• מהירות יציאה:200G, 400G או 800G לכל יציאה. התאמה לדור ה-GPU ולרוחב הפס PCIe.
• דור PCIe:NIC של 400G זקוק ל-PCIe Gen5 x16 כדי להימנע ממצערת- בצד המארח. כובעי PCIe Gen4 x16 ב-~256 Gbps ניתנים לשימוש.
• תמיכה ב-RDMA ו-RoCEv2:נדרש עבור -עקיפת ליבה ספריות תקשורת GPU כמו NCCL.
• GPUDirect RDMA:מאפשר להפנות GPU-ל-NIC DMA, הסרת עותקי זיכרון מארח.
• יכולת ריבוי-מסילות:שרתי AI רבים משתמשים ב-4 או 8 NICs לצומת, אחד לכל זוג GPU, לטופולוגיות-מתואמות מסילה.

שרת 8-GPU טיפוסי כיום משתמש ב-NIC של 4×400G (אחד לכל שני GPUs) או ב-8×400G NIC (אחד לכל GPU) בהתאם לעומס העבודה והתקציב. ארכיטקטורות התייחסות מתיעוד NVIDIA Networkingלכסות את פשרות העיצוב בפירוט.

מתגי עלים ועמוד שדרה

קריטריונים לבחירת מתגים עבור בדי AI שונים מהבחירה בארגון. גודל המאגר, התנהגות בקרת גודש וטלמטריה חשובים יותר מאשר רוחב התכונה.

• לכל-מהירות יציאה ורדיוס:מתג 51.2 Tbps ASIC מספק יציאות 64×800G או יציאות 128×400G. Radix קובע עד כמה הבד יכול להיות שטוח.
• ארכיטקטורת מאגר:חוצצים עמוקים סופגים התפרצויות נוצצות אך מוסיפים חביון. מאגרים רדודים מפחיתים את זמן ההשהיה אך דורשים בקרת גודש מדויקת.
• סט תכונות של RoCE:סימון ECN, PFC, DCQCN או בקרת גודש שווה, וטיפול נכון בתורי עדיפות מקצה-לקצה-.
• טלמטריה:טלמטריית רשת בתוך פס (INT), לכל-דיווח על עומק תור, ומונה רזולוציה של מיקרו-שניות- עבור סימני ECN והשהות PFC.

אופטיקה, כבלים DAC ו-AOC

ב-400G ו-800G, מפעל הכבלים הופך לבעיה הנדסית של ממש. גורמי צורה, תקציבי קישור ותצורות פריצה - כולם זקוקים לתכנון מוקדם.

• DAC (Direct Attach Copper):עד 3 מטרים ל-400G, העלות הנמוכה ביותר וההספק הנמוך ביותר. כבד ומגושם בקנה מידה.
• AOC (כבל אופטי פעיל):עד ~30 מטרים, דק יותר מ-DAC, אבל באורך- קבוע וצורך כוח אופטי בשני הקצוות.
• אופטיקה ניתנת לחיבור:נדרש מעבר למרחק AOC. גורמי הצורה QSFP-DD ו-OSFP שולטים ב-400G/800G. מכלולי סיבי MPO/MTP מטפלים בחיבורי הסיבים המקבילים-.

עבור קישורים בין-מתלים וכבלים מובנים ב-400G/800G, אופטיקה מקבילה על סיומי MPO היא כעת סטנדרטית. הבחירה בין כבלי תא מטען ומכלולי פריצה תלויה בהקצאת יציאת המתג שלך - ראה שלנומדריך כבל פריצת MPOלהיגיון הבחירה המעשי, והרחבה יותרהשוואה בין תא מטען MPO לעומת פריצהבעת תכנון ריצות-לעמוד השדרה-.

RoCE ו-Lossless Ethernet בבדי AI

RoCEv2 (RDMA over Converged Ethernet v2) הוא תעבורת ה-Ethernet הדומיננטית לעומסי עבודה של AI. זה מאפשר ל-NIC להעביר נתונים ישירות בין אזורי זיכרון GPU ללא מעורבות ליבה משני הצדדים. NCCL, ספריית התקשורת של GPU העומדת בבסיס כמעט כל מסגרות ההדרכה המבוזרות, משתמשת ב-RoCEv2 כאשר InfiniBand אינו זמין.

RoCE עובד היטב כאשר הוא מוגדר כהלכה. זה נכשל מכוער כאשר מוגדר בצורה לא נכונה. האיגוד הסחר של InfiniBandמפרסם את מפרטי ה-RoCE, ורוב ספקי ה-NIC והבוררים מפרסמים מדריכי תצורה מפורטים שיש לעקוב אחריהם מקצה לקצה-עד-.

מדוע חשובה התנהגות ללא אובדן

RDMA תוכנן בהנחה של הובלה ללא אובדן. כאשר מנות יורדות, שחזור RDMA הוא יקר - חזור-אחורה-שידור חוזר של N יכול לעכב שלב אימון במשך אלפיות שניות, וזה עצום ביחס לתקציב ה-RDMA בקנה מידה של מיקרו-שניות.-

כדי להעריך התנהגות ללא אובדן ב-Ethernet, הבד משתמש בשני מנגנונים הפועלים יחד:

• PFC (בקרת זרימה מועדפת, IEEE 802.1Qbb):מתג משהה תעבורה נכנסת בתור עדיפות ספציפי כאשר המאגר שלו מתמלא. זהו מנגנון-מוצא אחרון.
• ECN (הודעת גודש מפורשת, RFC 3168):בוררים לסמן מנות כאשר תורים מתקרבים לסף. ה-NIC מפחית את קצב השליחה שלו לפני שהמאגרים מתמלאים בפועל, ובאופן אידיאלי נמנע לחלוטין מ-PFC.

המטרה היא ש-ECN יבצע כמעט את כל ניהול הגודש, עם PFC כרשת ביטחון. אם אתה רואה הפסקות PFC תכופות בתנועה קבועה-, ערכי ה-ECN שלך שגויים או שהבד שלך נמוך.

כשלי פריסת RoCE נפוצים

כיצד לעצב רשת אשכולות בינה מלאכותית: מסגרת עבודה

זהו הסעיף שרוב מאמרי "רשת בינה מלאכותית" מדלגים עליהם. שבעת השלבים שלהלן נותנים לך תשומות ותפוקות קונקרטיות בכל שלב.

שלב 1: הגדר עומס עבודה וקנה מידה

כניסות:סוג עומס עבודה (אימון מקדים,-כיוונון עדין, הסקה, מעורבות), ספירת GPU יעד היום, ספירת GPU יעד בעוד 18 חודשים, טווח גודל דגם.

תְפוּקָה:פרופיל עומס עבודה המודיע על מהירות ה-NIC וסובלנות מנוי יתר. אימון מקדים גדול של דגמי חזית דורש בדים לא-חוסמים 400G+. עומסי עבודה-עדינים יכולים לסבול מנוי יתר של 2:1. צבירי מסקנות זקוקים לרוב לרוחב פס נמוך יותר אך להשהיית זנב נמוכה יותר.

שלב 2: בחר מהירות וספירה של NIC לכל שרת

היגיון החלטה:

• אימון מקדים של דגמים גדולים, שרתי 8-GPU → 4-8× 400G NICs לשרת, או 4× 800G
• אימון-בינוני, שרתי 8-GPU → 2–4× 400G NICs לשרת
• הגשת מסקנות ← 1–2× 200G או 400G NICs לשרת, תלוי בהקבלה של המודל

אמת את רוחב הפס של PCIe במארח. יציאת 400G יחידה דורשת PCIe Gen5 x16 לפעול בקצב קו; הכפלה ל-800G דורשת Gen6 או פיצול על פני שני חריצים.

שלב 3: גודל את שכבת העלים

דוגמה עבדה של - 32-צומת אשכול, 8 GPUs לצומת, 4× 400G NICs לצומת:

• סה"כ יציאות שרת-שדרושות: 32 × 4=128 יציאות ב-400G
• רוחב פס מטה לצומת: 4 × 400=1.6 טביט לשנייה
• רוחב פס כולל של אשכול downlink: 32 × 1.6=51.2 Tbps

באמצעות מתג עלים של 64 יציאות 400G (קיבולת כוללת של 25.6 Tbps), כל עלף יכול לחבר 32 יציאות שרת ולהשתמש ב-32 היציאות הנותרות כקישור למעלה. עם 4 עלים, אתה מכסה את כל 128 יציאות השרת. כל עלה תורם 32 × 400G=12.8 Tbps של קישור מעלה לכיוון עמוד השדרה.

שלב 4: גודל את שכבת עמוד השדרה

עבור עיצוב לא-חוסם (1:1), קיבולת הקישור הכוללת חייבת להיות שווה לקיבולת ההורדה הכוללת. משלב 3:

• סה"כ נדרש קישור מעלה עלים: 4 עלים × 12.8 Tbps=51.2 Tbps
• אם לכל עמוד שדרה יש יציאות של 32×400G=12.8 טביט לשנייה, אתה צריך 4 קוצים
• כל עלה מתחבר לכל ארבעת השדרות באמצעות 8 קישורים מעלה לכל עמוד שדרה (8 × 400G × 4=12.8 Tbps לכל עלה - התאמות)

אם משתמשים במתגי עמוד שדרה של 64 יציאות 400G, לכל עמוד שדרה יש קיבולת פנויה להגדלת האשכול, שימושי עבור התוכנית של 18 חודשים משלב 1.

שלב 5: הגדר את יחס מנוי היתר

שלב 6: הפרד תנועת מחשוב, אחסון וניהול

שלוש אפשרויות, לפי סדר הגדלת הבידוד:

• בד משותף עם שיעורי QoS:מחשוב, אחסון וניהול בסדרי עדיפויות נפרדים של DSCP. העלות הנמוכה ביותר; דורש תצורת QoS זהירה.
• רשתות VLAN/VRF מופרדות באופן לוגי:אותה חומרה, מטוסי בקרה נפרדים. שימושי עבור אשכולות ריבוי-דיירים.
• בדים נפרדים פיזית:NICs, מתגים וכבלים ייעודיים עבור מחשוב לעומת אחסון. העלות הגבוהה ביותר; נפוץ באשכולות מודל-בגבולות שבהם כל טענה אינה מקובלת.

תעבורת אחסון עבור AI היא בעצמה כבדה - המחסום כותב עבור דגם גדול יכול להעביר מאות גיגה-בייט בפרצים קצרים. תכננו את זה במפורש. מפעל כבלים מובנה בצפיפות- גבוהה המשתמשכבלי תא מטען MPO/MTPמפשט הפעלת בדים מקבילים באותה תשתית פיזית.

שלב 7: אימות לפני הייצור

בדיקות ברמת-רשת תופסות כמה בעיות. בדיקות ברמת עומס העבודה- תופסים את השאר.

• רוחב פס:iperf3 או ib_send_bw בין כל זוג צמתים; אמור להגיע ל-90%+ מקצב קו ה-NIC.
• חֶבִיוֹן:ib_read_lat או דומה; בדוק התפלגות, לא רק ממוצע. P99.9 חשוב יותר מממוצע.
• אובדן מנות:הפעל בדיקת השרייה של 24-שעות תחת עומס; כל הפסד שאינו אפס במחלקת תעבורה של RoCE הוא בעיה.
• התנהגות סימון ECN:ודא שסימנים מופיעים לפני ירי PFC; אם הפסקות PFC הן תכופות במצב יציב, כוונן מחדש.
• תקשורת קולקטיבית:הפעל בדיקות NCCL (all_reduce_perf, all_gather_perf) בגודל האשכול המלא. השווה מול מספרי סימוכין של ספקים.
• מבחן ברמת-תפקיד:הפעלת משרת הכשרה ייצוגית למשך 4-6 שעות. צפה בשימוש ב-GPU - בערכים מתמשכים מתחת ל-50% בדגם בגודל- מתאים בדרך כלל מעידים על בעיה ברשת.

רשת מרכזי נתונים מסורתיים לעומת AI Spine-בד עלים

Ethernet RoCE לעומת InfiniBand: מדריך החלטות מהיר

השאלה עולה כמעט בכל פרויקט אשכול AI. שניהם עובדים. הבחירה בדרך כלל מסתכמת בהתאמה תפעולית, לא בביצועים טהורים.

• בחר InfiniBand אם:הצוות שלך כבר מפעיל בדים של InfiniBand, אתה רוצה את הנתיב הפשוט ביותר להובלה ללא אובדן, או שאתה קונה ארכיטקטורת התייחסות לספקים-משולבת לחלוטין.
• בחר Ethernet RoCE אם:צוות התפעול שלך מקורי ב-Ethernet-, אתה רוצה אפשרויות בוררות- של ספקים, אתה צריך לשלב את מארג הבינה המלאכותית עם רשתות מרכזיות קיימות, או שאתה צופה קנה מידה מעבר למה שהטופולוגיות הנוכחיות של InfiniBand תומכות בצורה נקייה.

קונסורציום Ultra Ethernet, שהוקם בשנת 2023, עובד באופן פעיל על סטנדרטיזציה של שיפורים ב-Ethernet במיוחד עבור עומסי עבודה של AI. עבור רוב האשכולות החדשים בשנת 2026, Ethernet RoCE הוא ברירת מחדל הניתנת להגנה אלא אם יש סיבה ספציפית לבחור אחרת.

טעויות נפוצות שיש להימנע מהן

שדרוג מתגים ללא בדיקת NIC

בד מתג של 800G לא עושה לך כלום אם ה-NIC שלך פועל על 400G או שה-PCIe המארח שלך אוזל ברוחב הפס. תכננו תחילה את צד המארח, ואז את צד המתג. PCIe Gen5 x16 מגביל יציאה בודדת לכ-504 Gbps תפוקה אמיתית-בעולם - נוחה עבור 400G, שולית עבור 800G.

ביציאות של 64-יציאות 400G, הכבלים מתחת לכל מתג יכולים להפוך לבלתי ניתנים לניהול פיזית ללא תכנון. השתמש בכבלי פריצה במידת הצורך, נתב סיבים דרך מסלולים מובנים ותקן את סוגי המחברים. איכות המחברים והסיום חשובים במהירויות גבוהות - שלנומדריך לסוגי מחברי סיבים אופטייםמכסה את הפערים בין LC, MPO וגורמי צורה-מתעוררים בצפיפות גבוהה.

התייחסות ל-RoCE כאל Plug-and-Play

טעות התכנון הגדולה ביותר באשכולות בינה מלאכותית אמיתית היא לא לבחור במתג השגוי - זה ממעיט בכמה עבודת תצורת RoCE נדרשת מקצה-ל-סיום. זמן תקציב לכוונון ספי ECN, עדיפויות PFC ועקביות MTU. תכנן שלב אימות ייעודי לפני הפעלת עומס ייצור כלשהו.

ערבוב כל התנועה על בד אחד ללא QoS

שכפול אחסון, סוכני ניטור ותעבורת ניהול יכולים להרוס את זמני צעדי האימון אם הם חולקים מאגרים עם תעבורת מחשוב. או להפריד אותם פיזית או לאכוף מחלקות QoS קפדניות עם עדיפויות נפרדות ותצורת ECN.

בניין לאשכול של היום בלבד

רוב אשכולות הבינה המלאכותית גדלים ב-4-8× תוך שנתיים מהפריסה הראשונית. בחר רדיוס מתג וקיבולת עמוד השדרה המאפשרים התרחבות ללא-הפרעה. משיכת כבלים במרכז נתונים חי בינה מלאכותית היא יקרה; קיבולת תכנון צינור ותיקון בזמן הפריסה זולה.

מתי לעלות מ-400G ל-800G

NICs ומתגים של 800G זמינים אך יקרים יותר לכל יציאה. שקול להגביר כאשר:

• לכל -רוחב הפס של GPU עולה על מה ש-400G יכול לספק - לדוגמה, H100 ומעבדי GPU חדשים יותר עם NVLink 5 מצפים לרוחב פס חיצוני גבוה יותר
• NCCL הכל-מפחית את קנה המידה של הזמנים בצורה גרועה עם גודל האשכול, מה שמציין רוויה ברשת
• צפיפות כבלים ב-400G הופכת בלתי ניתנת לניהול פיזית - פחות יציאות 800G יכולות להחליף יותר יציאות 400G
• דור ה-GPU הבא במפת הדרכים שלך צפוי להזדקק לו בתוך חלון הפחת של האשכול
• אתה בונה אשכול הדרכה-בחזית שבו כל זמן סרק מחשוב עולה משמעותית יותר משדרוג האופטיקה

עבור רוב אשכולות הייצור ב-2026, 400G נשאר האיזון הנכון בין עלות, בשלות מערכת אקולוגית ויכולת. 800G הגיוני בקצה הגבוה וכהשקעה קדימה לאשכולות הנבנים היום וצפויים לפעול למשך 4-5 שנים.

מַסְקָנָה

רשת אשכולות הבינה המלאכותית החזקה ביותר היא לא זו עם המתגים המהירים ביותר. זה זה שבו בחירת NIC, גודל עלים/עמוד שדרה, מנוי יתר, תצורת RoCE, הפרדת תעבורה וכבלים פיזיים כולם תומכים זה בזה ובעומס העבודה שהם נבחרו עבורו.

התחל מעומס העבודה ומתוכנית הצמיחה של 18-חודשים. חשב את צרכי רוחב הפס בכל שכבה באמצעות מספרים אמיתיים, לא רק כללי אצבע. קבע את התצורה של RoCE end-כדי-להסתיים ואמת עם מדדי תקשורת קולקטיביים אמיתיים. תקציב למפעל הכבלים - ב-400G ו-800G, השכבה הפיזית כבר לא טריוויאלית.

האשכול שמעסיק את ה-GPU שלו בניצול של 95%+ בכל שלב אימון הוא זה ששם לב לכל השכבות הללו. האשכול הנשלח עם מתג מהיר יותר ובד איטי יותר יבלה שנים בהסבר מדוע ה-GPUs לא פעילים.

קריאה נוספת

• RFC 7938 - BGP במרכזי נתונים גדולים-
• InfiniBand Trade Association - מפרטי RoCE
• תיעוד רשת של NVIDIA
• מדריך התקנת כבל סיב אופטי
• הסבר הפסד הכנסה לעומת הפסד החזר