InfiniBand לעומת RoCE עבור רשתות AI Inference

לִבחוֹראינפיניבנדכאשר עומס העבודה שלך מסקנות חי או מת על ידי השהיית זנב צפויה, ובחרRoCE(RDMA over Converged Ethernet) כאשר אתה רוצה ביצועים בדרגת RDMA- על מארג Ethernet, אתה יכול להתאים, לשתף ולפעול עם הצוות שכבר יש לך. אף אחת מהאפשרויות לא מנצחת בכל מקום. השיחה הנכונה תלויה בדפוס ההסקה שלך, יעדי האחזור שלך ב-p99 ו-p999, בקנה המידה של GPU, בתקציב ובכמה מומחיות של כוונון Ethernet ללא הפסדים-יש למעשה בצוות שלך.

מדוע הרשת חשובה יותר ממה שצוותי ההסקה מצפים

במשך שנים התייחסו להסקה כאל החצי הקל של סיפור ה-GPU: מודל שנטען על צומת בודד, בקשות שהוגשו באופן עצמאי, מעט מאוד תעבורה מזרחית-מערבית. התמונה הזו מיושנת כעת. מסקנות מודרניות מופצות יותר ויותר, ומספר דפוסים מפעילים לחץ אמיתי על הבד.

• מקביליות טנזורמפצל שכבה אחת על פני GPUs, כך שכל שלב אסימון מפעיל את כל פעולות -הפחתה או כל-איסוף ביניהן. זוהי תעבורת GPU תכופה,-רגישה, חוצה-השהייה שמעבדי GPU חוסמים בזמן ההמתנה.
• מקביליות צנרתהפעלת ידיים משלב אחד למשנהו, לעתים קרובות על פני צמתים, ומוסיפה תלות חוצה-צמתים לכל מעבר קדימה.
• מילוי מראש ופענוח מפורקיםמפריד את שלב המילוי הקדום של המחשוב-משלב הפענוח הרגיש-להשהיה, ואז מעביר את מטמון ה-KV ביניהם. ההעברות הללו גדולות ומתפרצות, וכל עיכוב מופיע ישירות כזמן איטי יותר-ל-אחזור-האסימון הראשון ובין-האחזור.
• אחזור-דור מוגבר (RAG)מוסיף תעבורת מזרח-מערב לשירותי וקטור וחיפוש. בדרך כלל זה פחות קריטי- מאשר פעולות קולקטיביות, אבל הוא עדיין טוען את המרקם, במיוחד בנפח שאילתה גבוה.
• הגשה מרובה-דייריםמעמיד דגמים ומשתמשים רבים על אותו הבד, שבו התפרצויות מיקרו ואפקטים-רועשים של שכנים הופכים לסיכון הדומיננטי.

כשהרשת היא צוואר הבקבוק, הסימפטומים יקרים: זמן רב יותר-ל-הראשון-אסימון, GPUs נתקעים בזמן שהם ממתינים לנתונים, תפוקה שקורסת תחת פרצים ו-p95 ו-p99 לא יציבים. והנה החלק שמעלה את המדדים: זמן השהיה הממוצע מסתיר את כל זה. מסקנות ייצור נשפטות על הזנב, לא על הממוצע.

InfiniBand לעומת RoCE: טבלת סיכום עבור AI Inference

מה זה InfiniBand?

InfiniBand הוא מארג רשת בנוי-תכליתי שתוכנן מההתחלה עבור זמן אחזור נמוך, תפוקה גבוהה ותקשורת ללא הפסדים. זה לא טעם מהיר יותר של Ethernet. הוא מגיע עם מתאמי ערוץ מארח משלו, מתגים, מנהל רשת משנה, מערכת אקולוגית של כבלים ומודל בקרת גודש-. הערך המגדיר שלו הוא התנהגות דטרמיניסטית: GPUs רבים יכולים לתקשר עם דרישות תזמון הדוקות, והמארג ממשיך להתנהג בעקביות גם כאשר התעבורה הקולקטיבית כבדה.

פלטפורמות InfiniBand מודרניות ב-AI-מרחיבות את הבסיס הזה עם יכולות המכוונות באופן ישיר לאשכולות GPU גדולים. קו Quantum InfiniBand של NVIDIA, למשל, מוסיףניתוב אדפטיבי, ב-מחשוב רשת ובקרת גודש מבוססת-טלמטריה, שעוזרים למארג לפזר את התנועה בצורה חכמה ולבודד עומס של דייר אחד משל אחר. להסיק, InfiniBand מרוויח את מקומו כאשר עומס העבודה אינו יכול לסבול ריצוד או כאשר מספר צמתים של GPU חייבים להחליף נתונים במהירות ובעקביות.

הפשרות- הן עלות, ריכוז מערכות אקולוגיות והתמחות תפעולית. בד InfiniBand ייעודי פירושו מתגים, מתאמים, כבלים או מודולים אופטיים ייעודיים, ומהנדסים נוחים עם ניהול בד InfiniBand. עבור ארגון שכבר מנהל שטחי Ethernet גדולים, חיבור על מארג נפרד מוסיף מורכבות רכש, תכנון חלקי חילוף וניטור תקורה.

מה זה RoCE (RDMA over Converged Ethernet)?

RoCE מביא RDMA, זיכרון ישיר-ל-העברת נתוני זיכרון עם תקורה נמוכה של CPU, לרשתות Ethernet. RoCEv2, הגרסה המשמשת במרכזי נתונים מודרניים, ניתנת לניתוב על פני רשתות IP שכבה 3 והותקנה על ידיאיגוד הסחר של InfiniBand. הניתוב הזה הוא מה שמאפשר ל-RoCE להשתלב באופן טבעי בעיצובי עמוד השדרה של-אתרנט תוך שימוש חוזר ב-NIC, מתגים, אופטיקה וכלי ניטור מוכרים.

המלכוד הוא שהעברת RDMA מניחה רשת כמעט ללא הפסדים.- זרוק חבילה וההעברה נופלת חזרה להתנהגות שידור חוזר שפוגעת בהשהיית הזנב. אז RoCE צריך את ה-Ethernet שמתחתיו כדי להתנהג כמו בד נטול אובדן, וזה תלוי בתצורה זהירה של שני מנגנונים במיוחד:בקרת זרימה עדיפות (IEEE 802.1Qbb), שמשהה שיעור תנועה בודד כדי למנוע נפילות, והודעת גודש מפורשת (ECN), שמאותת על גודש מוקדם כך שהשולחים מאטים את מהירות הנסיעה לפני שהמאגרים גולשים. הוסף לזה ניהול תור, הקצאת מאגר ומיפוי QoS, ויתברר ש-RoCE בעל ביצועים גבוהים- אינו Ethernet רגיל.

בוצעה היטב, RoCE מספקת חביון ותפוקה מספיקים עבור מגוון רחב של שירותי מסקנות ייצור, ועומסי עבודה רבים של הסקת מסקנות מסונכרנים בצורה פחות הדוקה מהדרכה מבוזרת, מה שפועל לטובת RoCE. אם נעשה בצורה גרועה, הוא מייצר אובדן מנות, חסימת-ראש-קו, התפשטות גודש וזנבות לא יציבים, כל אלה מתורגמים ישירות לאיכות שירות ירודה.

InfiniBand לעומת RoCE Latency: מה עדיף עבור p99 Inference?

שני הבדים יכולים לספק רשתות-רוחב פס גבוה,-השהייה נמוכה. הם שונים באיך שהם מגיעים לשם. InfiniBand הוא דטרמיניסטי לפי בנייה, כך שהריצוד נשאר נמוך גם תחת עומס מעורב. RoCE יכול להתאים אותו לעומסי עבודה רבים, אך התוצאה תלויה במארג ה-Ethernet ובמידת ההתאמה שלו.

מנקודת מבט של פריסה, הבעיה האמיתית בייצור היא רק לעתים רחוקות רוחב פס שיא. הוא רועד תחת תנועה מעורבת, מתפרצת, מרובת-דיירים. בד RoCE שמצליח במבחן תפוקה נקי, -איפרפר, עדיין יכול לפספס את יעד ה-p99 שלו ברגע שבו מיקרו-פרצי ים ומחלוקת נכנסים לתמונה. הפער הזה בין מדד מעבדה ל-SLA של ייצור הוא המקום שבו חיים רוב ההפתעות.

ל-InfiniBand יש את היתרון כאשר:

• לשירות יש יעדי אחזור קפדניים של p99 או p999.
• הסקת מסקנות משתרעת על מספר צמתים של GPU עם מקביליות טנזור או צינור, או משתמשת במילוי מוקדם ופענוח מפורקים.
• ניצול ה-GPU רגיש מאוד לעיכוב ברשת, כך שהדוכנים יקרים.
• האשכול מפעיל מספר קטן של עומסי עבודה-בעדיפות גבוהה שבהם יכולת החיזוי גוברת על הגמישות.

RoCE בדרך כלל מספיק טובה כאשר:

• הבקשות הן לרוב עצמאיות, או שהצימוד רופף.
• העבודה פועלת בתוך צומת או מספר קטן של צמתים.
• תפוקת אצווה חשובה יותר מאשר אחזור זנב נמוך במיוחד-.
• הצוות כבר מפעיל אתרנט, וגמישות עלות או ספק היא בראש סדר העדיפויות.
• האשכול תומך במספר דיירים או בעומסי עבודה מעורבים.

עלות RoCE לעומת InfiniBand: מה בעצם מניע את TCO?

RoCE נקראת לעתים קרובות האפשרות הזולה יותר, אך מחיר המתג הוא חלק קטן מהתמונה. השוואה מציאותית מסתכלת על כל הערימה: מתאמי רשת או HCAs, מתגים, מודולים אופטיים, DAC, AOC וכבלי סיבים, טופולוגיית מתלים, מתח וקירור, מערכת ההפעלה של הרשת, ניטור וטלמטריה, זמן הנדסה, חלקי חילוף, תמיכה בספקים והדרך ל-400G או 800G.

InfiniBand בדרך כלל נושאת עלות מוקדמת גבוהה יותר מכיוון שהיא דורשת בד ייעודי ורכיבים מיוחדים. בסביבות שבהן התנהגות דטרמיניסטית היא בראש סדר העדיפויות, היא יכולה להפחית את מאמץ הכוונון ופתרון הבעיות שדורש מארג Ethernet נטול אובדן. RoCE מוריד את עלות החומרה כאשר ניתן לעשות שימוש חוזר באחוזה Ethernet קיימת, עם התמיכה הנכונה ב-Data Center Bridging, אך היא מעבירה את המאמץ לתכנון, אימות, ניטור ופתרון תקלות של המרקם נטול הפסדים. עיצוב RoCE בעלות-נמוכה מתייקר מהר אם הוא גורם לאחזור לא יציב ולכיבוי שריפות חוזר.

העלות והסיכון מתרכזים בשכבה הפיזית כאשר המהירויות מטפסות. ב-400G ו-800G, האופטיקה שולטת הן במצב החשבון והן במצב הכשל. רוב היציאות המהירות-גבוהות נוחתותQSFP-DD או גורמי צורה דומים, והתאמה לימיןאופטיקה במצב-יחיד או ריבוי מצביםלטווח ההגעה שלך בפועל היא אחת הדרכים הפשוטות ביותר להימנע מהוצאות יתר על בד שאינו זקוק למודולים למרחקים ארוכים.-

ניסוח ברור: RoCE אינה האפשרות הזולה יותר אם הצוות שלך חסר מומחיות-נטולת הפסד ב-Ethernet. את החיסכון בחומרה ניתן לאכול במהירות על ידי העלות ההנדסית של שמירה על יציבות הבד.

מדרגיות ותפעול

מדרגיות היא יותר מספירת יציאות. זה כולל באיזו קלות הבד נפרס, מנוטר, מורחב ומשחזר כאשר משהו נכשל.

InfiniBand חזק כאשר האשכול מעוצב כמארג ייעודי-בעל ביצועים גבוהים מהיום הראשון. הוא מספק התנהגות עקבית בקנה מידה, אבל הוא מצפה לכלים ספציפיים של InfiniBand-, כגון מנהל רשת משנה וניהול מארג מאוחד, וצוות שמרגיש בנוח עם מושגי InfiniBand. זה הופך אותו להתאמה טבעית לאשכולות AI מרכזיים הבנויים סביב עומסי עבודה של GPU.

חריצי RoCE לעיצובי מרכזי נתונים של Ethernet: טופולוגיות-עלים, ניתוב IP, ECMP ושיטות ניטור מוכרות. זו בדיוק הסיבה שהוא פונה לסגנון-ענן ולתשתית GPU מרובה-דיירים. המשמעת שהיא דורשת היא עקביות. PFC, ECN, QoS, ניהול מאגר ובקרת גודש צריכים להיות מתוכננים בצורה קוהרנטית לאורך כל הנתיב, מכיוון שתצורה שגויה קטנה בפינה אחת של המארג עלולה להתפשט ולפגוע בעומסי עבודה רבים בבת אחת. גם השכבה הפיזית צריכה להתאים בצורה נקייה; צפיפות- גבוההכבלים MPO ו-MTP ופריצהשומר על בד שגדל-ניתן לניהול במקום להפוך כל הרחבה לפאזל כבלים.

ראוי לציין את נקודת-תמונת המראה: קשה להצדיק את InfiniBand כאשר ההסקה נשארת בעיקר בתוך צומת בודד והבד בקושי מיושם.

איזו רשת עבור כל עומס עבודה

כאשר RoCE מספיק טוב ומתי הוא הופך למסוכן

RoCE מספיק טוב עבור בקשות עצמאיות או משולבות באופן רופף, עבודת אצווה-מתכוונת תפוקה ואשכולות ריבוי-דיירים שבהם אתה יכול לכוון את הבידוד, במיוחד כאשר הצוות שולט ב-Data Center Bridging Ethernet. זה הופך למסוכן בדרכים ספציפיות ומוכרות:

• סופות PFC.מסגרות השהות מתפשטות במעלה הזרם ומקפיאות תנועה שלא הייתה קשורה לעומס המקורי.
• חסימת-ראש-קו.מיפוי עדיפות גס מאפשר לכיתה צפופה אחת לעכב אחרים בשיתוף תור.
• טועה של ECN.סמן מאוחר מדי ותקבל טיפות; סמן בצורה אגרסיבית מדי ואתה מצער את התפוקה שלא לצורך.
• גודש מיקרו-פרץ.תת--שניה של פרצי גלישה במאגרים אבל נשאר בלתי נראה לניטור שדוגמים ברזולוציה-שנייה אחת.
• תצורה לא עקבית.הגדרות לא תואמות על פני העלים והשדרה גורמות לגודש להתפשט במקום להישאר מקומי.

אף אחד מאלה אינו סיבות להימנע מ-RoCE. הן סיבות לעצב את הבד ללא הפסדים בצורה קוהרנטית מקצה לקצה ולהשקיע בטלמטריה עדינה-, מודעת למיקרו-פריצות- לפני שתבצע קנה מידה.

כאשר InfiniBand שווה את זה, וכאשר אתה קונה יתר על המידה

InfiniBand שווה את הפרמיה שלה עבור יעדי p99 ו-p999 קפדניים, הגשת ריבוי-צמתים צמודים, ועומסי עבודה קריטיים-למשימה שבהם קנסות SLA גבוהים, במיוחד באשכול GPU ייעודי שתוכנן סביב הבד. סביר להניח שאתה קונה יתר על המידה כאשר ההסקה נשארת בתוך צומת, כאשר העבודה היא אצווה מוכוונת תפוקה-, כאשר אתה צריך את אותו מארג כדי לשאת גם אחסון, ניהול ותעבורת ענן מרובה-דיירים, או כאשר אתה פשוט חסר את היכולת התפעולית להפעיל את InfiniBand בצורה טובה.

העלויות שאינן מופיעות בהצעת המתג הן אמיתיות: ריכוז מערכות אקולוגיות, התקורה של הפעלת מארג שני במקביל לרשת ה-Ethernet שלך, ותכנון נפרד לחלפים, אופטיקה וניטור.

כיצד לבדוק את InfiniBand לעומת RoCE לפני שתבחר

אל תחליט על מוניטין פרוטוקול או גיליון מפרט. החליטו על אמת מידה שדומה לייצור. רצף מעשי:

• הגדר את ה-SLA בזנבות.הגדר את p50, p95, p99, ו-p999 עבור זמן-ל-הזמן-ראשון-האחזור בין-אסימון, לא רק ממוצע.
• הפעל מחדש תנועה מציאותית.השתמש בגדלים מתפרצים ומעורבים ובמקבילות מרובה-דיירים במקום בזרם נקי אחד.
• עומס לעומס.דחוף את הבד עד שהוא באמת מתמודד, ואז מדדו את ניצול ה-GPU. אם GPUs נתקעים ברשת, הבד הוא צוואר הבקבוק שלך.
• צפו במונים הנכונים.עקוב אחר מסגרות הפסקה, סימני ECN, נפילות מנות, שידורים חוזרים, מוני שגיאות יציאה, וב-400G ו-800G, שגיאות FEC.
• אמת את השכבה הפיזית.ענייני סיבים נקיים, מותקנים כהלכה;התקנת סיבים זהירהמונע שגיאות לסירוגין, שקשה-לא-לאבחן שגיאות שקישורים מהירים- מועדים להן.

אם RoCE מחזיקה ביעד ה-p99 שלה תחת עומס ריאלי, מתמודד, מרובה-דיירים עם מונים יציבים, זוהי בחירה חזקה וחסכונית-. אם הוא עובר רק בדיקות זרם יחיד- נקיות, עדיין לא בדקת את הדבר שקובע את ה-SLA שלך.

טעויות נפוצות שיש להימנע מהן

• בהנחה שכל מסקנות הן רשתות קלות.מסקנות מסוימות הן פשוטות ועצמאיות; חלקם מבוזרים, רגישים לאחזור-ורעבים לרוחב פס-. התייחסות לכל זה כקל מובילה לתשתית מובנית.
• השוואת זמן חביון ממוצע בלבד.מסקנות ייצור תלויות בזנב. הערך תמיד את p95, p99 ו-p999 תחת תעבורה מציאותית.
• התייחסות ל-RoCE כאל תקע-והפעל-אתרנט.RoCE בעל ביצועים גבוהים-צריך עיצוב בד ללא אובדן-מכוון, בקרת גודש וצפייה מתמשכת.
• בחירת InfiniBand רק בגלל שהיא מהירה יותר.אפשרות הביצועים הטובה ביותר היא לא תמיד האפשרות העסקית הטובה ביותר. אם עומס העבודה אינו זקוק להתנהגות דטרמיניסטית, RoCE עשוי לספק ערך טוב יותר.
• התעלמות מהרובד הפיזי.ב-400G ו-800G, כבלים, אופטיקה, מחברים וניקיון הסיבים יוצרים שגיאות לסירוגין שקשה למצוא ויקר לתקן.

שורה תחתונה

להסקת AI, InfiniBand ו-RoCE שניהם תקפים, והם משרתים סדרי עדיפויות שונים. בחר ב-InfiniBand כאשר אתה זקוק לרשת השהייה-הנמוכה ביותר עבור-זמן אמת, רגישה ל-SLA- או מסקנות צמודות. בחר ב-RoCE כאשר אתה זקוק למארג ניתן להרחבה, מבוסס-Ethernet, יעיל-עלויות להסקת אצווה, שירותי GPU מרובי-דיירים, עומסי עבודה של RAG ותשתית גמישה.

ההחלטה צריכה להתחיל בעומס העבודה, ביעד ההשהיה, בסולם האשכולות, ביכולת התפעול שלך ובמפת הדרכים של השדרוג, לא בפרוטוקול. אם האשכול שלך חייב להחזיק P99 קפדני תחת עומס כבד, InfiniBand ראוי להתייחסות רצינית. אם המטרה שלך היא להגדיל את ההסקות בצורה כלכלית על פני מרכז נתונים Ethernet, RoCE הוא בדרך כלל הנתיב המעשי יותר. כך או כך, בדוק תחת ייצור-כמו עומס לפני שאתה מתחייב.