אתגרי הכוח של מרכז הנתונים בינה מלאכותית: תיקון צווארי בקבוק ב-Rack

מרכזי נתונים בינה מלאכותית משכתבים את הכללים של עיצוב תשתיות כוח. מתלה של שרתי CPU קונבנציונליים גרר פעם כ-10 קילוואט. מתלה NVIDIA GB200 NVL72 עם תצורה מלאה שואבת כעת בערך 120 קילוואט, ומפות הדרכים לשנת 2026 כבר מצביעות על מתלים המתקרבים ל-600 קילוואט. במקביל, הסוכנות האנרגיה הבינלאומית צופה שהביקוש העולמי לחשמל מרכזי נתונים יוכפל יותר מ-945 TWh עד 2030, עם AI בתור הדרייבר היחיד הגדול ביותר. עבור מפעילים, זה משנה את שאלת הליבה. זה כבר לא"האם יש לנו מספיק קיבולת כוללת?"אֲבָל"האם ארכיטקטורת הכוח שלנו יכולה לספק כוח נקי, מיותר ונראה לעין מחיבור השירות וכל הדרך לכל מתלה GPU בצפיפות- גבוהה?"

כמה כוח באמת צריך מתלה AI?

"יותר כוח משמעותי" אינו מספר תכנון. התשובה הכנה היא שכוח מתלה בינה מלאכותית תלוי בפלטפורמת ה-GPU, יעד היתירות ושיטת הקירור, אך נקודות ההתייחסות הציבוריות כעת קונקרטיות מספיק כדי לעצב נגדן.

• מדף מעבד-לכללי:עד כ-12 קילוואט.
• מתלה מסוג H100 מקורר-באוויר:בערך 40 קילוואט, ליד התקרה המעשית לאוויר.
• NVIDIA GB200 NVL72:בערך 120 קילוואט לכל מתלה, וכ-132 קילוואט בתצורה מלאה, מסופקים דרך מדפי חשמל מרובים בהזנה תלת- פאזית של 415-480 וולט לתוך פס DC.
• הדור הבא (מפת הדרכים של 2026):מערכות בקנה מידה-מתלים המוקרנות לכיוון 240–600 קילוואט.

להקשר עד כמה זה קיצוני: ההסקר העולמי של מכון Uptime לשנת 2025מעמיד את צפיפות המתלים הממוצעת על כ-9 קילוואט, ויותר מ-80% מהמפעילים עדיין מדווחים שאין מתלים מעל 30 קילוואט.פחות מ-1% מהמפעילים מפעילים מתלים מעל 100 קילוואט, ואלה שכן מריצים בעיקר מחשוב מסורתי-עם ביצועים גבוהים. תרמיל GB200 בודד, במילים אחרות, מבקש מבניין לעשות משהו ש-99% מהתעשייה מעולם לא עשו. הפער הזה, לא מגה וואט גולמי, הוא המקום שבו רוב פרויקטי הכוח של AI מסתבכים בצרות.

מדוע עומסי עבודה של AI שוברים הנחות כוח מדור קודם

אימון AI, מסקנות ו-HPC תלויים באשכולות צפופים של מאיצים, שרתים, אחסון ורשת כבדה שלרשת סיבים-במהירות גבוהה. מערכות אלו אינן מתנהגות כמו IT ארגוני רגיל. מתלה מסורתי תוכנן סביב הגרלה קבועה; מתלה בינה מלאכותית דוחף כוח שיא גבוה בהרבה ומניע את הצריכה שלו בחדות כשמעבדי GPU משתלבים. כאשר עשרות מתלים עושים זאת באותו רגע, האפקט עובר על פני הארון ומגיע למעגלי ענפים, PDUs מתלים, נתיבי הפצה, מודולי UPS ומפעל הקירור.

לכן יש להתייחס לכוח מוכן בינה מלאכותית-כאל מערכת מקצה אחד-ל-קצה. קלט שירות, מיתוג, UPS, הפצה, מסלול, PDU מתלה, ניטור וקירור אינם פריטי רכש נפרדים כאן. הם שרשרת אחת, והשרשרת ניתנת לפריסה כמו החוליה החלשה ביותר שלה.

אתגרי הכוח הקריטיים של AI Data Center

1. צפיפות כוח מתלה עולה על התשתית מדור קודם

האתגר הגלוי ביותר הוא ששטח הרצפה והיכולת החשמלית כבר לא עומדים בשורה אחת. חדר שמדורג עבור 8-10 קילוואט לארון לא יכול לארח מתלה של 120 קילוואט רק בגלל שהאריח ריק.

מה זה אומר בפועל:בשיפוץ לאחור, הקיר הראשון הוא רק לעתים רחוקות קיבולת השירות הכוללת. זה ספירת מעגלים- של ענפים, עוצמת מסלול האוטובוס, העמסת הרצפה (מתלה מסוג GB200 עולה על 1,300 ק"ג), או פשוט מרווח דלת ומעבר. בחדרים רבים נגמרים האמפר שניתן לספק לכל ארון, ומרווח גחון מבני, הרבה לפני שנגמר המגה-וואט באולם. תכנן את הקיבולת הן ברמת המתלה והן ברמת האשכול, ואשר כמה אמפרים שמישים באמת תוכל לנחות בכל ארון.

2. עומסי GPU דינמיים מלחיצים תגובה חולפת של UPS

עומסי AI פרצים ומסונכרנים. צעד קולקטיבי של צמצום הכל- או כתיבת נקודת ביקורת יכולים להזיז את המשיכה של אשכול בעשרות אחוזים באלפיות שניות, ואז להוריד אותו שוב.

מה זה אומר בפועל:ב-UPS של המרה כפולה-, התנודות האלה מופיעות כשלבי עומס שהמהפך והמעקף הסטטי צריכים לעבור בצורה נקייה. מפסקים תחת-מתואמים עלולים להטריד-להסתובב בעלייה ולהרוג ריצת אימון מרובה-ימים; מודולי UPS מקבילים משותפים בצורה גרועה יכולים להילחם זה בזה במהלך החולפת. ציין UPS והגנה עבור שלבי עומס מהירים וודא תיאום מפסק מול פרופיל העומס האמיתי, לא הממוצע של לוחית השם. אחסון הסוללה באתר-משמש יותר ויותר באופן ספציפי כדי לספוג את התנודות הללו בקנה מידה של מתקנים.

3. חלוקת כוח-בצפיפות גבוהה עבור מדפי GPU

נתיב הפצה קבוע שעבד עבור עומסים סטטיים של ארגונים תומך רק לעתים רחוקות בשורות GPU צפופות, צמיחה מדורגת והזנות מיותרות של A/B בו-זמנית.

מה זה אומר בפועל:בהזנות A/B, המבחן האמיתי הוא מקרה הכשל. כאשר שביל אחד יורד, השביל ששורד חייב לשאת את מלוא עומס המתלים מבלי לחרוג מהפורצים שלו או ארונות שכנים מורעבים. גודל כל הזנה עבור קיבולת N במקום העומס המיותר הוא טעות נפוצה ויקרה. תוואי אוטובוס עילי לעתים קרובות מקל על הוספה או שינוי של קיבולת מאשר שוטים קבועים, אך הבחירה הנכונה תלויה בצפיפות, פריסת החדר ואסטרטגיית התחזוקה.

ההפצה היא גם המקום שבו הכבלים מתחרים עם הכוח על אותם מגשים וצינורות. תרמיל בודד של 120 קילוואט מפסיק מאות חיבורי סיבים למתגי עלים ועמוד שדרה, וסיב זה חולק נתיבים וזרימת אוויר עם הזנות החשמל. בשורות צפופות,כבלים מטען MPO/MTPשומר על ספירת החיבורים וניתנים לניהול כך שהוא לא חוסם זרימת אוויר או גישה לשירות. גם טווח ההגעה חשוב: קישורי GPU קצרים-ל-עלים פועלים בדרך כלל בריבוי מצבים, בעוד קישורי עמוד שדרה וקמפוס עוברים אלסיב יחיד- במצב (OS2).למרחקים ארוכים יותר.

4. איכות החשמל הופכת לבעיית המשכיות עסקית

במתקני AI, איכות החשמל היא לא רק דאגה חשמלית. זה משפיע ישירות על זמן הפעולה, חיי החומרה והאם ריצת אימון שורדת.

מה זה אומר בפועל:עומסי מצב-גבוה-גבוה-הקשה חד-פאזית-מתג דחיפה של זרמים ניטרליים, עיוות הרמוני וחוסר איזון פאזה כלפי מעלה. כשאין פיקוח, חוסר איזון מופיע בדרך כלל קודם כל כחיבור חם או סניף שנקרע, לא כהתראה מסודרת של לוח המחוונים. מכיוון שה-IT יקר וההפסקות יקרות, עקוב אחר איכות החשמל ברציפות במקום לחכות למפסק שימצא את הבעיה עבורך.

5. כוח וקירור חייבים להיות מתוכננים ביחד

כל וואט שנמסר ל-IT הופך לחום שיש להסיר. מעל כ-30 קילוואט לכל מתלה, קירור אוויר אינו בר קיימא, וזו הסיבה שקירור נוזלי ישיר-ל-שבב הוא כעת סטנדרטי עבור מערכות מסוג GB200.ועדת TC 9.9 של ASHRAEהוסיפה דרגת צפיפות גבוהה (H1) להנחיות התרמיות שלה ובשנת 2024, פרסם עלון טכני על חוסן קירור נוזלי המכסה את תיחום יחידת הפצת נוזל הקירור (CDU), אינרציה תרמית לשינויי עומס פתאומיים ומידול חולף.

מה זה אומר בפועל:לוחות קרות מעבירות את עיקר חום ה-GPU ל-CDU, אבל 10-20% מעומס המדף (זיכרון, NICs, אופטיקה, המרת הספק) יכולים להישאר מקוררים באוויר, כך שהחדר עדיין זקוק לטיפול באוויר. מיקום CDU, טמפרטורת אספקת נוזל קירור (בדרך כלל בסביבות 25-45 מעלות), איזון זרימה וניתוב -זיהוי נזילות כולם צריכים להיות מסודרים לפני שהמתלה מגיע. המאוורר- יוצא מכל מתג אל השרתים - אתכבל פריצת MPO/MTPיש לנתב את - בכוונה כך שהוא לעולם לא יישב בנתיב שבו תלוי הקירור.

אל תאשר את קיבולת החשמל מבלי לאמת את דחיית החום. קירור שאינו יכול להסיר את העומס הוא הסיבה השכיחה ביותר לכך שקיבולת הספק-בצפיפות גבוהה נעשית תקועה ואינה שמישה.

6. ראות מוגבלת הופכת את תכנון הקיבולת למסוכן

ניטור -ברמת החדר או -רמת UPS מסתיר בדיוק את מה שחשוב באולם בינה מלאכותית: חוסר איזון בכל-שלב, עומס יתר מקומי, דוקרנים ברמת-מתלים, אילוצי מעגל- של ענפים, יתירות פגומה וקיבולת תקועה.

מה זה אומר בפועל:PDUs חכמים של מתלים עם מדי-לשקע, ניטור מעגלים-ענפים, טלמטריה של UPS ושילוב DCIM מאפשרים לצוות לענות על שלוש שאלות בזמן אמת - כמה קיבולת נמצאת בשימוש כעת, איפה הסיכון וכמה עומס AI נוסף ניתן להוסיף בבטחה. ללא הפירוט הזה, תכנון קיבולת הוא ניחוש, והסימן הראשון לבעיה הוא טיול.

7. מדרגיות ומגבלות רשת פריסת AI איטית

צמיחת הבינה המלאכותית עולה כעת על מחזורי התכנון המסורתיים. אפילו עם שטח רצפה, אתר עשוי להיעדר את כלי השירות, ה-UPS, ההפצה או הקירור עבור דור ה-GPU הבא. עם ביקוש למרכזי נתוניםעולה בכ-15-17% בשנה, זמני ההובלה של חיבורי שירותים בשווקים מוגבלים נמשכו לשנים רבות, וזו הסיבה שחלק מהמפתחים פונים ל-יצירת אתרים ואחסון סוללות.

מה זה אומר בפועל:תכנון לצמיחה מדורגת במקום UPS מודולרי - מדור חומרה יחיד, הפצה הניתנת להרחבה, תוספות קיבולת מבוססות כבישים-, בלוקים סטנדרטיים של כוח מתלים ונקודות יתירות ברורות ונקודות טריגר. המטרה היא קיבולת שמישה, ניתנת לפריסה וניתנת לתחזוקה לאורך זמן, לא המערכת הגדולה ביותר האפשרית ביום-אחד.

עיצוב כוח במרכז נתונים מסורתי לעומת AI

כיצד לתכנן תשתית כוח עבור מדפי AI-בצפיפות גבוהה

שלב 1: הגדר רמה-רמה ואשכול-רמת דרישה

התחל מעומס העבודה ותוכנית החומרה. הערך את המשיכה של כל מתלה, כל אשכול וכל שלב פריסה, כולל GPUs, שרתים, רשתות, אחסון וציוד כוח ברמת -מתלה. השתמש בהנחות צמיחה מציאותיות - חומרת בינה מלאכותית מתהפכת במהירות, כך שיום-עומס אחד הוא יעד התכנון הלא נכון.

שלב 2: בדוק את הקיבולת והיתירות במעלה הזרם

לכו בדרך המלאה: שירות שירות, מתג, שנאים, UPS, לוחות הפצה, מסלולי אוטובוס או כבלים, PDUs מתלים, מעגלי ענפים והזנות A/B. אשר שהמערכת תומכת הן בעומס הצפוי והן ברמת היתירות בתנאי תחזוקה או תקלות, לא רק במצב רגיל.

שלב 3: התאם את ארכיטקטורת UPS להתנהגות עומס בינה מלאכותית

הסתכל מעבר ל-kW הכולל. הערכת תגובה חולפת, מדרגיות, יתירות (N+1 או 2N), יעילות- חלקית של עומס, זמן ריצת סוללה, פעולה מקבילה וניטור. UPS מודולרי שימושי כאשר האשכול יתרחב בשלבים, מכיוון שהוא מוסיף קיבולת מבלי להגדיל את המימדים ביום הראשון.

שלב 4: בחר חלוקת כוח גמישה

שורות בצפיפות- גבוהה בדרך כלל זקוקות לגמישות רבה יותר מאשר עיצובי לוח סטטי-ו-שוטים. השווה חלוקת פאנלים מסורתית, כביש אוטובוס עילי, PDUs-בצפיפות גבוהה, הזנות כפולות ומדידה חכמה. אולם בינה מלאכותית חדש מצדיק לעתים קרובות כביש אוטובוס בגודל לצפיפות עתידית; תיקון מחודש עשוי להיות מוגבל לפנלים קיימים.

שלב 5: תיאום צריכת חשמל וקירור לפני הפריסה

אמת את טכנולוגיית הקירור, נתיב זרימת האוויר, דרישות קירור הנוזל, מיקום ה-CDU, טמפרטורת וזרימת נוזל הקירור, טעינת הרצפה, גישת שירות וזיהוי דליפות לפני התקנת מתלים. זה ימנע את הכשל הקלאסי של קיבולת חשמלית מספקת אך חוסר יכולת להפעיל את המתלה בעומס מלא.

שלב 6: בנייה להרחבה מדורגת

התייחס למערכת החשמל כמפת דרכים. הגדר קיבולת-יום אחד, קיבולת הרחבה, נקודות טריגר לשדרוגי UPS או הפצה, ספי ניטור, דרישות יתירות ושלבי תקציב, כך שההנדסה, התפעול והרכש חולקים תוכנית אחת.

רשימת תכנון כוח של מרכז נתונים של AI

מה לחפש ב-AI-פתרונות כוח מוכנים

UPS מודולרי.שווה את זה כאשר הפריסה גדלה בשלבים; הוא מוסיף קיבולת ומפשט את התחזוקה מבלי לשלם עבור קילוואט לא בשימוש ביום הראשון.

התפלגות- בצפיפות גבוהה.Busway או מערכות גמישות אחרות משתלמות בשורות-המשתנות במהירות שבהן מתלים מתווספים או מועברים למקום אחר, וכאשר הזנות כפולות ותחזוקה בטוחה חשובים.

מתלה PDU אינטליגנטי.נראות לפי-שקע או לכל-מתלה מאפשרת לצוותים לתפוס חוסר איזון, למנוע עומס יתר ולתכנן קיבולת בצורה מדויקת. זוהי השכבה המצוינת לרוב-בבניית AI.

ניטור איכות החשמל.חפש נראות למתח, זרם, גורם הספק, הרמוניות, איזון פאזות ומגמות עומס, כך שבעיות צצות לפני שהן הופכות להפסקות.

אינטגרציה של DCIM.חיבור נתוני הספק עם נתונים תרמיים וניצול מתלים הוא מה שהופך את הניטור לתכנון קיבולת. כאשר נטוורקינג הוא חלק מאותו מבנה, של מהנדסמדריך לבחירת MTP לעומת MPOעוזר לשמור על צד הסיבים של המתלה מכוון כמו הצד הכוח.

טעויות נפוצות שיש להימנע מהן

• תכנון רק עבור קיבולת המתקן הכוללת.אתר יכול להכיל מספיק מגה וואט ועדיין להיכשל במדף. בדוק את-רמת הרמה והסניף-מגבלות.
• התייחסות לקירור כהחלטה מאוחרת יותר.קירור מתוכנן לאחר חשמל הוא הגורם המוביל לקיבולת תקועה.
• התעלמות מהתנהגות עומס דינמי.עיצוב לתגובה חולפת ואיכות חשמל, לא עומס ממוצע.
• תחת-ציון ניטור.ראות מוגבלת פירושה פתרון בעיות איטי ותכנון קיבולת לא אמין.
• בניית ארכיטקטורה קשיחה.חומרת בינה מלאכותית מתפתחת תוך חודשים; עיצוב קבוע הופך לצוואר בקבוק לפני שהמתקן מגיע לסוף החיים.

טייק אווי סופי

תכנון כוח של מרכז נתונים בינה מלאכותית אינו עוסק בהוספת קיבולת חשמלית נוספת. מדובר באספקת כוח שמיש - בצורה בטוחה, גלויה ואמינה - למתלים שיכולים למשוך יותר מפי עשרה ממה שנבנתה תשתית מדור קודם. תכנן מרשת למתלה, תאם כוח עם קירור, צג ברמת הסניף והשקע, ותכנן עבור דור ה-GPU הבא ולא הנוכחי. לפני הפריסה, העריכו את צפיפות המתלים, נתיבי ההפצה, ביצועי המעבר של UPS, איכות החשמל, הניטור והקירור ביחד. מערכת חשמל שנבנתה כך עושה יותר ממניעת הפסקות; זה מאפשר לתשתית בינה מלאכותית להתרחב לפי לוח הזמנים במקום להיעצר בצוואר הבקבוק הראשון.