در این مقاله قصد داریم نگاهی به داخل یک سوئیچ غول‌پیکر با 64 پورت 800 گیگابیت بر ثانیه داشته باشیم. Marvell Teralynx 10 یک سوئیچ 51.2 ترابیت بر ثانیه است که نسل بعدی سوئیچ‌هایی است که در خوشه‌های هوش مصنوعی در سال 2025 شاهد آن‌ها خواهیم بود. این محصول یک سوئیچ شبکه‌ی بزرگ، کلاس سازمانی و البته گران‌قیمت است که قصد داریم در این مقاله به تفصیل در مورد آن صحبت کنیم.
پیش زمینه Marvell Teralynx
اجازه دهید نگاهی کوتاه به چگونگی رسیدن به این نقطه داشته باشیم. شرکت Marvell در سال 2021 شرکت Innovium را خریداری کرد. این اتفاق پس از رونمایی از سوئیچ 32 پورت 400 گیگابیت بر ثانیه Innovium Teralynx 7 رخ داد، جایی که ما نسل 12.8 ترابیت بر ثانیه (32 پورت 400 گیگابیت بر ثانیه) این شرکت نوپا را شاهد بودیم.
شرکت اینوویوم موفق‌ترین استارت‌آپ نسل خود بوده که توانسته است با محصولات موفقی به مراکز داده‌ی ابرمقیاس (Hyper-Scale) نفوذ کند. برای مثال، در سال ۲۰۱۹ شرکت اینتل اعلام کرد که قصد خرید شرکت Barefoot Networks را برای دستیابی به فناوری سیلیکون سوئیچ اترنت دارد. اما در گزارش درآمدی سه‌ماهه‌ی چهارم ۲۰۲۲ اینتل، این شرکت اعلام کرد که واحد تجارت سوئیچ‌های اترنت خود را واگذار خواهد کرد. در حالی که برودکام غولِ تجارت تراشه‌های سوئیچ‌های مستقل به شمار می‌رود، اینوویوم (که حالا زیرمجموعه‌ی مارول شده) توانسته است به مراکز داده‌ی ابرمقیاس نفوذ کند؛ بازاری که بسیاری از شرکت‌ها با صرف هزینه‌های هنگفت، در آن شکست خورده‌اند. جالب آن‌که سوییچ‌های طراحی شده توسط این شرکت گزینه مناسبی برای استقرار در مراکز داده هستند.
با توجه به حجم عظیم خوشه‌های هوش مصنوعی در حال ساخت، نسل تراشه‌های سوئیچ 51.2 ترابیت بر ثانیه اهمیت ویژه‌ای پیدا خواهند کرد. به همین دلیل، مهم است اطلاعات دقیقی در ارتباط با نسل جدید سوییچ‌هایی که برای این منظور به بازار عرضه خواهند شد، اطلاعاتی به دست آوریم.
بررسی نمای خارجی سوئیچ Marvell Teralynx 10 و اپتیک‌های OSFP
با نگاهی به جلوی سوئیچ، یک شاسی 2U را مشاهده می‌کنیم که بیشتر بخش‌های آن‌را کیج‌های OSFP و کانال‌های جریان هوا تشکیل می‌دهند.
در مجموع 64 پورت OSFP وجود دارند که دستیابی به سرعت 800 گیگابیت بر ثانیه را تضمین می‌کنند.
داخل هر یک از این پورت‌ها، ماژول‌های اپتیک قابل تعویض OSFP قرار می‌گیرند. این ماژول‌ها کمی بزرگ‌تر از نسل‌های رایج‌تر QSFP+ / QSFP28 هستند.
مارول تعدادی از این ماژول‌های اپتیک را نیز همراه سوئیچ ارائه می‌دهد، زیرا پس از خرید شرکت Inphi، بسیاری از مولفه‌های تشکیل‌دهنده‌ی این ماژول‌های اپتیک را نیز در اختیار گرفته است. بنابراین، مشکلی از بابت تهیه ماژول‌های اپتیک قابل نصب روی این سوییچ وجود نخواهد داشت. نکته‌ی دیگر این است که پورت‌های این سوئیچ می‌توانند با سرعت‌های دیگری به غیر از 800 گیگابیت بر ثانیه نیز کار کنند.
يکي از نکات جالب توجهي که ديديم، تعدادي از ماژول‌هاي اپتيکي برد بلند است. اين ماژول‌ها مي‌توانند سرعت ۸۰۰ گيگابيت بر ثانيه را تا صدها کيلومتر يا حتي بيش‌تر، بدون افت کيفيت، تضمین کنند. اين ماژول‌ها به اين دليل جالب هستند که درون محفظه‌های OSFP قرار می‌گیرند و ديگر نيازي به استفاده از محفظه‌های اپتيکي بزرگ و طولانی که براي سال‌ها در اين صنعت به کار مي‌رفت، نيست.
یکی از مزایای استفاده از ماژول‌های OSFP در این سوئیچ، تاثیر آن روی هیت‌سینک‌ها است. از آنجایی که ماژول‌های OSFP می‌توانند هیت‌سینک‌های مجزای خود را داشته باشند، دیگر نیازی به وجود هیت‌سینک روی کیج‌های سوئیچ نیست. برعکس، در سوئیچ‌های 100 و 400 گیگابیت بر ثانیه‌ای که ما کالبدشکافی کرده‌ایم، به دلیل مصرف برق بالای ماژول‌ها، محفظه‌های اپتیکی، خودشان نیاز به هیت‌سینک داشتند.
در سمت راست سوییچ، چهار پورت کنسول و مدیریت قرار گرفته‌اند.
در پشت سوییچ نیز فن‌ها و منابع تغذیه قرار دارند که وظیفه دفع حرارت و تامین برق قطعات سوییچ را بر عهده دارند.
با توجه به اینکه سوئیچ می‌تواند از ماژول‌های اپتیکی با توانی در حدود ۱.۸ کیلووات استفاده کند، و همچنین دارای یک تراشه سوئیچ با توان ۵۰۰ وات است، می‌توان انتظار داشت که به منبع تغذیه‌ای با توانی بیش از ۲ کیلووات نیاز داشته باشد. اکنون، اجازه دهید به داخل سوییچ نگاهی داشته باشیم. ما از کیج‌های OSFP (سمت راست) شروع می‌کنیم و به سمت منبع تغذیه و فن‌ها (سمت چپ) حرکت می‌کنیم.
هنگامی که سوییچ را باز می‌کنیم، اولین چیزی که به چشم می‌آید، هیت‌سینک‌های بزرگ قرار گرفته در آن هستند.
تراشه‌ی این سوئیچ از نوع 5 نانومتری بوده و توان مصرفی آن 500 وات است.
هنگامی که هیت‌سینک برداشته می‌شود، می‌توانیم نگاهی دقیق به کیج‌های OSFP بدون پوشش هیت‌سینک داشته باشیم. همانطور که در تصویر می‌بینید، تنها 32 عدد کیج OSFP وجود دارد. دلیل این امر قرارگیری برد مدار چاپی (PCB) سوئیچ در وسط این دو بلوک است.
پشت کیج‌های OSFP، تراشه‌ی Teralynx 10 قرار دارد. مطمئن هستیم علاقمندان می‌توانند در فرصتی مناسب اطلاعات بیشتری در مورد تراشه‌ی Teralynx 10 کسب کنند. اما در اینجا، دیاگرام عملکرد اولیه‌ی این تراشه را که قبلا نیز نمایش داده‌ایم، مشاهده می‌کنید.
نگاهی دقیق‌تر به تراشه‌ی بدون پوشش سوئیچ
یکی از نکات قابل توجه در مورد این سوئیچ، زاویه‌دار بودن بسیاری از قطعات آن است که برخلاف روال معمول است که مولفه‌ها به صورت افقی یا موازی با لبه‌های تراشه‌ی سوئیچ قرار گرفته‌اند.
در تصویر بالا، نمای بالایی تراشه‌ی سوئیچ 64 پورت 800 گیگابیت بر ثانیه را مشاهده می‌کنید. اگر با دنیای سرور آشنایی داشته باشید، به خوبی از این نکته اطلاع دارید که ما در دوران PCIe نسل ششم هستیم و می‌توانیم کارت شبکه (NIC) تک پورت 800 گیگابیت بر ثانیه را مورد استفاده قرار دهیم. البته، در حال حاضر کارت‌های شبکه PCIe نسل پنجم x16 از نوع 400 گیگابیت بر ثانیه مورد استفاده شرکت‌ها قرار دارد، اما این تراشه به تنهایی ظرفیت مدیریت 128 عدد از سریع‌ترین کارت‌های شبکه PCIe نسل پنجم 400 گیگابیت بر ثانیه را دارد. همانند بسیاری از سوئیچ‌ها، Teralynx 10 نیز دارای یک کنترلر مدیریت اختصاصی است. نکته‌ی جالب توجه این است که این یک برد مدیریت مبتنی بر Marvell Octeon است. همچنین، یک درایو حالت جامد M.2 روی برد اصلی سوئیچ قرار گرفته است.
یکی از ویژگی‌های جالب این سوئیچ، اسلات داخلی PCIe برای کارهای تشخیصی است. با کمی دقت، می‌توانید یک درگاه داخلی 10 گیگابیت اترنت را که به عنوان رابط مدیریت در نظر گرفته شده است، مشاهده کنید. نکته‌ی قابل توجه دیگر، ضخامت بالای برد مدار چاپی (PCB) سوئیچ است. تصور کنید اگر مادربورد سرور به این ضخامت بود، بسیاری از طراحی‌های سرور 1U با چالش‌های جدی سرمایشی روبرو می‌شدند. در مورد خنک‌کننده، با یک سیستم فن نسبتا ساده با چهار ماژول فن در پشت شاسی روبرو هستیم.
ایجاد ترافیک 800 گیگابیت بر ثانیه روی یک پورت در حال حاضر کار ساده‌ای نیست، چون این سرعت از استاندارد PCIe نسل پنجم x16 در سرورها هم سریع‌تر است. با این حال، مشاهده عملکرد این تجهیزات در آزمایشگاه جالب است. اینجا یک نمونه‌ی دو کاناله‌ی 400 گیگابیت بر ثانیه را می‌بینیم که با نرخ خط تقریباً ۹۹.۳ درصد روی سوئیچ‌های Teralynx 10 اجرا می‌شود.
چرا سوئیچ‌های ۵۱.۲ ترابیت بر ثانیه؟
دو نیروی محرک باعث ورود سوئیچ‌های ۵۱.۲ ترابیت بر ثانیه به بازار شده‌اند. نیروی اول، موضوع مورد علاقه‌ی همگان، هوش مصنوعی (AI) است. نیروی دوم نیز به ملاحظات مربوط به مصرف برق و «راديکس» یا همان تعداد اتصالات مستقیم یک گره به گره‌های دیگر در یک شبکه ارتباط دارد. با توجه به اینکه تقریبا همه شرکت‌های بزرگ دنیای فناوری و به ویژه تولیدکنندگان محصولات سخت‌افزاری، هم‌راستا با تحولات روز در حال توسعه تجهیزاتی هستند که توانایی پاسخ‌گویی به نیازهای شرکت‌ها در ارتباط با هوش مصنوعی را داشته باشد، از این‌رو، جای تعجب نیست که شرکت‌های فعال در زمینه ساخت سوییچ‌ها نیز به دنبال طراحی محصولاتی باشند که توانایی مدیریت ترافیک و پهنای باند بسیار بالای شبکه‌های محلی را داشته باشد.
شرکت مارول، سوئیچ‌های Teralynx 10 را با تاخیری حدود ۵۰۰ نانوثانیه و همزمان با پهنای باند عظیم به بازار عرضه می‌کند. این تأخیر قابل پیش‌بینی، به همراه کنترل ازدحام، قابلیت برنامه‌ریزی و اندازه‌گیری اطلاعات از تراشه‌ی سوئیچ، به عملکرد بهینه و مداوم خوشه‌های بزرگ کمک می‌کند. این موضوع عجیب نیست، زیرا بی‌کار ماندن پردازنده‌های هوش مصنوعی به دلیل تأخیر شبکه، بسیار پرهزینه است و این مسئله در مراکز داده باعث افزایش غیرقابل تصور هزینه‌های جانبی می‌شود.
مورد بعدی، راديکس (radix) است. استفاده از سوئیچ‌های بزرگ‌تر می‌تواند تعداد لایه‌های سوئیچینگ را کاهش دهد. این امر به نوبه‌ی خود، تعداد سوئیچ‌ها، ماژول‌های اپتیک، کابل‌ها و غیره را که برای اتصال یک خوشه لازم است، کاهش می‌دهد. با توجه به اینکه Teralynx 10 می‌تواند از راديکس ۵۱۲ با اتصال از طریق حداکثر ۵۱۲ لینک ۱۰۰ گیگابیت بر ثانیه پشتیبانی کند، برخی از شبکه‌ها می‌توانند نیاز به سه سطح سوئیچینگ را به تنها دو سطح کاهش دهند. در مقیاس یک خوشه‌ی آموزش هوش مصنوعی نسبتا بزرگ، این صرفه‌جویی نه تنها در هزینه‌ی تجهیزات، بلکه در مصرف برق نیز قابل توجه است. شرکت مارول به وضوح به این نکته اشاره دارد که راديکس بالاتر، منجر به صرفه‌جویی در مصرف برق بیش از ۱ مگا وات می‌شود.
کلام آخر
محصولی که در این مطلب مورد بررسی قرار دادیم، به وضوح نشان می‌دهد در آستانه عرضه طیف گسترده‌ای از محصولات سخت‌افزاری هستیم که قابل مقایسه با محصولات عرضه شده در چند سال گذشته نیستند. ما اغلب در تصاویر و مراکز داده، نمای جلوی سوئیچ‌ها و شاید نمای پشت آن‌ها را می‌بینیم. اما به ندرت می‌بینیم چه چیزی باعث کارکرد این سوئیچ‌ها می‌شود. از شرکت مارول به خاطر اینکه اجازه داد نه تنها سوئیچ‌های در حال کار را مشاهده کنیم، بلکه آن‌ها را تا سطح سیلیکون مورد بررسی قرار دهیم، بسیار سپاسگزاریم.
تیم Innovium، که اکنون زیرمجموعه‌ی مارول است، یکی از معدود تیم‌های فعال در حوزه صنعت، یا شاید تنها تیم، بوده است که توانسته به طور مستقیم با Broadcom رقابت کند و در بخش محاسبات فراهمگرا و مراکز داده فرامقیاس به موفقیت‌های بزرگی دست پیدا کند. ما شاهد شکست غول‌های دیگر عرضه‌کننده‌ی سیلیکون در این رقابت بوده‌ایم، اما با توجه به تقاضای بازار برای راديکس بالا، پهنای باند بالا و تاخیر کم در سوئیچینگ خوشه‌های هوش مصنوعی، به احتمال زیاد Teralynx 10 به بزرگ‌ترین خط تولید این شرکت از زمان Teralynx 7 تبدیل خواهد شد.
امیدواریم خوانندگان از این مقاله لذت برده باشند. بدیهی است که در دنیای شبکه، موضوعات مختلف دیگری نیز وجود دارد. ما می‌توانیم در مورد ماژول‌های اپتیک، و حتی نرم‌افزار، عملکرد و موارد دیگر، مقالات کاملی بنویسیم. با این حال، دیدن اینکه درون این سوئیچ‌ها چه می‌گذرد، جالب است. اگر به دنبال سوئیچ‌های ۵۱.۲ ترابیت بر ثانیه هستید، به سادگی از کنار Teralynx 10 عبور نکنید.
