بررسی حادثه قطعی ماه مه توسط Coinbase: خرابی آبشاری AWS ریسک‌های معماری را آشکار کرد

Coinbase گزارش بازنگری خود را در مورد رویداد اختلال گسترده در خدمات در تاریخ ۷ مه ۲۰۲۶ منتشر کرد.

این قطعی حدود ۸ ساعت به طول انجامید و بازیابی کامل آن حدود ۱۲ ساعت زمان برد. در این مدت، معاملات، واریزها، برداشت‌ها و اکثر خدمات اصلی غیرقابل دسترس یا به‌شدت مختل بودند. Coinbase اعلام کرد که این قطعی ناشی از خرابی همزمان چندین واحد سرمایشی در سیستم خنک‌کننده یک مرکز داده در یکی از مناطق در دسترس (use1-az4) در ناحیه us-east-1 سرویس AWS بوده است که منجر به فعال شدن سیستم‌های محافظت حرارتی کابینت‌ها، از دسترس خارج شدن نمونه‌های EC2 و حجم‌های EBS و در نتیجه تحت تأثیر قرار گرفتن چندین سرویس اینترنتی شده است.

در طول فرآیند بازیابی، موتور تطبیق معاملات Coinbase به دلیل از دست رفتن اکثر گره‌ها در معماری خوشه‌ای مستقر در یک مرکز داده AWS، حد نصاب خود را از دست داد. این امر نیازمند اصلاحات فوری کد و بازسازی یک گروه گره جدید برای بازیابی عملیات بود که باعث شد معاملات بازار به تدریج در طول فرآیند بازیابی از سر گرفته شوند.

علاوه بر این، سرویس Kafka مدیریت‌شده توسط AWS (MSK) دچار خرابی در صفحه کنترل شد که مانع از انتخاب مجدد خودکار رهبران پارتیشن گردید و باعث مسدود شدن قیمت‌ها، کارمزدها و برخی سیستم‌های تسویه و جریان داده شد که دامنه کلی تأثیرات را گسترش داد.

پس از مهاجرت دستی پارتیشن‌ها با همکاری تیم مهندسی AWS، سیستم به‌تدریج به حالت عادی بازگشت. Coinbase اعلام کرد که این حادثه کاستی‌های این شرکت در قابلیت‌های سوئیچینگ خودکار بین مناطق در دسترس و بازیابی فاجعه برای میان‌افزارهای مدیریت‌شده را آشکار کرد. این شرکت قصد دارد معماری پشتیبان‌گیری داغ بین‌منطقه‌ای خود را ارتقا دهد، تمرینات منظم مقابله با خرابی را تقویت کند و سیستم Kafka را از استقرار در دو منطقه در دسترس به سه منطقه در دسترس منتقل کند، و در عین حال با AWS برای پیشبرد اصلاحات ریشه‌ای و بهبودها همکاری نماید.