گزارش کامل حمله سایبری به ابر آروان؛ از کالبدشکافی ماجرا تا اقدامات جبرانی

روزهای پایانی سال 99 زیرساخت‌های شرکت ابر آروان مورد حمله هکری کم سابقه‌ای قرار گرفت تا فعالیت بسیاری از شرکت‌ها و استارتاپ‌های ایرانی در یکی از مهم‌ترین بازه‌های زمانی با چالشی جدی مواجه شوند.

ابر آروان طی هفته‌های گذشته گزارشات اولیه و نکاتی را درباره این حمله سنگین در شبکه‌های اجتماعی و وبسایت خود منتشر کرده بود و اکنون با انتشار گزارشی کامل به واکاوی این ماجرا پرداخته و از اقدامات پیشگیرانه و برنامه برای جبران خسارت مشتریانش سخن به میان آورده است.

آغاز ماجرا

26 اسفندماه سال گذشته، زیرساخت رایانش ابری آروان در دیتاسنتر آسیاتک IR-THR-AT1 با حملات سایبری مواجه شد که هدف از آن‌ها تخریب و حذف اطلاعات مشتریان بود.

2 روز پیش از وقوع این ماجرا، نشانه‌هایی از این حملات دیده و منجر به بروز اختلالات محدودی شده بود اما کارشناسانی که به دیتاسنتر IR-THR-AT1 اعزام شده بودند به‌دلیل خستگی، در اعمال تغییرات در شبکه‌ این دیتاسنتر دچار اشتباه شدند و فقط بخشی از تغییرات را اعمال کردند.

همین موضوع سبب شد تا با گسترده‌تر شدن حملات در شامگاه سه‌شنبه 26 اسفند و آسیب‌رسانی به دیتای مشتریان در این دیتاسنتر، تمام دسترسی‌ها به منظور جلوگیری از پیش‌روی آسیب‌رسانی قطع شد.

همچنین کارشناسان امنیتی و اعضای تیم فنی به محل دیتاسنتر مذکور اعزام شدند تا بدون نیاز به دسترسی از راه دور،که ریسک گسترش یا تکرار حمله را افزایش می‌داد، به بررسی موضوع بپردازند.

نفوذ چطور انجام شد؟

با جمع‌آوری شواهد و بررسی زوایای مختلف، تیم بررسی این ماجرا به یک سناریوی نهایی به عنوان قوی‌ترین احتمال نفوذ دست یافت.

زیرساخت رایانش ابری به طور کلی دارای سه شبکه مستقل است: شبکه ارتباطی اصلی، ذخیره‌سازی و مدیریت که به نظر می‌رسد در این حمله، دامنه حضور هکرها از طریق شبکه مدیریت بوده است که از طریق دسترسی‌های تعریف شده در آن لایه موفق به آسیب‌رسانی به زیرساخت‌ها شده‌اند.

همچنین هکرها از طریق آلوده کردن تعدادی از ابرک‌های آسیب‌پذیر برخی مشتریان میزبانی شده (زامبی کردن) در دیتاسنتر AR-THR-AT1 هم‌زمان با حمله، شروع به ارسال پکت‌های Broadcast کردند. انجام حمله‌ TCP Flood و UDP Flood هم‌زمان با حمله‌ اصلی با هدف ایجاد کندی، افزایش تعداد لاگ‌ها و تمرکززدایی انجام شده است.

آسیب به دیتای مشتریان

در این حملات، فعالیت سایر محصولات ابر آروان شامل DNS، CDN، ویدیو پلتفرم، فضای ذخیره‌سازی ابری، هم‌چنین رایانش ابری در سایر دیتاسنتر‌های آروان بدون مشکل بود اما در حدود ۱۶درصد از مشتریان غیررایگان آروان که از این دیتاسنتر استفاده می‌کردند، متاثر حملات هکری شدند.

ابر آروان برای حفظ پایداری، از هر داده سه نسخه‌ مختلف در سه دیسک و داخل سه سرور متفاوت نگهداری می‌کند، تا اگر یک یا چند دیسک یا سرور از دسترس خارج شوند، به داده‌ها آسیبی وارد نشود. اما در این حمله به‌شکل هم‌زمان تعداد بالایی سرور مورد آسیب قرار گرفتند تا علاوه‌بر حذف حدود 10 درصد از اطلاعات این دیتاسنتر، برخی اطلاعات هر ۳ نسخه‌ خود را از دست بدهند.

طی تحلیل اولیه مشخص شد که از مجموع بیش از ۹۷درصد اطلاعات، حداقل یک نسخه از اطلاعات وجود دارد. اما به‌دلیل توزیع‌شدگی سه‌درصد اطلاعات حذف شده در تمام کلاستر، زیرساخت ذخیره‌سازی در ریسک از دست رفتن کل اطلاعات قرار گرفت.

در این ماجرا آن گروهی از مشتریان دچار مشکل اساسی شدند که از داده‌های خود نسخه پشتیبان نداشتند، یا معماری آن‌ها به شکل ابرزی (Cloud Native) نبود و به شکل Multi Availability Zone طراحی نشده بودند.

لازم به ذکر است هکر با توجه به نوع ذخیره‌سازی اطلاعات در رایانش ابری آروان، در این حمله هیچ‌گونه دسترسی به دیتای مشتریان ابر آروان پیدا نکرد.

بازگشت اطلاعات

پس از حدود 30 ساعت تلاش پیوسته تیم فنی، با فیکس و یکپارچه ساختن داده در سطح کلاستر، امکان دسترسی به 97.3 درصد اطلاعات در چهارشنبه 27 اسفند فراهم شد.

اما هنوز نگرانی‌هایی وجود داشت زیرا آسیب و اختلال آن سه‌ درصد اطلاعات می‌توانست سبب از بین رفتن کل کلاستر و بازیابی ناموفق شود.

دو مشکل سر راه تیم فنی قرار داشت، نخست این که سه درصد دیتای از دست رفته باعث آسیب ناچیزی به اطلاعات کل مشتریان شده بود که امکان داشت کار سیستم عامل را مختل کند یا مانع بالا آمدن ابرک شود. مشکل دیگر نیز به بحث قطع ناگهانی سیستم عامل‌ها از زیرساخت ذخیره‌سازی مرتبط بود که باعث از دست رفتن اطلاعات در حال ذخیره‌سازی روی دیسک و افزایش احتمال آسیب‌دیدگی می‌شد.

با این وجود طی 24 ساعت این دو مشکل نیز تقریبا حل شدند، کلاستر بالا آمد و به مرور دسترسی مشتریان به سرورهای ابری باز شد و از روز پنجشنبه 28 اسفندماه، مشتریان ابر آروان با همراهی تیم‌های پشتیبانی این شرکت به بازیابی سرورهای ابری‌شان پرداختند.

بحرانی‌تر شدن اوضاع

روز جمعه و در آستانه سال جدید، مشتریانی که در کلیدی‌ترین بازه زمانی سال به مشکل خورده بوده بودند برای درست کردن فایل‌سیستم یا پشتیبان‌گیری داده مشغول به کار شدند.

به‌دلیل مشکلات پیش‌آمده و ریکاور کردن کلاستر ذخیره‌سازی در یک فشار زمانی کوتاه، کلاستر موفق به تهیه‌ سه نسخه از تمام داده‌ها نشده بود، هم‌چنین برای ساخت ابرک‌های جدید برای انتقال اطلاعات روی آن‌ها نیاز به فضای بیش‌تری بود و در نتیجه باید ظرفیت کلاستری که به‌سختی آسیب‌دیده بود افزایش پیدا می‌کرد.

برای رفع این مشکل، به میزان ۴۰۰ ترابایت دیسک ذخیره‌سازی به کلاستر اضافه شد که این تزریق منابع جدید منجر به درگیری شدید زیرساخت و قفل شدن کلاستر شد، از همین روی 29 اسفند، وضعیت بحرانی‌تر شد.

کمک متخصصان ایرانی و خارجی

با بحرانی شدن اوضاع و قطع مجدد دسترسی مشتریان، چند متخصص با تجربه ایرانی، آلمانی و ترک به کمک تیم ابر آروان آمدند تا تلاش برای بهبود زیرساخت و اقدامات فنی برای پایدارسازی کلاستر ذخیره‌سازی به سرعت انجام پذیرد اما اقدامات آنان تاثیر چشمگیری در بهتر شدن وضعیت نداشت.

پس از تلاش‌های ناموفق تیم ذخیره‌سازی آروان، هم‌چنین بی‌نتیجه ماندن نظرات مشاوران داخلی و خارجی، تیم System Development  آروان تلاش‌ کرد با Patch کردن نرم‌افزاری و هم‌زمان افزایش منابع، مشکل را حل کنند.

احیای کلاستر پس از یک هفته

با انجام مجموعه پیکربندی‌های جدید، وضعیت کلاستر ذخیره‌سازی به آرامی رو به بهبود رفت. فرآیند Patch نرم‌افزاری نتیجه درخور توجهی در بر نداشت و از دستور کار خارج شد.

از همین روی تیم فنی تصمیم گرفت با تنظیم مجدد Flagها کلاستر را در وضعیت Recover قرار دهد.

در نمودار بالا رنگ سبز افزایش Placement Groupهای Clean و رنگ‌های نارنجی و آبی به ترتیب کاهش Placement Groupهای Degraded و Undersized را نشان می‌دهد و به‌ معنای حرکت کلاستر به‌سمت پایداری است. حدود ۴۸ ساعت زمان برد، تا نزدیک به ۱۰۰درصد از Placement Groupها در حالت Clean قرار بگیرند.

درنهایت نیز از روز شنبه ۷ فروردین ۱۴۰۰ با پایدارسازی زیرساخت و امکان دسترسی به ابرک‌ها روند بازگردانی سرورهای ابری مشتریان از سر گرفته شد و تا پایان هفته ادامه پیدا کرد.

با تداوم پشتیبانی و بازیابی سرویس مشتریان، تا روز پنج‌شنبه ۱۲ فروردین، تمامی ابرک‌های موجود در دیتاسنتر  IR-THR-AT1 که قابلیت بررسی سیستمی را داشتند، مورد بررسی اولیه قرار گرفتند.

از این میان، سیستم‌عامل ۸۳.۹ درصد بدون مشکل بود یا مشکل آن به‌کمک تیم‌های فنی برطرف شد. هم‌چنین ۹.۷ درصد ابرک‌های بررسی شده در دستور کار برای مرحله دوم بازرسی و بازیابی قرار گرفتند که امکان بازیابی ۶.۴ درصد از ابرک‌ها وجود نداشت که تلاش شد دیتای این ابرک‌ها به ابرک جدید منتقل شود.

پشتیبانی از نگاه اعداد و ارقام

ابر آروان در تمام مدت درگیری با این اتفاق، علاوه‌بر بروزرسانی صفحه استاتوس، از طریق شبکه‌های اجتماعی، ایمیل، پیامک و وبلاگ به مشتریان خود اطلاع رسانی می‌کرد و با حداکثر نفرات خود پاسخ‌گوی آن‌ها بود.

تیم پشتیبانی اولیه ابر آروان در این ماجر 20 نفر بود که با آغاز فرآیند بازگردانی سرویس مشتریان، تعداد نفرات تیم‌های پشتیبانی و فنی به 80 نفر و در فاز دوم نیز به ۱۰۵ نفر افزایش یافت.

طی این مدت 7 هزار ابرک مورد بررسی قرار گرفت و بیش از 8300 تماس تلفنی و 3600 تیکت پاسخ داده شدند.

اقدامات پیش‌گیرانه

با تجربه اتفاق پیش‌آمده و سطح آسیب‌پذیری مشتریان ابر آروان، این شرکت مجموعه اقداماتی را در سه حوزه محصول، فرآیندهای امنیتی و جبران خدمت طراحی و اجرا خواهد کرد تا بتواند از حملات دیگر پیش‌گیری کرده و رضایت مشتریانش را فراهم کند.

از جمله اقدامات در حوزه محصول می‌توان به ایجاد یک Region بزرگ و پایدار به اسم «تهران بزرگ»، که چهار Availability Zone این منطقه شامل دو ناحیه در تهران مرکزی، یک ناحیه در غرب تهران و یک ناحیه در شرق تهران را به یک‌دیگر متصل می‌کند اشاره کرد. هم‌چنین دیتاسنترهایی در تبریز و اصفهان افتتاح خواهد شد.

به‌علاوه، به دنبال فراهم سازی امکاناتی هستند تا مهاجرت در داخل یک Region و ایجاد کلاسترهای پایدار به‌شکل Multi Availibilty Zone به آسان‌ترین شکل ممکن انجام شود.

توسعه امکان پشتیبان‌گیری خودکار ابرک‌ها، تمرکز روی پایداری و SLA محصولات، هم‌چنین امکانات محصولی مرتبط با مهاجرت، حفظ و یکپارچگی اطلاعات اولویت خواهند داشت.

هم‌چنین ابر آروان با ایجاد و افزایش بازه‌ رایگان روی تمام محصولات به‌ویژه فضای ذخیره‌سازی ابری، برای پشتیبان‌گیری، هم‌چنین رایگان کردن کامل ترافیک CDN، افزایش بازه‌ رایگان سامانه‌ امنیتی ابری تلاش خواهد کرد، به ترویج شکل‌گیری معماری‌های ابرزی کمک کند.

در حوزه جبران خدمت، ابر آروان با تغییر سطوح پشتیبانی، «پشتیبانی پایه» و «تماس تلفنی» را برای بخش بزرگی از مشترکان غیررایگان خود بدون پرداخت هزینه فعال خواهد کرد.

هم‌چنین آن‌ها در تلاش‌اند با مذاکره با شرکت‌های معتبر بیمه، نوعی از بیمه‌ مسئولیت در مواجهه با حملات سایبری و آسیب‌های زیرساخت را در ایران، ایجاد کنند که هم شرکت‌های ارائه‌دهنده‌ زیرساخت ابری از آن بهره ببرند و هم مشتریان محصولات ابری با پوشش‌های متنوع بتوانند از جبران خسارت در قالب حمایت‌های بیمه‌ای بهره‌مند شوند.

فرآیندهای امنیتی

ابر آروان سازوکارهای مربوط به تست نفوذ را ارتقا خواهد داد و فاصله بین تست‌های نفوذ داخلی را کاهش و شرکای بیرونی خود در این زمینه را افزایش می‌دهد.

جوایز باگ بانتی آروان به ۲ برابر افزایش یافته و این موضوع در یک سکوی بیرونی نیز قرار گرفته است.

این شرکت ارتقا و افزایش سخت‌گیری در سازوکارهای ایمن‌سازی (Hardening)، مدیریت کلید‌ها، مدیریت سطح دسترسی و… را در دستور کار قرار داده است.

جبران خسارت

حمله هکری به زیرساخت‌های ابر آروان و آسیب به دیتا، مشتریان این مجموعه را با چالش‌هایی جدی مواجه ساخت و ضررهای مالی و معنوی را به آن‌ها وارد کرد.

ابر آروان در راستای کسب رضایت مشتریان خود اقداماتی را برای جبران مافات انجام داده است که از جمله آن‌ها می‌توان به رایگان کردن محصول فضای ذخیره‌سازی ابری تا سقف 10 ترابایت برای هر مشتری در این دیتاسنتر بدون محدودیت ترافیک تا پایان بهار 1400 اشاره کرد.

هم‌چنین حساب کاربری تمام مشتریان این دیتاسنتر برای محصول رایانش ابری که در این حمله آسیب دیده بود، سه‌برابر مصرف اسفند ۹۹ آنان، شارژ شد تا بتوانند به رایگان از زیرساخت رایانش ابری آروان استفاده کنند.

برخی از مشتریان ابر آروان در مراحل مختلفی که امکان دسترسی به سرورهای‌شان فراهم شده بود، اقدام به جابه‌جایی سرورها به سایر دیتاسنترهای ابر آروان کرده بودند؛ این دو امکان شامل این دسته از مشتریان هم شده است.

در کنار این اقدامات، ابر آروان براساس قرارداد جبران خدمات (SLA) زیان مدت زمان دردسترس نبودن زیرساخت را هم پرداخت کرده است.