Solana в середу вранці опинилася за 4,51 відсоткового пункту від втрати здатності фіналізувати транзакції після того, як єдиний неправильно налаштований маршрут в одного хостинг-провайдера вивів з ладу 28,83% застейканих SOL. Ланцюг припиняє фіналізацію при 33,34%, тобто мережа досягла приблизно 86% цього показника.

Teraswitch, провайдер, опублікував звіт, що пояснює, як це сталося. Компанія використовує маршрут за замовчуванням внутрішньо, щоб сигналізувати, що периферійний маршрутизатор може досягти інтернету, при цьому кожен сайт зазвичай віддає перевагу тому, що походить від його власних маршрутизаторів. Маршрут за замовчуванням з її сайту в Маямі був поширений зі знятими метриками та спільнотами, а рефлектор маршрутів в Амстердамі поширив його в Європу та Азіатсько-Тихоокеанський регіон.

Периферійні маршрутизатори там інтерпретували його як локально вихідний і віддали йому перевагу перед своїм реальним, потім передали його до ядра центру обробки даних, яке відхилило його як недійсний. Дванадцять сайтів у Лондоні, Амстердамі, Дубліні, Франкфурті, Сінгапурі та Токіо залишилися без дійсного маршруту для пересилання. Північна Америка залишилася недоторканою. Інженери виявили несправність протягом десяти хвилин, і послуги відновилися о 04:16:15 UTC.

Протокол стейкінгу Marinade Finance, який згодом зібрав дані, виявив, що збій був зосереджений на одній автономній системі. AS20326 утримує 118 890 767 SOL, що становить понад чверть усіх застейканих коштів у мережі, і 94% з них відключилися в ті ж хвилини.

Це вже перевищує стелю, призначену для запобігання подібним ситуаціям. Програма делегування Solana Foundation обмежує будь-яку одну автономну систему 25% стейку мережі. AS20326 становить 27,34%.

80 мільйонів SOL чекали

Marinade виявив, що 59 валідаторів, які утримували 80,2 мільйона SOL, повернулися до роботи в тому ж вузькому вікні в Амстердамі, Франкфурті та Токіо, дочекавшись відновлення конвергенції маршрутизації, замість того, щоб переходити на щось інше. Helius, другий за величиною валідатор на Solana, не працював повні 33 хвилини. З 74 операторів, які Marinade змогла виміряти, три "повернулися чистими": Laine і Cogent Crypto, обидва керовані Sol Strategies, і Lion3d.

Проблема також виходить за межі одного провайдера: ще 14,1 мільйона SOL відключилися в ті ж хвилини по всьому світу в latitude.sh, Limestone, Butterfly Research та Allnodes, що, за словами Marinade, не могло бути пояснено з наявних даних і свідчить про те, що підрахунок стейку за хостинг-провайдером недооцінює масштаб збоїв, що відбуваються одночасно.

Marinade провела той самий аналіз щодо себе, повідомивши, що чотири автономні системи утримують дві третини стейку, розподіленого її моделлю розподілу, причому одна з них, AS395201, становить 36,94%. "Ніхто не повинен бути задоволений цим, включно з нами", – написала фірма у Twitter, зазначивши, що перегляне свої ліміти концентрації на мережу та на центр обробки даних, а також почне публікувати інформацію про те, чи працює валідатор з гарячою заміною та автоматичним перемиканням у разі збою, що наразі неможливо визначити ззовні.

333 SOL у пропущених винагородах будуть покриті заставами валідаторів наприкінці епохи. Якби простій перевищив третину, жоден власник SOL не зміг би фіналізувати транзакції, і жодна застава цього не покриває. Востаннє Solana повністю зупинялася в лютому 2024 року, і для перезапуску знадобилося близько п'яти годин.