Solana suýt mất khả năng xác nhận giao dịch vào sáng thứ Tư, chỉ cách 4.51 điểm phần trăm, sau khi một lỗi định tuyến sai cấu hình duy nhất tại một nhà cung cấp dịch vụ lưu trữ đã khiến 28.83% lượng SOL đã stake ngừng hoạt động. Chuỗi ngừng xác nhận ở mức 33.34%, có nghĩa là mạng đã đạt khoảng 86% ngưỡng này.

Teraswitch, nhà cung cấp, đã công bố một báo cáo giải thích cách sự cố xảy ra. Công ty sử dụng một tuyến đường mặc định nội bộ để báo hiệu rằng một bộ định tuyến biên có thể truy cập internet, với mỗi địa điểm thường ưu tiên tuyến đường do chính bộ định tuyến của mình khởi tạo. Một tuyến đường mặc định từ địa điểm Miami của họ đã được truyền đi mà không có các thông số (metric) và cộng đồng (communities), và một bộ phản xạ định tuyến ở Amsterdam đã đẩy nó vào châu Âu và châu Á-Thái Bình Dương.

Các bộ định tuyến biên ở đó đã đọc nó như được bắt nguồn tại chỗ và ưu tiên nó hơn tuyến đường thực của họ, sau đó chuyển tiếp nó đến lõi trung tâm dữ liệu, nơi đã từ chối nó vì không hợp lệ. Mười hai địa điểm ở London, Amsterdam, Dublin, Frankfurt, Singapore và Tokyo đã không còn gì hợp lệ để chuyển tiếp. Bắc Mỹ không bị ảnh hưởng. Các kỹ sư đã tìm ra lỗi trong vòng mười phút và dịch vụ được khôi phục vào lúc 04:16:15 UTC.

Giao thức staking Marinade Finance, sau khi thu thập các con số, đã phát hiện sự cố ngừng hoạt động tập trung vào một hệ thống tự trị duy nhất. AS20326 nắm giữ 118.890.767 SOL, hơn một phần tư tổng lượng đã stake trên mạng, và 94% trong số đó đã ngừng hoạt động trong cùng khoảng thời gian.

Con số này đã vượt quá giới hạn được đặt ra để ngăn chặn điều này. Chương trình ủy quyền của Solana Foundation giới hạn bất kỳ hệ thống tự trị nào ở mức 25% tổng số stake của mạng. AS20326 hiện đang ở mức 27.34%.

80 triệu SOL nằm im chờ đợi

Marinade phát hiện ra rằng 59 validator nắm giữ 80.2 triệu SOL đã hoạt động trở lại trong cùng một khoảng thời gian ngắn ở Amsterdam, Frankfurt và Tokyo, sau khi chờ đợi định tuyến hội tụ lại thay vì chuyển sang cái khác. Helius, validator lớn thứ hai trên Solana, đã ngừng hoạt động trong suốt 33 phút. Trong số 74 nhà vận hành mà Marinade có thể đo lường, ba người "hoạt động trở lại bình thường": Laine và Cogent Crypto, cả hai đều do Sol Strategies điều hành, và Lion3d.

Mức độ rủi ro cũng rộng hơn một nhà cung cấp, với thêm 14.1 triệu SOL ngừng hoạt động trong cùng khoảng thời gian trên latitude.sh, Limestone, Butterfly Research và Allnodes, điều mà Marinade cho biết họ không thể giải thích từ dữ liệu, và cho thấy việc tính toán stake theo nhà cung cấp dịch vụ lưu trữ đánh giá thấp những gì bị lỗi cùng lúc.

Marinade đã tự thực hiện phân tích tương tự, báo cáo rằng bốn hệ thống tự trị nắm giữ hai phần ba lượng stake mà mô hình phân bổ của họ phân phối, với một trong số đó, AS395201, chiếm 36.94%. “Không ai nên cảm thấy thoải mái với điều đó, kể cả chúng tôi,” công ty đã tweet, lưu ý rằng họ sẽ xem xét lại giới hạn tập trung trên mỗi mạng và mỗi trung tâm dữ liệu, đồng thời bắt đầu công bố liệu một validator có chạy hoán đổi nóng (hot swap) và chuyển đổi dự phòng tự động (automatic failover) hay không, điều hiện không thể xác định từ bên ngoài.

Số tiền thưởng 333 SOL bị mất sẽ được bảo hiểm bởi các khoản tiền đặt cọc của validator (validator bonds) vào cuối kỷ nguyên (epoch). Nếu tỷ lệ đình trệ vượt quá một phần ba, sẽ không có giao dịch nào được xác nhận cho bất kỳ người nắm giữ SOL nào ở bất cứ đâu, và không có khoản tiền đặt cọc nào bảo hiểm cho điều đó. Lần cuối cùng Solana dừng hoạt động hoàn toàn, vào tháng 2 năm 2024, phải mất gần năm giờ để khởi động lại.