Nội dung bài viết
Một lỗi ẩn, lưu lượng truy cập thay đổi và công suất giảm đã dẫn đến lỗi xếp tầng. Một khiếm khuyết tiềm ẩn trong cổng đám mây của Microsoft, không hoạt động kể từ tháng 7, được cho là nguyên nhân gây ra một trong những sự cố ngừng hoạt động lớn nhất trong lịch sử công ty vào tuần trước.
Báo cáo sơ bộ sau sự cố (PIR) do công ty công bố nêu rõ lỗi tiềm ẩn, các thay đổi về lưu lượng truy cập và dung lượng máy chủ giảm đã kết hợp lại khiến phần lớn cơ sở hạ tầng Microsoft 365 và Exchange bị ngoại tuyến vào cuối tuần trước.
Báo cáo của Microsoft liệt kê trạng thái cuối cùng của sự cố là “sự cố kỹ thuật không liên quan đến mạng hoặc AI/đại lý”.
Báo cáo sơ bộ của Microsoft cho biết tình trạng ngừng hoạt động diễn ra trong khoảng thời gian từ ngày 12 tháng 11 lúc 16:20 UTC đến ngày 13 tháng 11 lúc 16:10 UTC, tổng cộng chỉ dưới 24 giờ và hoạt động giám sát bổ sung vẫn được áp dụng đối với mọi hệ thống bị ảnh hưởng cho đến ngày 14 tháng 11.
Tình trạng ngừng hoạt động bắt đầu vào ngày 12 tháng 11 và nhanh chóng lan rộng khắp các doanh nghiệp và văn phòng công cộng phụ thuộc vào cơ sở hạ tầng trao đổi email và đám mây của Microsoft. Sự cố ngừng hoạt động được bao gồm trong ID sự cố EX1550543 và MO1550821 của Microsoft.
Bạn cần có thông tin xác thực của quản trị viên Microsoft 365 để xem báo cáo đầy đủ trên trang trạng thái của công ty nhưng Office Watch đã sao chép báo cáo sơ bộ và Đại học Pennsylvania duy trì một kho lưu trữ các bản cập nhật tình trạng dịch vụ của Microsoft.
Microsoft cho rằng sự cố ngừng hoạt động là do ba yếu tố. Một thay đổi được triển khai cho cổng đám mây của Microsoft bắt đầu từ tháng 7 đã tạo ra một lỗi trong đó, trong một số điều kiện nhất định, tài nguyên CPU và bộ nhớ có thể cạn kiệt và không phản hồi.
Microsoft cho rằng lỗi này chưa bao giờ được phát hiện trong quá trình thử nghiệm trước khi phát hành vì phần cứng được sử dụng kém mạnh hơn một số hệ thống đã được triển khai trong sản xuất, trong đó số lượng lõi CPU cao hơn trên các máy mới hơn dường như đã góp phần gây ra tình trạng khóa.
Yếu tố thứ hai là tải máy chủ. Microsoft cho biết “Sự thay đổi lưu lượng truy cập trong quá trình nâng cấp và bảo trì mạng tiêu chuẩn đã gây ra một lỗi tiềm ẩn”.
Công ty duy trì sẵn hai hệ thống cổng độc lập để truy cập Microsoft 365 nhằm phục hồi. Nếu một hệ thống gặp sự cố và người dùng không thể đi qua cửa trước thì hệ thống kia sẽ được mở để duy trì lưu lượng giao thông.
Theo báo cáo, khoảng 15 giờ trước khi ngừng hoạt động, lưu lượng truy cập từ Teams đã được chuyển từ cổng thay thế sang cổng chính, nơi duy trì quyền truy cập Exchange Online. Việc chuyển đổi là một biện pháp an toàn tiêu chuẩn, nhưng nó khiến cổng phải xử lý nhiều hơn.
lưu lượng truy cập, với sự kết hợp các yêu cầu khác so với trước đây. Khi các yêu cầu tiếp tục chồng chất, các máy chủ bị ảnh hưởng đã cạn kiệt dung lượng và từ chối các yêu cầu kết nối mới.
Sự thay đổi giao thông bộc lộ yếu tố thứ ba: năng lực cơ sở hạ tầng. Một lỗi hiện có có nghĩa là nhóm máy chủ cổng của Microsoft đang hoạt động ở mức dưới 14% so với điều kiện tối ưu.
Khoảng trống bị thiếu đó lẽ ra có thể đáp ứng nhu cầu một cách bình thường, nhưng khi kết hợp với mô hình lưu lượng truy cập đã thay đổi và khiếm khuyết cơ bản, nó khiến các cổng bị tranh chấp về khóa khi các yêu cầu liên tục chồng chất.
Khi hoạt động kinh doanh của Hoa Kỳ bắt đầu đạt đến đỉnh điểm hàng ngày, các máy chủ cổng bắt đầu đóng băng.
Các hệ thống sao lưu chuyển yêu cầu khỏi các máy chủ không phản hồi đã thực hiện công việc của mình nhưng lại gặp phải tình trạng khóa tương tự trên các cổng sao lưu được cho là hoạt động tốt.
Điều này đã tạo ra hiệu ứng quả cầu tuyết, khiến hơn 80% máy chủ cổng bị ảnh hưởng của Microsoft bị đóng băng trong quá trình quét. Các cơ chế nhằm cô lập các hệ thống bị ảnh hưởng theo khu vực dường như đã thất bại.
Báo cáo hiện tại của Microsoft không đề cập đến lý do tại sao các hệ thống cách ly này có thể bị lỗi. Quá trình khôi phục mất nhiều thời gian hơn bình thường vì bản sửa lỗi yêu cầu cập nhật hệ thống được nhắm mục tiêu từ Micros thường là kỹ sư.
Nỗ lực khởi động lại máy chủ cổng không hiệu quả; khi các máy chủ trực tuyến trở lại, hàng đợi yêu cầu lớn vẫn đang chờ truy cập, ngay lập tức gây ra tình trạng cạn kiệt tài nguyên tương tự vốn góp phần gây ra tình trạng ngừng hoạt động ngay từ đầu.
Microsoft cho biết các dịch vụ như Teams, OneDrive và các ứng dụng Office khác có thể được chuyển khỏi cơ sở hạ tầng bị ảnh hưởng nhưng các giới hạn về quy mô đã ngăn Exchange Online thực hiện động thái tương tự.
Vì lỗi từ tháng 7 vẫn chưa được phát hiện nên việc khôi phục hệ thống cũng không hiệu quả. Việc đơn giản quay trở lại trạng thái trước đó khi mọi thứ đang “hoạt động” là không thể xảy ra, bởi vì bóng ma đã có sẵn trong máy.
Các máy chủ đã được vá lỗi và dần dần hoạt động trở lại, đồng thời Microsoft cho biết họ đã bổ sung thêm các biện pháp bảo vệ dung lượng và phân phối lưu lượng để cố gắng tránh điều tương tự xảy ra lần nữa.
Microsoft cũng kéo dài thời gian chờ gửi đối với các email bị ảnh hưởng để ngăn các thư bị trì hoãn gửi lại do không thể gửi được. Microsoft dự kiến sẽ công bố báo cáo sự cố cuối cùng đầy đủ vào ngày 20 tháng 11.
Báo cáo cuối cùng này có thể cung cấp thêm thông tin làm rõ về lý do tại sao hệ thống cách ly khu vực không hoạt động và lỗi nào đã được khắc phục. các hành động hiệu quả sẽ được thực hiện để đảm bảo có thể tránh được tình trạng ngừng hoạt động này trong tương lai.
Tất cả các dịch vụ đám mây của Microsoft đều xuất hiện trực tuyến và hoạt động kể từ sáng thứ Hai. Ars Technica đã tách tín hiệu khỏi tiếng ồn trong hơn 25 năm.
Với sự kết hợp độc đáo giữa hiểu biết về kỹ thuật và mối quan tâm sâu rộng đến nghệ thuật và khoa học công nghệ, Ars là nguồn đáng tin cậy trong biển thông tin. Suy cho cùng, bạn không cần phải biết mọi thứ, chỉ cần biết những gì quan trọng.
Gợi ý thực hành:
1. Theo dõi thông báo từ cơ quan địa phương tại California.
2. Kiểm tra nguồn chính thức trước khi chia sẻ lại thông tin.