Thử thách: điều tra một bản phát hành đáng ngờ

Bốn bài trước dạy đo rủi ro, ghim phiên bản, sinh SBOM và làm cứng CI. Bài này kiểm việc bạn dùng được cả bốn thứ đó dưới áp lực thời gian, với thông tin không đầy đủ — tức là đúng hoàn cảnh chúng được dùng trong thực tế.

Tình huống — 09:15 sáng. Một tin nhắn trong kênh nhóm:

"Dependabot vừa mở PR nâng Corp.Telemetry từ 4.2.1 lên 4.2.2. Bản 4.2.2 được phát hành lúc 02:40 sáng nay, và changelog chỉ ghi fix: minor issues. Bốn tháng trước bản 4.2.1 ra kèm changelog ba đoạn. Tôi thấy hơi lạ."

Corp.Telemetry là một package nội bộ do một nhóm khác trong công ty bảo trì, nằm trong 12 service, và nó gửi metric nên nó có quyền gọi ra ngoài.

Việc phải làm.

1. Quyết định trong 10 phút đầu: đây là sự cố hay là một bản patch bình thường? Bạn dựa vào bằng chứng gì?
2. Nếu chưa kết luận được, làm gì để không lan rộng trong lúc điều tra?
3. Nếu là sự cố: xác định bán kính thiệt hại. Những service nào, những secret nào?
4. Sau khi xong: thay đổi nào ngăn được lần sau?

Câu 2 là câu quan trọng nhất và là câu người ta bỏ, vì bản năng là điều tra cho ra kết luận trước khi hành động. Trong sự cố chuỗi cung ứng thì thứ tự đó ngược.