Cảm biến không hỏng hẳn, nó chỉ lệch dần — kiểu hỏng không kích hoạt cảnh báo nào

Một hệ thống giám sát được lắp xong và chạy tốt. Sáu tháng sau, mở lên xem: mọi thiết bị vẫn báo còn kết nối, dữ liệu vẫn về đều đặn, biểu đồ vẫn mượt, không có cảnh báo nào trong suốt nửa năm.

Chỉ có điều con số đã sai từ tháng thứ hai.

Đây là kiểu hỏng khó chịu nhất của mọi hệ thống đo đạc, và nó khó chịu chính vì lý do khiến nó khó phát hiện: hệ thống không hề dừng lại. Nó vẫn chạy đúng như thiết kế, vẫn gửi số đều đặn, chỉ là những con số ấy không còn phản ánh cái đang được đo.

Hai kiểu hỏng, và kiểu dễ chịu hơn lại là kiểu ồn ào hơn

Thiết bị đo có thể hỏng theo hai cách rất khác nhau.

Cách thứ nhất là chết hẳn. Cảm biến ngừng gửi dữ liệu, mất kết nối, hoặc trả về một giá trị vô lý rõ ràng. Kiểu này gây phiền nhưng thực ra là kiểu tốt: nó tự báo cáo. Hệ thống giám sát bắt được ngay, có người nhận cảnh báo, có người đi thay.

Cách thứ hai là lệch dần. Cảm biến vẫn hoạt động, vẫn trả về những con số trông hoàn toàn hợp lý, nhưng chúng lệch khỏi giá trị thật một chút — rồi lệch nhiều hơn theo tháng. Không có ngưỡng nào bị vượt, không có kết nối nào bị đứt. Không có gì để cảnh báo cả.

Kiểu thứ hai nguy hiểm hơn hẳn, vì trong suốt thời gian đó người ta vẫn ra quyết định dựa trên những con số ấy: vẫn bật quạt thông gió theo mức đo được, vẫn điều chỉnh nhiệt độ kho theo cảm biến, vẫn báo cáo lên trên. Một thiết bị chết hẳn thì không ai dùng số của nó. Một thiết bị lệch dần thì ai cũng dùng.

Một ví dụ rất cụ thể: cảm biến CO₂ tự hiệu chuẩn sai đi mỗi tuần

Ví dụ dễ hiểu nhất cho cơ chế này nằm ở loại cảm biến CO₂ phổ biến nhất trên thị trường — loại đo bằng cách chiếu tia hồng ngoại qua không khí và xem bao nhiêu ánh sáng bị hấp thụ.

Loại này có một vấn đề cố hữu: bóng phát hồng ngoại yếu dần theo thời gian, và bụi bám vào buồng đo. Cả hai đều khiến số đo trôi đi. Nhà sản xuất giải quyết bằng một cơ chế tự chỉnh lại, thường gọi tắt là ABC — viết tắt của *automatic baseline correction*, tức tự hiệu chỉnh lại mốc gốc.

Cơ chế này hoạt động như sau: thiết bị ghi nhớ mức CO₂ thấp nhất mà nó nhìn thấy trong khoảng 180 giờ gần nhất, giả định rằng mức thấp nhất đó chính là không khí ngoài trời, rồi tự kéo mốc gốc của mình về 400 ppm.

Trong một văn phòng, giả định này đúng. Ban đêm không ai làm việc, cửa mở, không khí trong phòng dần về gần mức ngoài trời. Thiết bị bắt được mức đó và tự chỉnh lại. Cơ chế chạy êm, không cần ai đụng tới suốt nhiều năm.

Bây giờ lắp đúng thiết bị ấy vào một nhà máy chạy ba ca, một nhà kính trồng rau, hay một kho lạnh đóng kín. Ở những nơi đó, không bao giờ có lúc phòng gần như trống. Mức thấp nhất trong 180 giờ không phải là không khí ngoài trời — nó chỉ là lúc ít người nhất, có thể vẫn ở 700 hay 900 ppm.

Thiết bị vẫn làm đúng việc nó được lập trình: coi con số đó là 400 ppm và kéo toàn bộ thang đo xuống. Sau vài chu kỳ, số đo lệch hàng trăm ppm — và nó lệch theo hướng luôn báo thấp hơn thực tế, tức là hướng nguy hiểm nhất với một chỉ số dùng để quyết định có cần thông gió hay không.

Điểm mấu chốt: thiết bị không hỏng. Nó đang chạy chính xác theo thiết kế. Cái sai nằm ở chỗ giả định của thiết kế không đúng với nơi nó được lắp — và nó không có cách nào biết điều đó để báo cho bạn.

Và ngay cả khi giả định đúng, con số 400 kia cũng đã cũ

Có một chi tiết nữa khiến ví dụ này đáng nhớ hơn nữa.

Mốc 400 ppm ghi trong phần mềm của nhiều dòng cảm biến bắt nguồn từ một bằng sáng chế về thiết bị dò khí tự hiệu chuẩn, nộp năm 2003 và công bố năm 2005. Ở thời điểm đó, mức CO₂ trung bình của khí quyển là 378,98 ppm, nên chọn 400 làm mốc tròn là hợp lý.

Hơn hai mươi năm sau, khí quyển đã ở khoảng 429 ppm. Nhưng con số 400 thì vẫn nằm nguyên trong phần mềm.

Hệ quả: kể cả một thiết bị lắp trong văn phòng, nơi giả định về ban đêm hoàn toàn đúng, vẫn sẽ nhìn thấy mức thấp nhất khoảng 428 ppm, coi đó là 400, và tự tạo ra một độ lệch hệ thống chừng 28 ppm — trong khi mọi bộ phận đều hoạt động hoàn hảo. Mốc chuẩn của cả hành tinh đã trôi khỏi con số ghi cứng trong phần mềm, còn phần mềm thì không biết.

Ở mức 28 ppm thì với đo chất lượng không khí trong nhà, sai số này thường không đổi quyết định gì. Nhưng nó minh hoạ rất rõ nguyên tắc, và nguyên tắc ấy mới là thứ đáng mang đi nơi khác.

Nguyên tắc rút ra: mọi cơ chế tự hiệu chuẩn đều chứa một giả định về thế giới

Cơ chế tự chỉnh không phải là phép màu. Nó là một quy tắc do người viết ra, và quy tắc đó luôn dựa trên một giả định về nơi thiết bị sẽ được lắp: rằng phòng sẽ có lúc trống, rằng đường ống sẽ có lúc không có dòng chảy, rằng ban đêm nhiệt độ sẽ về gần một mức nào đó.

Vậy nên câu hỏi cần đặt khi chọn thiết bị không phải "cảm biến này có tự hiệu chuẩn không" — gần như cái nào cũng có, và nghe thì luôn giống một ưu điểm. Câu hỏi đúng là: nó đang giả định điều gì, và giả định đó có đúng ở chỗ tôi lắp không.

Nếu không đúng, thường có hai lựa chọn: tắt cơ chế tự chỉnh và chuyển sang hiệu chuẩn thủ công theo lịch, hoặc tạo điều kiện để giả định thành đúng — chẳng hạn định kỳ đưa thiết bị ra ngoài trời một khoảng thời gian. Cả hai đều cần một người nhớ làm, và đó cũng là lý do bước này hay bị bỏ qua.

Vì sao lệch dần đi lọt qua mọi lớp kiểm tra

Đáng để liệt kê ra, vì phần lớn hệ thống giám sát đều có đủ các lớp này mà vẫn không bắt được:

• Kiểm tra kết nối chỉ trả lời thiết bị còn sống hay không. Cảm biến lệch thì vẫn sống.
• Kiểm tra dữ liệu có về không chỉ trả lời có số hay không. Cảm biến lệch vẫn gửi số đều.
• Cảnh báo theo ngưỡng vẫn hoạt động bình thường — chỉ là ngưỡng bây giờ nằm sai chỗ so với thực tế, nên nó im lặng đúng vào lúc lẽ ra phải kêu.
• Kiểm tra tính hợp lý của giá trị cũng không giúp được, vì số đo lệch vẫn nằm trong khoảng hợp lý. Đó chính là định nghĩa của lệch dần.

Nói cách khác, mọi lớp kiểm tra thông thường đều hỏi "có số không" và "số có nằm trong khoảng cho phép không". Không lớp nào hỏi "số này có đúng không" — vì để trả lời được câu đó thì cần một thứ để so sánh.

Bốn cách phát hiện mà không cần phòng thí nghiệm

• Lắp hai thiết bị cùng loại ở cùng một chỗ. Đây là cách rẻ nhất và hiệu quả nhất. Một cảm biến đơn độc không có gì để đối chiếu; hai cảm biến cạnh nhau thì luôn có.
• Cảnh báo theo độ lệch giữa hai thiết bị, không theo giá trị. Hai máy đo cùng một chỗ mà khoảng cách giữa chúng ngày càng lớn là dấu hiệu rất rõ, và nó xuất hiện sớm hơn nhiều so với việc chờ ai đó tình cờ thấy số vô lý.
• Kiểm tra xem số đo có bao giờ chạm mức nền đã biết không. Với cảm biến CO₂, mức nền là không khí ngoài trời. Nếu suốt một tuần số đo chưa bao giờ xuống gần mức đó, nghĩa là cơ chế tự hiệu chuẩn đang chạy mù — và bạn biết điều này chỉ bằng cách nhìn dữ liệu sẵn có, không cần thiết bị gì thêm.
• Ghi lại mọi lần hiệu chuẩn và thay thiết bị vào cùng chuỗi dữ liệu. Mỗi lần chỉnh hay thay đều tạo một bước nhảy. Không ghi lại thì sáu tháng sau không ai phân biệt được bước nhảy đó là do thiết bị hay do hiện tượng thật.

Đừng nhầm với trôi mô hình

Có một khái niệm nghe rất giống nhưng là chuyện khác hẳn: trôi mô hình, tức việc một mô hình dự đoán kém dần đi vì thực tế đã đổi khác so với dữ liệu nó được huấn luyện. Chúng tôi đã viết riêng về cách phát hiện trôi mô hình trước khi quá trễ.

Phân biệt hai thứ này quan trọng vì chúng dẫn tới hai hành động khác nhau. Trôi mô hình thì sửa bằng cách huấn luyện lại. Trôi cảm biến thì huấn luyện lại không giúp gì cả — nó chỉ dạy mô hình học thuộc luôn cái lệch, và sau đó mọi thứ trông còn ổn định hơn trước.

Đây cũng là lý do trong một hệ thống có cả cảm biến lẫn mô hình, phải kiểm tra phần đo trước rồi mới xét đến phần dự đoán. Ngược lại thì rất dễ dành nhiều tuần chỉnh mô hình cho một vấn đề nằm ở cái cảm biến bụi bặm ngoài xưởng.

Ở Việt Nam có mấy yếu tố đẩy nhanh chuyện này

Ba điều kiện làm thiết bị lệch nhanh hơn so với thông số ghi trong tài liệu, vốn thường đo trong phòng thí nghiệm:

• Độ ẩm cao quanh năm. Hơi ẩm ngưng tụ trong buồng đo và trên bảng mạch, đẩy nhanh quá trình lão hoá của gần như mọi loại cảm biến.
• Bụi. Với các loại đo bằng ánh sáng — CO₂ hồng ngoại, đo bụi mịn quang học — bụi bám vào đường quang học làm số đo trôi trực tiếp, và trôi theo hướng khó đoán.
• Chênh lệch nhiệt độ ngày đêm và giữa trong nhà với ngoài trời. Việc giãn nở, co lại lặp đi lặp lại làm mối hàn và gioăng kín xuống cấp nhanh hơn.

Cộng thêm một yếu tố không liên quan tới khí hậu nhưng gặp thường xuyên hơn cả ba yếu tố trên: lắp xong là xong. Trong phần lớn dự án, khâu hiệu chuẩn định kỳ không có trong hợp đồng, không có trong ngân sách vận hành, và không có tên ai chịu trách nhiệm. Sáu tháng đầu không ai nhận ra thiếu, vì trong sáu tháng đầu số liệu vẫn còn đúng.

Kết luận

Với một hệ thống đo đạc, câu hỏi "thiết bị còn chạy không" dễ trả lời và thường được trả lời tự động. Câu hỏi "số nó báo có còn đúng không" thì khó hơn nhiều, và trong phần lớn hệ thống, không ai đang hỏi câu đó cả.

Cơ chế tự hiệu chuẩn không giải quyết được vấn đề này, vì bản thân nó cũng chỉ là một giả định về thế giới — và khi giả định ấy không đúng với chỗ bạn lắp, nó không báo lỗi mà chỉ âm thầm sai, một cách rất tự tin.

Việc cần làm không tốn kém: thêm một thiết bị thứ hai để có cái đối chiếu, cảnh báo theo khoảng cách giữa hai số đo, và ghi lại mọi lần đụng vào thiết bị. Ba việc đó rẻ hơn nhiều so với việc phát hiện ra, sau nửa năm, rằng những quyết định gần nhất đều dựa trên một con số đã lệch.

Nếu bạn đang vận hành một hệ thống cảm biến đã chạy được một thời gian và muốn biết số liệu của nó còn đáng tin đến đâu, liên hệ với chúng tôi để rà soát một cụm thiết bị cụ thể, hoặc xem năng lực IoT & Sensors của KonexForge.