Hệ thống tự động nhận dạng hành vi của khách hàng trong siêu thị

Với hình ảnh thu được từ camera giám sát, hệ thống có thể nhận dạng được hầu hết các đối tượng là người đi vào vùng quan sát, theo dõi họ để có được quỹ đạo đường đi và thời gian lưu lại vùng quan sát. Quỹ đạo được phân đoạn và lấy tọa độ đại diện, sau đó dùng giải thuật máy học véc tơ hỗ trợ để phân loại hoạt động của khách hàng gồm có quan tâm đến gian hàng và ghé vào lựa chọn hoặc là các hoạt động còn lại. Ngoài ra, nhóm nghiên cứu đề xuất các cải tiến nhằm cải thiện tốc độ của giải thuật theo dõi đối tượng trong trường hợp theo dõi nhiều đối tượng cùng lúc. Qua thực nghiệm nhận thấy các đề xuất cải thiện tốc độ có hiệu quả đáng kể, trung bình tăng 2,8 lần so với ban đầu, trong khi độ chính xác không thay đổi. Dữ liệu nhận dạng người và nhận dạng hoạt động của khách hàng ở siêu thị được thu thập từ nguồn Internet và dữ liệu thu được của camera giám sát đặt tại một siêu thị lớn ở tỉnh Sóc Trăng.
Trong việc quản trị, việc nhận biết và đánh giá được hành vi khách hàng để đưa các chiến lược hiệu quả đóng vai trò quan trọng cho sự thành công trong kinh doanh. Trong đó, có một phần là đánh giá được hành vi, biểu hiện của khách hàng khi họ đến tham quan mua sắm tại các khu vực trưng bày, các gian hàng kinh doanh. Để quyết định được một chiến thuật trưng bày, thông tin không thể thiếu hỗ trợ cho người quản lý là phải đánh giá được hành vi của khách hàng qua các con số thống kê, tự động hóa việc nhận biết và đánh giá hành vi. Việc xây dựng hệ thống nhận dạng hành vi đối tượng thông qua việc áp dụng kỹ thuật theo dõi đối tượng qua camera xuất phát từ nhu cầu này.
Đầu tiên là quá trình phát hiện đối tượng chuyển động trong các khung hình. Sau đó các đối tượng này sẽ qua quá trình phân lớp để phân biệt thuộc lớp nào, sự vật nào như: con người, xe, cây lắc lư... Tiếp theo là quá trình xử lý theo vết, nhằm tìm ra đường chuyển động của đối tượng, từ đó có thể phân tích, nhận biết hành vi. Hình ảnh thu nhận từ camera giám sát sẽ được chuyển đến hệ thống phát hiện đối tượng đi vào vùng quan sát, thông tin đối tượng kích hoạt hệ thống khởi động bộ theo dõi đến khi đối tượng biến mất (bị che khuất) hoặc rời khỏi vùng quan sát, tiếp theo thông tin quỹ đạo thu được từ bước theo dõi sẽ chuyển qua giai đoạn nhận dạng hoạt động (hành vi) của khách hàng là có quan tâm đến gian hàng đang được trưng bày hoặc không.
Vấn đề đặt ra ở đây là “Làm sao phân biệt được đối tượng nào là đối tượng mới phát hiện lần đầu và đối tượng nào đã được phát hiện ở khung hình trước và đang được theo dõi ở khung hình hiện tại?”. Để giải quyết vấn đề này, nhóm nghiên cứu đề xuất một phương pháp dựa trên độ chồng lấp của khung bao đối tượng, độ chồng lấp được tính toán bằng diện tích chồng lấp của 2 hình chữ nhật: một là kết quả của đối tượng mới được phát hiện và một thể hiện cho đối tượng đang được theo dõi. Độ chồng lấp sẽ có một ngưỡng để phân biệt, nếu vượt khỏi ngưỡng này thì xem như đối tượng đã được phát hiện trước đó và ngược lại đây là đối tượng mới. 
Sau khi phát hiện đối tượng mới xuất hiện đi vào vùng quan sát, việc khởi tạo bộ theo dõi được kích hoạt và thực hiện việc theo vết đối tượng ở khung hình tiếp theo. Việc theo dõi lúc này không đơn thuần là một đối tượng mà là nhiều đối tượng cùng lúc. Ở mỗi khung hình, bước theo dõi đối tượng bằng giải thuật CMT sẽ xác định được vị trí tâm đối tượng. Với nhiều khung hình liên tiếp, sẽ thu được một danh sách vị trí đối tượng tạo nên quỹ đạo đường đi từ khi đối tượng xuất hiện đến khi biến mất khỏi hệ thống.
Nhóm nghiên cứu đã thực hiện cài đặt hệ thống bằng ngôn ngữ C++ sử dụng thư viện OpenCV và thư viện libCMT trên nền Qt. Đánh giá việc cải tiến tốc độ xử lý theo phương pháp đa luồng trên tập dữ liệu thu thập từ camera an ninh ghi lại diễn biến thực tế tại siêu thị.
Kết quả, nhóm nghiên cứu đã xây dựng thành công mô hình nhận dạng người, theo dõi và cuối cùng là nhận dạng hành vi của họ trong siêu thị. Ngoài ra, họ còn đề xuất một phương pháp cải tiến giải thuật CMT theo hướng xử lý đa luồng nhằm cải thiện tốc độ. Kết quả là tốc độ tăng lên 2,8 lần so với giải thuật gốc. Từ đó đáp ứng tốt vào bài toán thực tế theo dõi nhiều đối tượng xuất hiện cùng lúc.
Từ mô hình này có thể mở rộng áp dụng cho các hệ thống thông minh hỗ trợ công tác an ninh như dựa vào nhận dạng quỹ đạo hoặc kết hợp thêm các phương pháp nhận dạng cử chỉ, hành động người phát hiện các hành vi bất thường...