DSMCL: Học nhất quán hai không gian cho bài toán Re-Identification xuyên phương thức

Re-Identification xuyên phương thức (cross-modal Re-ID) — nhận diện lại cùng một đối tượng (người, tàu thuyền…) khi được chụp bởi hai loại cảm biến khác nhau (ánh sáng thường, hồng ngoại, radar khẩu độ tổng hợp SAR…) — là bài toán then chốt cho giám sát an ninh 24/24, hoạt động xuyên điều kiện thời tiết và ánh sáng. Bài báo “Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification” (Yujian Zhao, Yukang Zhao, Hankun Liu, Haoxuan Xu, Bo Li, Hanzi Wang, Guanglin Niu) chỉ ra hai hạn chế cốt lõi của các phương pháp hiện có và đề xuất một framework có thể cắm trực tiếp (plug-and-play) vào nhiều kiến trúc backbone khác nhau để giải quyết đồng thời cả hai.

Hai hạn chế của các phương pháp hiện có

Thách thức 1 — chỉ học nhất quán trong không gian spatial. Phần lớn phương pháp hiện tại căn chỉnh phân phối đặc trưng giữa hai phương thức chỉ trong không gian embedding (spatial embedding space), trong khi bỏ qua sự khác biệt ở miền tần số (frequency domain). Ảnh khả kiến và ảnh hồng ngoại/SAR có đặc trưng phổ tần số rất khác nhau — hai luồng thông tin này bổ trợ cho nhau nhưng phần lớn nghiên cứu trước đây chưa khai thác.

Thách thức 2 — thiết kế riêng cho từng kịch bản. Các phương pháp hiện có thường được thiết kế đặc thù cho một cấu hình phương thức cụ thể (ví dụ chỉ cho Visible-Infrared Person ReID, hoặc chỉ cho Optical-SAR Ship ReID), khiến rất khó thiết lập một paradigm học thống nhất áp dụng được cho nhiều cấu hình phương thức không đồng nhất khác nhau — từ ảnh người tới ảnh tàu thuyền, từ hai phương thức tới ba phương thức (VIS-NIR-TIR).

Hai hạn chế này chính là động lực để nhóm tác giả đề xuất DSMCL (Dual-Space Modality Consistency Learning) — một framework thống nhất và tổng quát cho bài toán cross-modal Re-ID.

Kiến trúc DSMCL: hai nhánh học bổ trợ nhau

DSMCL gồm hai module chính, hoạt động song song trên cùng một feature map đầu ra từ backbone Re-ID:

1. Spatial Modality Consistency Learning (SMCL)

Nhánh này thực hiện căn chỉnh phân phối đặc trưng theo từng lớp (class-wise) giữa các phương thức trong không gian spatial — kéo các đặc trưng cùng danh tính (identity) nhưng khác phương thức lại gần nhau, đồng thời giữ khoảng cách với các danh tính khác. Đây là hướng tiếp cận truyền thống nhưng được DSMCL thực hiện có kiểm soát chặt chẽ theo từng lớp, làm nền tảng cho nhánh thứ hai bổ trợ thêm.

2. Frequency-aware Discriminative Consistency Learning (FDCL)

Đây là đóng góp mới, gồm ba bước xử lý:

• Phân rã miền tần số (Frequency-domain Decomposition): dùng biến đổi Fourier 2D (2D-FFT) để chuyển đặc trưng không gian sang phổ biên độ log (log-amplitude spectrum), tách lộ ra thông tin tần số mà không gian đặc trưng thông thường không thể hiện rõ.
• Trích xuất biểu diễn tần số cao thích ứng (Adaptive High-Frequency Representation Extraction): một mặt nạ có thể học (learnable mask generator) xác định và trích riêng phần thông tin tần số cao — nơi thường chứa các chi tiết biên dạng, kết cấu đặc trưng cho từng danh tính mà tần số thấp (thông tin nền, độ sáng tổng thể) không mang lại.
• Học tương phản nhận biết danh tính (Identity-aware Contrastive Learning): áp dụng contrastive learning có neo (anchor) trên chính biểu diễn tần số cao đã trích xuất, tăng cường khả năng phân biệt xuyên phương thức (cross-modal discriminability) dựa trên đặc trưng tần số.

Hai nhánh SMCL và FDCL được tối ưu đồng thời cùng với hàm mất mát phân loại danh tính (classification loss) và triplet loss, tạo thành một mục tiêu tối ưu chung — cho phép DSMCL vừa nhất quán trong không gian đặc trưng, vừa nhất quán trong miền tần số.

Kiểm chứng trực quan: FDCL thực sự thu hẹp khoảng cách tần số

Trên tập dữ liệu SYSU-MM01, nhóm tác giả so sánh phổ tần số của ảnh khả kiến và hồng ngoại cho cùng một danh tính, trước và sau khi thêm FDCL vào baseline (MFENet). Bản đồ sai khác (Difference Map) cho thấy: khi chỉ dùng MFENet gốc, độ lệch phổ trung bình là 7,79×10⁻²; sau khi thêm FDCL, con số này giảm xuống còn 5,45×10⁻² — đường cong Frequency-Difference Curve của MFENet+FDCL cũng nằm thấp hơn rõ rệt so với baseline trên hầu hết dải tần số chuẩn hoá. Đây là bằng chứng trực tiếp cho thấy module tần số hoạt động đúng như thiết kế: kéo phổ của hai phương thức lại gần nhau hơn.

Đánh giá trên diện rộng: 5 bộ dữ liệu, 17 giao thức

Nhóm tác giả xây dựng một khung đánh giá tổng quát (universal cross-modal Re-ID evaluation setting) trải trên 5 bộ dữ liệu benchmark và 17 giao thức đánh giá, bao trùm cả hai bài toán con:

• Person ReID (SYSU-MM01, RegDB, LLCM): các giao thức Visible-Infrared, Infrared-Visible, All-search/Indoor-search, Single-shot/Multi-shot.
• Ship ReID (CMShipReID, HGSS-ReID): các giao thức Optical-SAR, VIS-NIR-TIR ba phương thức, All-to-ALL.

Biểu đồ radar so sánh baseline gốc (đường đỏ) với baseline có gắn thêm DSMCL (đường xanh) cho thấy DSMCL cải thiện hiệu năng ở toàn bộ 17/17 giao thức — không có trường hợp nào bị suy giảm — xác nhận tính chất “universal” của phương pháp: cùng một framework hoạt động ổn định trên cả bài toán hai phương thức lẫn ba phương thức, cả ảnh người lẫn ảnh tàu thuyền.

Phân tích định lượng: đặc trưng học được tách biệt hơn theo danh tính

Trực quan hoá t-SNE trên tập RegDB cho thấy: với baseline, các cụm đặc trưng cùng danh tính nhưng khác phương thức (hình tròn = khả kiến, hình tam giác = hồng ngoại) vẫn còn tách rời nhau khá rõ trong không gian embedding (minh hoạ bằng các vòng khoanh đỏ/xanh trong hình). Khi thêm DSMCL, các cặp phương thức của cùng một danh tính hội tụ gần nhau hơn đáng kể — phản ánh đúng mục tiêu thiết kế của SMCL.

Phân tích mật độ xác suất của khoảng cách đặc trưng trong lớp (intra-class) và giữa các lớp (inter-class) trên cùng tập mẫu RegDB củng cố thêm kết luận trên bằng con số cụ thể: khoảng cách giữa hai đỉnh phân phối intra-class và inter-class (biểu thị khả năng phân biệt của mô hình) tăng từ 0,371 (baseline) lên 0,408 (Baseline + DSMCL). Đồng thời độ lệch chuẩn của phân phối intra-class giảm từ 0,107 xuống 0,087 — nghĩa là các mẫu cùng danh tính được kéo sát nhau hơn, trong khi khoảng cách tới các danh tính khác vẫn được giữ vững, giúp việc phân biệt giữa các danh tính trở nên rõ ràng và đáng tin cậy hơn.

Vì sao thiết kế này có ý nghĩa

DSMCL đáng chú ý ở hai điểm: thứ nhất, module FDCL bổ sung một trục thông tin (miền tần số) mà phần lớn nghiên cứu cross-modal Re-ID trước đây bỏ ngỏ, và được kiểm chứng bằng bằng chứng định lượng trực tiếp (bản đồ sai khác phổ) chứ không chỉ suy luận gián tiếp qua độ chính xác cuối cùng. Thứ hai, việc thiết kế framework ở dạng plug-and-play — không phụ thuộc vào kiến trúc backbone hay cấu hình phương thức cụ thể — và kiểm chứng nhất quán trên 17 giao thức trải rộng từ ReID người tới ReID tàu thuyền, từ hai tới ba phương thức, là một bước hướng tới một paradigm học chung cho toàn bộ nhóm bài toán cross-modal Re-ID, thay vì tiếp tục phát triển các giải pháp rời rạc cho từng kịch bản riêng lẻ.