Công nghệ & AI

Hand Visibility Detector: khi model ước lượng tư thế bàn tay cần biết nó đang "đoán mò"

10/8/2026

Trong ước lượng tư thế bàn tay (Hand Pose Estimation — HPE), một vấn đề âm thầm nhưng quan trọng thường bị bỏ qua: khi một khớp ngón tay bị vật cầm nắm che khuất hoàn toàn, phần lớn mô hình HPE vẫn cứ xuất ra một toạ độ cho khớp đó — dựa trên suy đoán từ cấu trúc giải phẫu bàn tay, không phải từ bằng chứng thị giác thực sự nhìn thấy được. Với các ứng dụng AR/VR hay robot cần biết mức độ tin cậy của từng khớp, đây là một lỗ hổng đáng kể. Bài báo “Hand Visibility Detector: Per-Keypoint Visibility Estimation for Hands” (Ryosei Hara, Masashi Hatano, Rintaro Yanagi, Atsushi Hashimoto, Takuma Yagi, Mariko Isogawa — Keio University, AIST, OMRON SINIC X, University of Tokyo) là nghiên cứu đầu tiên xem việc ước lượng độ hiển thị theo từng khớp tay là một bài toán độc lập, thay vì chỉ là tín hiệu phụ trợ để cải thiện độ chính xác pose như các công trình trước.

Vấn đề: visibility luôn chỉ là “phụ”, chưa từng được nghiên cứu độc lập

Nhóm tác giả chỉ ra rằng dù một số phương pháp HPE có tính đến occlusion (che khuất) hoặc visibility, các tín hiệu này chủ yếu được dùng để hỗ trợ cải thiện độ chính xác dự đoán vị trí khớp, chứ bản thân độ chính xác của việc ước lượng visibility chưa từng được kiểm chứng một cách hệ thống. Ví dụ, phương pháp Contact4D — công trình liên quan gần nhất — dùng một visibility estimator dựa trên RTMPose với backbone CSPNeXt huấn luyện trên COCO-WholeBody để tinh chỉnh lại vị trí khớp 3D sau tam giác hoá, nhưng chưa từng đánh giá riêng độ chính xác của chính bộ ước lượng visibility đó. Nhóm tác giả cũng quan sát thấy nhãn visibility trong COCO-WholeBody thường thiếu chính xác hoặc bị thiếu, thúc đẩy họ tìm một nguồn nhãn chất lượng cao hơn — họ chọn huấn luyện trên HInt, một bộ dữ liệu có nhãn visibility đáng tin cậy hơn.

Ý tưởng thiết kế: mượn tri thức từ backbone HPE đã huấn luyện sẵn, và đóng băng nó

Kiến trúc của Hand Visibility Detector khá tối giản: gắn một visibility head nhẹ lên trên backbone của một mô hình HPE đã huấn luyện sẵn quy mô lớn (như HaMeR hoặc WiLoR) — và quan trọng nhất, giữ nguyên (đóng băng) toàn bộ backbone, chỉ huấn luyện phần head.

Head này sử dụng một Gated Attention Unit (GAU) để mô hình hoá phụ thuộc không gian toàn cục giữa các vị trí trên bản đồ đặc trưng — giúp việc suy luận độ hiển thị của một khớp có thể tận dụng ngữ cảnh từ toàn bộ bàn tay (ví dụ: nếu các khớp lân cận đều bị vật thể che, khớp đang xét cũng nhiều khả năng bị che), thay vì chỉ nhìn cục bộ tại một điểm.

Lựa chọn “đóng băng backbone” không phải ngẫu nhiên — đây là kết quả thực nghiệm rõ ràng:

Giữ backbone đóng băng, chỉ huấn luyện head: đạt mAP 0.931.
Bỏ GAU, chỉ dùng một head tuyến tính đơn giản: mAP giảm còn 0.887.
Fine-tune luôn cả backbone WiLoR theo nhiệm vụ visibility: mAP sụt mạnh xuống 0.622.

Kết quả fine-tune sụt giảm nghiêm trọng cho thấy: việc ép backbone học thêm nhiệm vụ mới đã phá vỡ chính biểu diễn hình dạng bàn tay chất lượng cao mà nó học được từ quá trình tiền huấn luyện quy mô lớn — một minh chứng thực nghiệm khá thuyết phục cho nguyên tắc “đừng đụng vào một biểu diễn tốt nếu không cần thiết”.

So sánh backbone: mô hình chuyên biệt cho tay thắng cả DINOv3

Nhóm tác giả cũng so sánh nhiều lựa chọn backbone khác nhau cho vai trò trích xuất đặc trưng. Kết quả: các mô hình HPE chuyên biệt cho bàn tay — HaMeR và WiLoR — cho hiệu năng tốt nhất, vượt qua cả DINOv3, mô hình thị giác tổng quát mạnh nhất trong nhóm so sánh. Điều này cho thấy tri thức chuyên biệt về cấu trúc và hình dạng bàn tay mà các mô hình HPE học được trong quá trình huấn luyện trên dữ liệu quy mô lớn có giá trị hơn hẳn một biểu diễn thị giác tổng quát, dù mạnh đến đâu, cho riêng bài toán này.

So với hai phương pháp có khả năng ước lượng visibility đã có từ trước — Kim et al. (2021, dùng ResNet-50 tiền huấn luyện trên ImageNet-1k + head tuyến tính 2 lớp) và Contact4D (dùng CSPNeXt tiền huấn luyện trên ImageNet-1k) — Hand Visibility Detector đạt mAP 0.931, F1 0.896, vượt trội rõ rệt trên cả hai độ đo. Nhóm tác giả lý giải khoảng cách này đến từ việc cả hai baseline đều dựa trên đặc trưng CNN tiền huấn luyện ImageNet-1k tổng quát, trong khi phương pháp đề xuất tận dụng tri thức chuyên biệt về bàn tay đã được học sẵn trong các mô hình HPE quy mô lớn.

Một chi tiết thực dụng khác: điểm F1 đạt đỉnh quanh ngưỡng nhị phân hoá 0,5 và duy trì ổn định trên 0,88 trong toàn bộ dải ngưỡng 0,3–0,7 — nghĩa là hệ thống không quá nhạy cảm với việc chọn ngưỡng chính xác, thuận lợi cho việc triển khai thực tế.

Ứng dụng hạ nguồn: tam giác hoá đa góc nhìn có trọng số theo độ hiển thị

Để chứng minh giá trị thực tiễn, nhóm tác giả áp dụng Hand Visibility Detector vào một bài toán hạ nguồn quan trọng: gán nhãn tư thế tay 3D qua tam giác hoá đa góc nhìn (multi-view triangulation) từ các keypoint 2D. Cách làm tam giác hoá tiêu chuẩn coi mọi góc nhìn ngang nhau về độ tin cậy; ngay cả khi dùng RANSAC để loại điểm nhiễu (outlier), các điểm có độ tin cậy thấp còn sót lại vẫn được dùng nguyên như vậy, không được xử lý đặc biệt.

Nhóm tác giả thay vào đó dùng trọng số theo độ hiển thị do Hand Visibility Detector ước lượng cho quá trình tam giác hoá — kết quả giảm sai số tái chiếu (reprojection error) trung bình tới 10,1% trên ba bộ dữ liệu đa góc nhìn (DexYCB, HO3D, H2O), so với cả phương án không trọng số lẫn phương án chỉ dùng độ tin cậy của bộ phát hiện tay (hand detection confidence) làm trọng số.

Vì sao điều này quan trọng

Đóng góp lớn nhất của bài báo nằm ở việc tách bạch rõ ràng hai câu hỏi vốn hay bị gộp chung: “khớp này nằm ở đâu?” và “tôi có thực sự nhìn thấy khớp này không?”. Trong các ứng dụng thực tế như AR/VR hay điều khiển robot dựa trên tư thế tay, việc biết một dự đoán vị trí khớp đang dựa trên bằng chứng thị giác thật hay chỉ là suy đoán từ prior giải phẫu có ý nghĩa quyết định — một hệ thống robot cầm nắm không nên tin tưởng ngang nhau vào toạ độ của một ngón tay đang lộ rõ và một ngón tay bị che khuất hoàn toàn. Bằng việc chứng minh rằng chỉ cần “mượn” tri thức từ backbone HPE đã huấn luyện sẵn, gắn thêm một head nhẹ, và tuyệt đối không đụng vào backbone đó, nhóm tác giả đưa ra một giải pháp vừa hiệu quả vừa rẻ về mặt tính toán — không cần huấn luyện lại một mô hình lớn từ đầu — để giải quyết một khoảng trống đã tồn tại từ lâu nhưng ít được chú ý trong lĩnh vực ước lượng tư thế bàn tay.

Nguồn

Bài báo: arXiv:2608.11574 (arxiv.org/abs/2608.11574) · Code & demo: github.com/ryhara/hand_visibility_detector · Model: huggingface.co/ryhara/hand-visibility-detector