PROVE: Khung đánh giá độ mạch lạc khi xoá vật thể khỏi ảnh và video
Object removal (xoá vật thể khỏi ảnh/video và phục hồi nền một cách tự nhiên) là công nghệ lõi trong chỉnh sửa nội dung, dọn dẹp cảnh quay, hậu kỳ. Vấn đề then chốt hiện nay không nằm ở khả năng sinh ảnh mà ở đánh giá: các độ đo hiện có thường xuyên mâu thuẫn với cảm nhận của con người, vì bài toán này về bản chất là one-to-many (một vùng bị xoá có thể có nhiều cách phục hồi hợp lý, nên không tồn tại một ground-truth duy nhất).
Nghiên cứu bởi Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan — MiLM Plus, Xiaomi Inc. Chấp nhận tại ACM MM 2026, arXiv:2605.14534.
1. Ba nhóm lỗi hệ thống của các độ đo hiện tại
- Full-reference (FR) — thiên vị “copy-paste”: PSNR, SSIM, LPIPS giả định tương ứng điểm-đối-điểm với một ảnh tham chiếu duy nhất, nên thưởng cho các kết quả “giữ nguyên nền” một cách bảo thủ thay vì phục hồi chân thực; khi giảm số bước khuếch tán (diffusion steps), điểm FR thậm chí còn tăng dù chất lượng thị giác giảm rõ rệt (“hồi quy về giá trị trung bình”).
- No-reference (NR) — thiên vị “làm mờ = sạch”: Các độ đo như ReMOVE và CFD hay chấm điểm cao cho kết quả bị làm mờ, và phạt sai các kết quả phục hồi tốt trong tình huống che khuất phức tạp.
- Temporal — không nhạy vùng cục bộ: TC, TF tính trên đặc trưng toàn khung hình nên bị chi phối bởi vùng nền không đổi, không phát hiện được artefact cục bộ ngay trong vùng vừa chỉnh sửa — nơi lỗi thường xảy ra nhất.
Hình 1. Minh hoạ thiên vị của các độ đo hiện có: (a) FR thưởng hành vi “copy-paste” thay vì xoá thật sự; (b) NR ưu ái kết quả mờ qua các bước khuếch tán; (c) so sánh phương pháp truyền thống và diffusion cho thấy độ đo mâu thuẫn với cảm nhận thị giác.
2. Đóng góp chính: khung đánh giá PROVE
Để giải quyết các hạn chế trên, nhóm tác giả đề xuất PROVE (Perceptual RemOVal cohErence) — gồm hai thành phần:
- RC (Removal Coherence) — cặp độ đo gắn với cảm nhận con người: RC-S (spatial) và RC-T (temporal).
- PROVE-Bench — bộ benchmark thực tế hai tầng: PROVE-M (80 video có cặp ground-truth) và PROVE-H (100 video khó, không có ground-truth).
3. Độ đo RC — khung so khớp phân phối cục bộ (Local Distribution Matching)
Ý tưởng cốt lõi: đánh giá object removal ở mức cục bộ thay vì gộp đặc trưng toàn cục. Với ảnh/video đã phục hồi, hệ thống crop vùng đánh giá quanh mask mục tiêu (mở rộng thêm 1/3 cạnh để lấy ngữ cảnh), trích đặc trưng ngữ nghĩa sâu bằng DINOv2, căn chỉnh mask theo độ phân giải đặc trưng, rồi so sánh phân phối đặc trưng bằng một cửa sổ trượt (sliding window) dùng Maximum Mean Discrepancy (MMD) — thay vì cosine similarity bậc một kém nhạy.
- RC-S (Spatial): so sánh phân phối đặc trưng của vùng bị mask với vùng nền xung quanh, trong từng cửa sổ trượt của cùng một khung hình → phát hiện sự thiếu mạch lạc không gian cục bộ (dư ảnh, vệt xử lý, kết cấu lệch).
- RC-T (Temporal): áp dụng cùng nguyên lý cho hai khung hình liền kề — crop đồng bộ theo hợp (union) của hai mask để tránh lệch không gian, sau đó chỉ đánh giá trên giao (intersection) của vùng đã phục hồi ở cả hai khung → phát hiện bất ổn định thời gian cục bộ (nhấp nháy, trôi kết cấu) mà TC/TF bỏ sót.
Giá trị RC-S/RC-T càng thấp = càng mạch lạc; để trình bày trực quan, RC-S được chuẩn hoá nghịch đảo (exp(-RC-S/τ)) để giá trị cao hơn = chất lượng tốt hơn.
Hình 2. Quy trình tính RC-S (trên) và RC-T (dưới): crop vùng mục tiêu → trích đặc trưng DINOv2 theo cửa sổ trượt → so sánh phân phối bằng MMD giữa vùng mask/nền (RC-S) hoặc giữa khung t/t+1 trên vùng phục hồi chung (RC-T).
Vì sao thiết kế này đúng đắn — ba lựa chọn được kiểm chứng bằng ablation
- DINOv2 nhạy hơn hẳn SAM và DINOv3 với nhiễu tần số (phân tích Fourier), phù hợp để phát hiện suy giảm cục bộ tinh vi (mờ, mất kết cấu).
- Cửa sổ trượt (window) giúp lộ ra sự bất nhất cục bộ mà gộp đặc trưng toàn cục sẽ pha loãng.
- MMD đo dịch chuyển phân phối chính xác hơn cosine similarity — vốn chỉ nắm được độ tương đồng hướng bậc một.
Việc bỏ bất kỳ thành phần nào trong ba yếu tố trên (DINOv2 → SAM/DINOv3, có window → không window, MMD → cosine) đều làm giảm tương quan với xếp hạng con người, đồng thời làm mất tính đơn điệu khi kiểm tra với độ mờ tăng dần (kiểm chứng thiên vị “blur is clean”).
4. PROVE-Bench — benchmark thực tế hai tầng
Các bộ dữ liệu object removal hiện có rơi vào thế lưỡng nan: hoặc thực tế nhưng không có ground-truth theo cặp (DAVIS), hoặc có ground-truth nhưng là tổng hợp (ROSE-Bench, Kubric). PROVE-Bench giải quyết đồng thời cả hai yêu cầu.
PROVE-M (80 video): quay hai video liên tiếp bằng camera cố định trên chân máy — video gốc có vật thể, rồi quay lại video nền sau khi xoá vật thể, hoàn tất trong 2 phút để giữ ánh sáng/bóng đổ nhất quán. Mask được tạo bằng SAM3 và tinh chỉnh thủ công. Qua pipeline lọc chất lượng 3 giai đoạn (xếp hạng theo BG-PSNR, lọc theo sai khác mask, chọn lọc thủ công), giữ lại 80 cặp chất lượng cao, sau đó áp dụng motion augmentation kiểu Ken Burns (zoom, pan, rung tay) để mô phỏng video quay tay thực tế — mỗi video 81 khung, độ phân giải 1080p.
PROVE-H (100 video): không có ground-truth, tập trung vào các tình huống cực khó: đám đông, nền động (nước chảy, lửa, mưa, tuyết), nền có kết cấu dày đặc (cỏ, sa mạc), phản chiếu phức tạp, chuyển động nhanh — dùng mask SAM3 thô, không tinh chỉnh, để phản ánh đúng điều kiện triển khai thực tế.
Hình 3. Pipeline xây dựng PROVE-M: quay cặp video thực tế (đầu vào/mask/ground-truth) → kiểm soát chất lượng theo cặp 3 giai đoạn → tăng cường chuyển động kiểu Ken Burns.
So với các benchmark hiện có (DAVIS, Movies, Kubric, GenProp, ROSE-Bench), PROVE-M là bộ dữ liệu thực tế đầu tiên vừa có ground-truth theo cặp, vừa phủ được các hiệu ứng vật lý phức tạp (bóng đổ, phản chiếu, nhiều hiệu ứng đồng thời, liên kết rời rạc); PROVE-H bổ sung phép kiểm tra áp lực (stress test) trên đám đông và nền kết cấu dày mà không benchmark nào trước đó có.
5. Kết quả thực nghiệm
5.1 Tương quan với đánh giá của con người
Trên 6 benchmark (RORD, OBER-Wild, DAVIS, ROSE-Bench, PROVE-M, PROVE-H), nhóm tác giả đo tương quan Kendall’s τ và Spearman ρ giữa xếp hạng do từng độ đo tạo ra và xếp hạng con người tổng hợp (20 người tham gia, tổng hợp bằng Borda Count). RC-S đạt tương quan trung bình cao nhất (τ = 0.59) và đứng đầu ở 5/6 benchmark, vượt xa ReMOVE (0.26) và CFD (0.16); các độ đo FR toàn cục thậm chí có tương quan âm ở nhiều benchmark vì “thưởng” việc giữ nguyên vùng nền.
Hình 4. So sánh tương quan Kendall’s τ giữa RC-S và các độ đo no-reference hiện có (ReMOVE, CFD) trên 6 benchmark (dữ liệu từ Bảng 2 của bài báo).
5.2 Chống thiên vị “Blur is Clean”
Khi tăng dần bán kính làm mờ Gaussian bên trong vùng mask, ReMOVE và CFD cải thiện điểm số một cách sai lệch, trong khi RC-S suy giảm đơn điệu và chính xác — chứng minh RC-S không mắc phải thiên vị mà các độ đo NR khác gặp phải.
5.3 Chi phí tính toán
RC-S là độ đo không gian nhanh nhất trong nhóm được so sánh (134,6 ms/khung hình), nhanh hơn CFD tới 13,7 lần (1842,8 ms/khung hình) và nhanh hơn ReMOVE (180,7 ms/khung hình).
5.4 Kết quả benchmark trên các mô hình object removal video (SOTA)
Bảng tổng hợp trên PROVE-M + PROVE-H (chỉ báo cáo độ đo no-reference vì PROVE-H không có ground-truth):
| Phương pháp | ReMOVE↑ | CFD↓ | RC-S↑ | RC-T↓ |
|---|---|---|---|---|
| FGT | 0.854 | 0.314 | 0.375 | 0.683 |
| ProPainter | 0.851 | 0.281 | 0.415 | 0.512 |
| DiffuEraser | 0.855 | 0.323 | 0.457 | 0.433 |
| VACE (1.3B) | 0.808 | 0.329 | 0.412 | 0.423 |
| Minimax-Remover (1.3B) | 0.862 | 0.327 | 0.470 | 0.381 |
| GenOmni (CogV5B) | 0.863 | 0.366 | 0.502 | 0.259 |
| GenOmni (Wan1.3B) | 0.869 | 0.344 | 0.515 | 0.276 |
| ROSE (1.3B) | 0.866 | 0.336 | 0.479 | 0.534 |
| EffectErase (1.3B) | 0.867 | 0.351 | 0.517 | 0.253 |
| UnderEraser (14B) | 0.868 | 0.309 | 0.513 | 0.295 |
| SVOR (1.3B) | 0.869 | 0.297 | 0.520 | 0.267 |
(Dữ liệu từ bảng kết quả trên trang dự án; số liệu bản mã nguồn mở có thể chênh nhẹ so với bài báo gốc do yêu cầu tuân thủ dữ liệu.)
Kết quả cho thấy các phương pháp dựa trên diffusion (ROSE, GenOmni, EffectErase, SVOR, UnderEraser) nhìn chung mạch lạc không gian tốt hơn (RC-S cao hơn) so với phương pháp truyền thống phi-diffusion như FGT. Đáng chú ý, trên PROVE-H, dù các mô hình vẫn giữ điểm PSNR/SSIM nền cao (vùng không bị mask được bảo toàn tốt), RC-S và RC-T lại lộ ra các ảo giác không gian và nhấp nháy thời gian bên trong vùng vừa xoá — cho thấy bài toán đánh đổi nhận thức–méo (perception–distortion tradeoff) trong môi trường không kiểm soát vẫn chưa được giải quyết triệt để.
6. Hạn chế
- Object removal vẫn là bài toán one-to-many: một kết quả khác biệt so với ground-truth vẫn có thể hợp lý về mặt thị giác — RC được thiết kế để ưu tiên tính mạch lạc ngữ cảnh hơn là khớp chính xác với một tham chiếu cụ thể.
- RC-S đánh giá trên vùng crop cục bộ, nên hiệu ứng phụ trải rộng (bóng đổ lớn, phản chiếu diện rộng) vượt ra ngoài vùng crop có thể bị đánh giá thấp hơn thực tế.
- PROVE-Bench mô phỏng chuyển động camera bằng kỹ thuật Ken Burns nên chưa tái hiện đầy đủ hiệu ứng quay tay thực (thay đổi góc nhìn 3D, motion blur, rolling shutter); hướng đi tương lai là dùng camera gắn trên cánh tay robot với quỹ đạo định trước.
7. Nguồn
Bài báo: arXiv:2605.14534 (arxiv.org/abs/2605.14534) · Trang dự án: xiaomi-research.github.io/prove · Code: github.com/xiaomi-research/prove · Dữ liệu: huggingface.co/datasets/HigherHu/PROVE-Bench