Công nghệ & AI

TurboVLA: mô hình Vision-Language-Action thời gian thực 32 Hz trên RTX 4090, dưới 1 GB VRAM

10/8/2026

Các mô hình Vision-Language-Action (VLA) hiện nay thường đặt một mô hình ngôn ngữ lớn (LLM) làm cầu nối trung tâm giữa nhận thức thị giác và hành động của robot — đi theo pipeline V → L → A: quan sát thị giác được chiếu vào không gian biểu diễn của LLM, ghép với chỉ dẫn ngôn ngữ, rồi LLM xử lý toàn bộ trước khi giải mã ra hành động. Cách làm này hiệu quả nhưng tạo ra một nút thắt cổ chai lớn về tính toán và bộ nhớ ở mỗi lần suy luận, cản trở việc điều khiển robot thời gian thực trên phần cứng phổ thông.

Nghiên cứu bởi Hengyi Xie, Chenfei Yao, Xianjin Wu, Xuanyang Xi, Yiping Tang, Di Xu, Yingying Zhu, Dingkang Liang, Xiang Bai, Han Ding — Đại học Khoa học Công nghệ Hoa Trung (HUST) và Huawei Technologies. arXiv:2607.27205.

1. Ý tưởng cốt lõi: từ V→L→A sang V+L→A

Nhóm tác giả đặt câu hỏi: liệu điều khiển ở mức thực thi (execution-level control) có nhất thiết phải đi qua một LLM hàng tỷ tham số hay không? Quan sát then chốt: một khi chỉ dẫn ngôn ngữ đã xác định rõ kỹ năng thao tác cần thực hiện, chính sách thực thi không cần sinh ngôn ngữ mở hay tự phân rã nhiệm vụ — nó chỉ cần dùng chỉ dẫn đó để xác định quan sát thị giác hiện tại nên dẫn dắt hành động như thế nào.

Từ đó, TurboVLA tái cấu trúc pipeline VLA thành ánh xạ trực tiếp V + L → A: mã hoá độc lập quan sát thị giác và chỉ dẫn ngôn ngữ, cho hai luồng này trao đổi thông tin qua một module tương tác thị giác–ngôn ngữ hai chiều nhẹ, rồi dự đoán trực tiếp một chuỗi hành động liên tục (action chunk) bằng một decoder gọn nhẹ — hoàn toàn không cần LLM ở trung tâm.

2. Kiến trúc TurboVLA

Hệ thống gồm ba khối chính:

Mã hoá đa phương thức nhẹ: quan sát hình ảnh (từ nhiều camera) được mã hoá bằng DINOv3, chỉ dẫn ngôn ngữ được mã hoá bằng BERT — thay vì một LLM hàng tỷ tham số. Trạng thái robot (robot state) được mã hoá riêng và đưa thẳng vào decoder hành động, không đi qua module tương tác.
Module tương tác thị giác–ngôn ngữ hai chiều: gồm N=6 lớp cross-attention hai chiều xếp chồng — visual-to-instruction attention để bơm ngữ cảnh cảnh quan sát vào luồng chỉ dẫn, và instruction-to-visual attention để điều kiện hoá đặc trưng thị giác theo ngữ nghĩa nhiệm vụ. Thiết kế lấy cảm hứng từ cơ chế tương tác đa phương thức hiệu quả trong Grounding DINO.
Bộ giải mã action chunk kiểu ACT: kết hợp đặc trưng đa phương thức đã hợp nhất với trạng thái robot, giải mã song song toàn bộ chuỗi hành động liên tục trong một lượt forward duy nhất — không cần token hoá hành động hay sinh tuần tự.

Toàn bộ mô hình được huấn luyện bằng behavior cloning với hàm mất mát ℓ₁ đơn giản, không cần mục tiêu phụ trợ về mô hình hoá ngôn ngữ.

3. Kết quả thực nghiệm

Trên LIBERO (thao tác một tay)

TurboVLA đạt 97.7% tỷ lệ thành công trung bình trên 4 bộ LIBERO (Spatial, Object, Goal, Long) — chỉ với 0.2B tham số, độ trễ suy luận 31.2 ms và 0.9 GB VRAM trên một RTX 4090 tiêu chuẩn. Con số này tương đương hoặc vượt các mô hình VLA lớn hơn nhiều:

So với π0.5 (3.4B tham số, 93.6 ms): TurboVLA đạt 97.7% so với 96.9%, dùng chỉ ~6% số tham số và độ trễ giảm từ 93.6 ms xuống 31.2 ms.
So với VLA-JEPA (2.8B tham số): TurboVLA vượt về độ chính xác, nhanh hơn hơn 3 lần, chỉ dùng ~7% số tham số.
So với các mô hình VLA nhẹ khác (Evo-1, VLA-Adapter, SmolVLA, DreamVLA): TurboVLA vẫn nhỏ hơn và nhanh hơn trong khi độ chính xác cao hơn.

Nhìn tổng thể, TurboVLA nhỏ hơn tới 41 lần so với CogVLA (8.3B tham số) — mô hình VLA có độ chính xác gần tương đương — trong khi vẫn giữ được tỷ lệ thành công hàng đầu.

Trên RoboTwin 2.0 (thao tác hai tay)

Với backbone DINOv3 ViT-L, TurboVLA đạt 60.2% thành công trung bình trên 50 tác vụ hai tay, với độ trễ 43.4 ms — vượt π0.5 (57.0%, 95.6 ms) và StarVLA-α (50.3%, 74.9 ms), cho thấy thiết kế V+L→A mở rộng tốt sang điều khiển song phương phức tạp hơn.

Triển khai thực tế

Trên nền tảng robot AgileX Piper với 4 tác vụ thực tế (nhặt con lăn, di chuyển thẻ bài, ấn bấm kim, xếp chồng ba cái bát), TurboVLA đạt tỷ lệ thành công 92.5%, 80%, 90% và 87.5% — vượt trội so với π0.5 chạy trên cùng nền tảng, cùng dữ liệu huấn luyện và cùng giao thức đánh giá.

4. Các phát hiện từ ablation study

Ngôn ngữ là bắt buộc: bỏ điều kiện ngôn ngữ khiến tỷ lệ thành công trung bình giảm mạnh từ 97.7% xuống 70.8% (giảm sâu nhất ở LIBERO-Goal: từ 97.4% xuống 11.6%) — xác nhận chính sách không thể chỉ dựa vào ưu tiên thị giác khi nhiều hành vi cùng khớp với một cảnh quan sát.
Không cần encoder ngôn ngữ lớn: BERT (216M tham số) cho kết quả tốt nhất (97.7%), nhưng T5-Small (142M) vẫn đạt 97.1% — cho thấy chỉ dẫn ở mức thực thi có thể được xử lý hiệu quả bằng encoder văn bản nhẹ, không cần mô hình sinh ngôn ngữ lớn.
Tương tác hai chiều là tối ưu: so với không tương tác (95.2%) hoặc tương tác một chiều (96.1–96.5%), tương tác hai chiều đầy đủ đạt cao nhất (97.7%) — đặc trưng thị giác được điều kiện hoá theo nhiệm vụ và đặc trưng chỉ dẫn được làm giàu theo ngữ cảnh cảnh quan sát mang lại thông tin bổ sung cho nhau.
Độ sâu tương tác N=6 là điểm cân bằng tốt nhất: tăng từ N=2 lên N=6 cải thiện đều (93.5% → 97.7%), nhưng N=8 lại giảm nhẹ (96.6%) — cho thấy sâu hơn không đồng nghĩa tốt hơn.

5. Ý nghĩa

Kết quả của TurboVLA cho thấy hiệu năng thao tác mạnh mẽ ở mức thực thi không nhất thiết phải gắn với một LLM hàng tỷ tham số làm giao diện trung tâm giữa nhận thức và hành động. Bằng cách thiết kế lại pipeline đa phương thức thay vì chỉ tăng tốc phần sinh hành động hay thu nhỏ mô hình một cách đơn thuần, nhóm tác giả hạ thấp đáng kể rào cản phần cứng để triển khai chính sách robot có điều kiện ngôn ngữ trong các hệ thống nhạy cảm với độ trễ và giới hạn tài nguyên.

Nguồn

Bài báo: arXiv:2607.27205 (arxiv.org/abs/2607.27205) · Trang dự án: H-EmbodVis.github.io/TurboVLA · Code & checkpoint: github.com/H-EmbodVis/TurboVLA