Công nghệ & AI

EEmo-Logic: dạy mô hình đa phương thức hiểu cảm xúc mà một bức ảnh gợi lên

10/8/2026

Một bức ảnh hiếm khi chỉ gợi lên đúng một cảm xúc. Một bức ảnh chụp đàn ngựa hoang chạy giữa hoàng hôn có thể vừa gợi wonder (kinh ngạc), vừa joy (vui vẻ), lẫn một chút sadness (man mác) — với cường độ khác nhau tuỳ người xem. Bài toán “affective image content analysis” (AICA) — dạy máy hiểu cảm xúc mà hình ảnh gợi lên cho người xem — vốn đã khó vì tính chủ quan (khác nhau giữa người xem) và tính đa dạng (nhiều cảm xúc cùng tồn tại, cường độ khác nhau) vốn có của cảm xúc con người. Bài báo “EEmo-Logic: A Unified Dataset and Multi-Stage Framework for Comprehensive Image-Evoked Emotion Assessment” (Lancheng Gao, Ziheng Jia, Zixuan Xing, Wei Sun, Huiyu Duan, Guangtao Zhai, Xiongkuo Min — Shanghai Jiao Tong University & East China Normal University, ICML 2026) giải quyết vấn đề này bằng cả một bộ dữ liệu quy mô lớn mới lẫn một mô hình huấn luyện hai giai đoạn chuyên biệt.

Vấn đề: các mô hình hiện tại chỉ “thô” hoặc thiếu khả năng suy luận

Các phương pháp AICA truyền thống đi theo hai trường phái tách biệt: categorical emotion states (CES) — phân loại cảm xúc thành các danh mục rời rạc, thường chỉ chốt lại một cảm xúc chủ đạo — và dimensional emotion space (DES) — dùng mô hình valence-arousal-dominance (VAD) để chấm điểm liên tục. Cả hai đều bị xử lý tách biệt, thiếu khả năng suy luận nguyên nhân.

Khi các mô hình ngôn ngữ đa phương thức (MLLM) xuất hiện, một số nghiên cứu dùng SFT với chain-of-thought để cải thiện phân loại nhưng bỏ qua tính đa dạng cảm xúc; số khác dùng từ vựng mở để liệt kê nhiều cảm xúc nhưng không mô hình hoá được sắc thái cường độ hay phân tích DES. Các nỗ lực tập trung vào tính đa dạng chủ yếu xuất phát từ lĩnh vực nhận diện biểu cảm khuôn mặt, nên khái quát hoá kém khi áp dụng sang bài toán cảm xúc do ảnh gợi lên (không phải cảm xúc của người trong ảnh, mà cảm xúc của người xem ảnh).

EEmoDB: bộ dữ liệu instruction lớn nhất cho AICA tính đến nay

Để giải quyết khoảng trống dữ liệu, nhóm tác giả tổng hợp EEmoDB từ 7 bộ dữ liệu AICA nguồn (Affection, Abstract-8, EMOTIC, Emotion6, FindingEmo, GAPED, OASIS), đặc trưng hoá theo 5 chiều phân tích: dominant emotion và emotion ranking ở mức CES, cùng valence, arousal, dominance ở mức DES.

Pipeline xây dựng gồm 4 bước chính:

Thu thập dữ liệu nguồn theo 5 thuộc tính phân tích từ 7 bộ dữ liệu AICA đa dạng về nội dung.
Tinh chỉnh nhãn cảm xúc: chuẩn hoá không gian nhãn khác biệt về ngữ nghĩa bằng hai chiến lược — ánh xạ đồng nghĩa (theo IESN, liên kết nhãn chi tiết như “rage” với nhãn cơ bản “anger” qua từ điển đồng nghĩa) và phân cụm dựa trên không gian VAD (dùng hồi quy tuyến tính 10-fold cross-validation để ánh xạ 26 danh mục cảm xúc của EMOTIC vào không gian VAD, rồi lấy các danh mục theo Ekman làm điểm neo để tối ưu bán kính phân cụm). Toàn bộ 7 bộ dữ liệu nguồn được quy về chung một hệ 6 cảm xúc cơ bản của Ekman + “neutral”. Nhãn VAD dạng liên tục cũng được mở rộng bằng phương pháp IESN, tính điểm trung bình VAD của các từ khoá trích từ bình luận người dùng (đối chiếu với chuẩn 13.915 từ tiếng Anh của Warriner et al.).
Xây dựng EEmoDB-QA (1,2 triệu cặp hỏi-đáp từ 128K ảnh đơn + 355K cặp ảnh) cho 3 loại nhiệm vụ: Perception (nhận thức), Ranking (xếp hạng), Description (mô tả) — sinh tự động bằng kết hợp luật + DeepSeek, với văn bản suy luận (reasoning) được ràng buộc chặt chẽ chỉ tổng hợp lại từ annotation đã được con người xác thực, nhằm loại bỏ ảo giác do mô hình tự suy diễn.
Xây dựng EEmoDB-Assess (36K instruction từ 25K ảnh) — tập dữ liệu chọn lọc kỹ hơn, ưu tiên độ chính xác nhãn và cân bằng phân phối, dùng riêng cho huấn luyện GRPO ở 3 nhiệm vụ tinh chỉnh: emotion ranking, VAD scoring, dominant emotion classification.

So với EEmo-Bench (bộ benchmark trước đó của cùng nhóm, chỉ 1.960 ảnh dùng để đánh giá), EEmoDB lớn hơn hẳn về quy mô (128K+25K ảnh, 1,23 triệu instruction) và là bộ dữ liệu huấn luyện đầu tiên tích hợp đầy đủ cả tính đa dạng cảm xúc, không gian DES, dữ liệu cặp ảnh, lẫn văn bản suy luận nguyên nhân trong cùng một nguồn.

EEmo-Logic: huấn luyện hai giai đoạn — SFT trước, GRPO tinh chỉnh sau

Trên nền tảng EEmoDB, nhóm tác giả xây dựng EEmo-Logic — mô hình “tất cả trong một” dựa trên backbone Qwen2.5-VL-7B, huấn luyện qua 2 giai đoạn kế tiếp nhau.

Giai đoạn 1 — LoRA SFT trên EEmoDB-QA. Vì phân bố cảm xúc trong dữ liệu vốn lệch (data emotional bias), full fine-tuning dễ overfitting; nhóm tác giả dùng LoRA (áp dụng cho cả image encoder lẫn LLM) như một cơ chế điều chuẩn ngầm, giúp mô hình học kiến thức cảm xúc nền tảng ở ba nhiệm vụ perception/ranking/description mà vẫn giữ khả năng khái quát hoá tốt khi đánh giá zero-shot.

Giai đoạn 2 — GRPO trên EEmoDB-Assess. Khác với nhiều nghiên cứu cần một giai đoạn “cold-start” riêng để khởi tạo khả năng suy luận trước khi áp dụng GRPO, ở đây quá trình SFT của giai đoạn 1 đã tự thiết lập sẵn năng lực hiểu cảm xúc và suy luận nhân quả cơ bản — nên policy model được khởi tạo trực tiếp từ checkpoint sau giai đoạn 1. Điểm cốt lõi của giai đoạn này là thiết kế phần thưởng theo tầng, gồm 1 format reward (thưởng cấu trúc phản hồi đúng, có phần “suy nghĩ” và “trả lời” tách biệt) cộng với 3 loại accuracy reward tuỳ biến riêng cho từng nhiệm vụ:

Emotion Ranking Reward — kết hợp tỷ lệ trúng có trọng số theo vị trí (weighted hit rate, trọng số {5,3,2} cho vị trí 1-2-3) với hệ số tương quan thứ hạng Kendall’s τ, cộng thêm một hàm biên (margin) bình phương để khuếch đại phần thưởng khi dự đoán càng sát mục tiêu.
Hybrid Regression Reward (cho VAD scoring) — kết hợp một vùng suy giảm tuyến tính (cho tín hiệu liên tục ổn định ngay cả khi sai số lớn) với một hạt nhân Gaussian đỉnh nhọn (khuếch đại phần thưởng khi dự đoán hội tụ gần đúng), tạo thành một “cảnh quan thưởng hình phễu” dẫn dắt mô hình từ căn chỉnh thô tới khớp chính xác.
Emotion Similarity Reward (cho phân loại dominant emotion) — thay vì phần thưởng nhị phân đúng/sai vốn gây thưa tín hiệu trên không gian nhãn lớn, phần thưởng này kết hợp độ tương đồng trong không gian VAD với độ tương đồng ngữ nghĩa (encode bằng Qwen3-embedding) giữa các nhãn cảm xúc, làm đặc hoá tín hiệu phản hồi.

Kết quả: SOTA trên cả 4 nhiệm vụ của EEmo-Bench

So với 23 mô hình đối chứng (gồm MLLM mã nguồn mở tầm trung/lớn, MLLM thương mại như GPT-4o/GPT-5/Gemini-2.5-Pro/Claude-3.7-Sonnet, và các mô hình chuyên biệt về cảm xúc), EEmo-Logic đạt kết quả tốt nhất trên cả 4 nhiệm vụ chính của EEmo-Bench:

Perception: vượt phần lớn đối thủ về độ chính xác, chỉ thua sát Gemini-2.5-Pro ở nhận định trên ảnh đơn; nhờ huấn luyện QA quy mô lớn, cải thiện tới 10% trên các câu hỏi dạng “What-How” so với baseline.
Ranking: cải thiện 6,09 điểm phần trăm so với baseline, thiết lập SOTA mới. Đáng chú ý, các mô hình khác nhìn chung “bão hoà” quanh mốc 60% — nhận ra được cảm xúc chính nhưng thiếu độ nhạy để phân biệt các mức cường độ tinh tế, dẫn tới đảo thứ hạng; cơ chế GRPO giúp EEmo-Logic vượt qua điểm nghẽn này.
Description: vượt trội cả ở ngữ cảnh ảnh đơn lẫn ảnh cặp khi chấm bằng LLM giám khảo độc lập (DeepSeek, quy trình phân xử 5 vòng theo 4 tiêu chí: đầy đủ, chính xác, liên quan, súc tích).
Assessment: ở chiều dominance — chiều khó nhất, nơi hầu hết mô hình khác cho tương quan âm hoặc rất thấp — phương pháp dự đoán điểm trực tiếp của EEmo-Logic vượt đối thủ mạnh nhất theo phương pháp dựa trên xác suất (Qwen2.5-VL-7B) tới 144% về SRCC.

Trên các bộ dữ liệu ngoài miền huấn luyện (cross-domain) — Artphoto, ArtEmis, và các tập con liên quan tới cảm xúc trong hai benchmark thẩm mỹ UNIAA và AesBench — EEmo-Logic vẫn giữ hiệu năng mạnh mẽ và đạt SOTA trên ArtEmis, cho thấy khả năng khái quát hoá tốt sang cả lĩnh vực nghệ thuật (tranh vẽ) dù không được huấn luyện trực tiếp trên dữ liệu đó.

Ablation: vì sao thiết kế hai giai đoạn lại quan trọng

Các thí nghiệm loại trừ thành phần cho thấy vài phát hiện đáng chú ý: LoRA vượt trội hơn full fine-tuning ở nhiệm vụ perception và description, vì fine-tuning toàn tham số dễ overfit vào nhiễu nhãn khi đánh giá zero-shot — ngay cả sau khi áp dụng GRPO, biến thể full-parameter SFT vẫn kém hơn LoRA trên nhiều chỉ số. Kết hợp cả hai giai đoạn (QA-focused Stage 1 + precision-oriented Stage 2) cho năng lực cân bằng hơn hẳn so với dùng riêng lẻ từng giai đoạn, khắc phục hạn chế khái quát hoá của mỗi giai đoạn khi đứng một mình. Thêm dần các nhiệm vụ GRPO cũng cải thiện đều hiệu năng cross-domain — dù việc thêm GRPO có gây sụt nhẹ điểm description do bản chất khám phá (exploratory) của quá trình này làm nhiễu nhẹ khuôn mẫu đã học từ SFT, mô hình vẫn giữ vị trí SOTA.

Vì sao điều này quan trọng

Đóng góp cốt lõi của EEmo-Logic nằm ở việc từ chối đơn giản hoá cảm xúc do ảnh gợi lên thành một nhãn phân loại đơn nhất — thay vào đó xử lý đồng thời cả tính đa dạng (nhiều cảm xúc, xếp hạng theo cường độ) lẫn tính liên tục (không gian VAD), đồng thời trang bị khả năng giải thích nhân quả gắn liền với nội dung thị giác cụ thể. Việc thiết kế phần thưởng GRPO tuỳ biến riêng cho từng loại nhiệm vụ (xếp hạng, hồi quy, phân loại) — thay vì áp dụng một công thức thưởng chung chung — cũng là một minh chứng thực dụng cho việc GRPO có thể mở rộng hiệu quả sang các bài toán đánh giá tinh vi hơn nhiều so với đúng/sai nhị phân đơn giản, miễn là hàm thưởng được thiết kế bám sát đặc thù thống kê của từng loại đầu ra. Với các ứng dụng như quảng cáo cá nhân hoá, hỗ trợ tâm lý, hay tương tác người-máy đồng cảm hơn, khả năng hiểu cảm xúc ở mức độ tinh tế và có căn cứ giải thích như EEmo-Logic là một bước tiến thiết thực hướng tới “computational empathy”.

Nguồn

Bài báo: arXiv:2602.01173 · Chấp nhận tại ICML 2026 · Code & dữ liệu: github.com/workerred/EEmo-Logic