Tiếng Việt tốn bao nhiêu token? Đo trên sáu bộ tách token — và một lỗi định dạng làm hoá đơn AI tăng gấp đôi rưỡi

Hãy hình dung một nhóm phát triển làm trợ lý AI đọc hồ sơ khách hàng. Họ ước tính chi phí bằng cách lấy độ dài tài liệu chia cho bốn — quy tắc "khoảng bốn ký tự một token" mà nhiều hướng dẫn tiếng Anh nhắc tới. Hoá đơn tháng đầu có thể cao gần gấp đôi dự tính. Một phần do tiếng Việt tốn token hơn tiếng Anh. Phần còn lại do một thứ không ai nghĩ tới: một số hồ sơ được trích từ tệp PDF, và chữ có dấu trong đó được lưu theo một cách khác.

Bài này đo cả hai chuyện bằng số liệu cụ thể. Mọi con số dưới đây do KonexForge tự đo trên các bộ tách token công khai, với văn bản do chúng tôi soạn — bạn có thể làm lại cùng phép đo trên dữ liệu của mình.

Token là gì, và vì sao ngôn ngữ ảnh hưởng tới số token

Mô hình AI không đọc từng chữ cái mà đọc theo token — những mẩu văn bản được cắt theo một bộ quy tắc gọi là bộ tách token (tokenizer). Một token có thể là một từ trọn vẹn, một phần của từ, hay một dấu câu. Giá API tính theo token, giới hạn ngữ cảnh tính theo token, và tốc độ trả lời cũng tính theo token.

Bộ tách token được xây dựng từ dữ liệu huấn luyện. Ngôn ngữ nào xuất hiện nhiều trong dữ liệu đó thì được cắt thành ít mẩu hơn — một từ tiếng Anh phổ biến thường chỉ là một token. Ngôn ngữ ít xuất hiện hơn thì bị cắt vụn hơn, nên cùng một nội dung tốn nhiều token hơn. Tiếng Việt, với hệ thống dấu thanh và dấu phụ, từng bị cắt vụn đáng kể ở các bộ tách token đời đầu.

Cách chúng tôi đo

Chúng tôi soạn tám đoạn văn bản tiếng Việt điển hình của doanh nghiệp, mỗi đoạn kèm bản dịch tiếng Anh cùng nội dung: tin nhắn khách hỏi đơn hàng, mô tả sản phẩm, chính sách đổi trả, email nội bộ, điều khoản hợp đồng, câu lệnh hướng dẫn cho trợ lý AI, đoạn báo cáo doanh thu, và câu hỏi kỹ thuật. Tổng cộng 378 từ tiếng Việt và 288 từ tiếng Anh.

Sau đó đếm token trên sáu bộ tách token có công bố công khai:

• o200k_base — bộ của OpenAI dùng từ GPT-4o và nhiều mô hình sau đó.
• cl100k_base — bộ đời trước của OpenAI, dùng cho GPT-4 và GPT-3.5.
• Llama 3 của Meta.
• Qwen3 của Alibaba.
• Gemma 3, họ mô hình mở của Google.
• DeepSeek V3.

Mô hình Claude của Anthropic và các mô hình mới nhất của OpenAI, Google không công bố bộ tách token để tải về; phần cuối bài chỉ cách đo trên các mô hình đó bằng công cụ của chính nhà cung cấp.

Kết quả: tiếng Việt tốn hơn bao nhiêu

Số token tiếng Việt chia cho số token tiếng Anh của cùng nội dung:

• Gemma 3: 1,23 lần
• Llama 3: 1,29 lần
• Qwen3: 1,31 lần
• o200k (GPT-4o trở đi): 1,38 lần
• DeepSeek V3: 2,09 lần
• cl100k (GPT-4): 2,28 lần

Hai nhóm tách bạch rõ. Các bộ tách token đời mới cắt tiếng Việt khá hiệu quả: cùng nội dung chỉ tốn hơn tiếng Anh khoảng một phần tư tới hai phần năm. Các bộ đời cũ tốn hơn gấp đôi. Tỉ lệ khá ổn định giữa các loại văn bản — điều khoản hợp đồng và mô tả sản phẩm tốn hơn một chút, tin nhắn đời thường và email ít hơn một chút.

Một cách nhìn khác: với bộ o200k, mỗi token tiếng Việt tương ứng khoảng 0,75 từ — tức khoảng 4 token cho 3 từ. Quy tắc "bốn ký tự một token" của tiếng Anh không áp dụng được; nếu cần ước tính nhanh cho tiếng Việt trên các mô hình đời mới, hãy dùng số từ × 1,3.

Một lưu ý về DeepSeek: con số trên là của bộ tách token DeepSeek V3 đã công bố. Các phiên bản sau như V4.1 có thể dùng bộ khác. Đây đúng là lý do phải đo trên mô hình bạn thật sự dùng, không dựa vào con số chung.

Gõ không dấu có tiết kiệm được không?

Một mẹo hay được truyền tai: bỏ dấu tiếng Việt cho rẻ. Chúng tôi đo lại cùng tám đoạn văn sau khi bỏ hết dấu:

• Trên bộ đời cũ — đúng là rẻ hơn: cl100k giảm từ 837 xuống 599 token (khoảng 28%), DeepSeek V3 giảm khoảng 23%.
• Trên bộ đời mới — tốn hơn: o200k tăng từ 501 lên 540 token, Gemma 3 tăng khoảng 14%, Llama 3 tăng khoảng 20%, Qwen3 tăng khoảng 22%.

Lý do: bộ tách token đời mới đã học tiếng Việt có dấu như một ngôn ngữ thông thường, nên "không" hay "được" là một token quen thuộc. Còn "khong" hay "duoc" là chuỗi lạ, bị cắt vụn hơn. Thêm vào đó, bỏ dấu làm mất nghĩa: "ban" có thể là bán, bàn, bạn, bận. Mô hình phải đoán, và có thể đoán sai.

Kết luận đơn giản: với mô hình đời mới, giữ nguyên dấu — vừa rẻ hơn vừa chính xác hơn.

Lỗi định dạng làm số token tăng gần 2,5 lần

Đây là phát hiện đáng chú ý nhất trong phép đo, và có thể là phần còn lại trong hoá đơn của nhóm phát triển ở đầu bài.

Trong Unicode, một chữ có dấu như "ệ" có thể được lưu theo hai cách nhìn giống hệt nhau trên màn hình:

• Dạng dựng sẵn (NFC): "ệ" là một ký tự duy nhất.
• Dạng tổ hợp (NFD): "ệ" là ba ký tự — chữ "e", dấu mũ, và dấu nặng — ghép lại khi hiển thị.

Bàn phím và phần lớn phần mềm ở Việt Nam dùng dạng dựng sẵn. Nhưng văn bản dạng tổ hợp xuất hiện nhiều hơn người ta nghĩ: tên tệp tạo trên một số máy Mac, nội dung trích từ một số tệp PDF, dữ liệu sao chép từ một số trang web hay ứng dụng, và một số bộ gõ cũ.

Chúng tôi chuyển cùng tám đoạn văn sang dạng tổ hợp và đếm lại:

• o200k: từ 501 lên 1.240 token — gấp 2,48 lần.
• Llama 3: gấp 2,66 lần.
• Gemma 3: gấp 2,18 lần.
• cl100k và DeepSeek V3: gấp khoảng 1,8 lần.
• Qwen3: không đổi — bộ tách token này tự chuẩn hoá về dạng dựng sẵn trước khi cắt.

Màn hình hiển thị y hệt, người đọc không thấy khác biệt, nhưng mô hình nhận một chuỗi dài gấp đôi rưỡi — và bạn trả tiền gấp đôi rưỡi cho phần đó. Mô hình cũng có thể hiểu kém hơn, vì nó ít gặp dạng này trong lúc huấn luyện.

Một số dịch vụ API có thể tự chuẩn hoá văn bản trước khi đếm, một số không — cách chắc chắn nhất là tự chuẩn hoá trước khi gửi. Việc này chỉ cần một dòng mã:

• JavaScript: text.normalize("NFC")
• Python: unicodedata.normalize("NFC", text)

Đặt dòng này ở đúng một chỗ — hàm gọi API — để mọi văn bản đều đi qua, dù đến từ ô nhập, tệp tải lên hay dữ liệu trích từ PDF. Để kiểm tra dữ liệu hiện có, so độ dài chuỗi trước và sau khi chuẩn hoá: nếu khác nhau, chuỗi đó đang ở dạng tổ hợp.

Tiếng Việt tốn hơn thì ảnh hưởng gì

Chi phí. Với mô hình đời mới, khoảng 1,3 lần là mức chênh chấp nhận được và hiếm khi là yếu tố quyết định. Ví dụ: một câu lệnh hướng dẫn 1.500 token tiếng Việt, viết bằng tiếng Anh sẽ còn khoảng 1.090 token. Với 30.000 yêu cầu mỗi tháng ở giá $2 cho mỗi triệu token đầu vào, phần chênh khoảng 25 USD mỗi tháng — và gần như biến mất nếu dùng bộ nhớ đệm cho phần câu lệnh lặp lại. Viết câu lệnh bằng tiếng Anh là một lựa chọn, nhưng hãy thử trên bộ đánh giá trước: tiết kiệm 25 USD không đáng nếu câu trả lời tiếng Việt kém tự nhiên đi.

Giới hạn ngữ cảnh và các ngưỡng giá. Đây là chỗ hay bị bỏ qua hơn. Một tài liệu 80.000 token nếu là tiếng Anh sẽ thành khoảng 110.000 token nếu cùng nội dung bằng tiếng Việt, theo tỉ lệ đo được trên bộ o200k. Với Claude Haiku 5.5, yêu cầu trên 100.000 token bị tính toàn bộ theo giá cao gấp năm lần, như phân tích trong bài về mô hình nhỏ. Mọi ước tính ngưỡng dựa trên tài liệu tiếng Anh cần nhân lại cho tiếng Việt.

Tốc độ. Mô hình sinh câu trả lời theo từng token. Câu trả lời tiếng Việt cùng nội dung cần nhiều token hơn, nên mất thời gian hơn tương ứng — khoảng 30% với bộ đời mới.

Đo trên đúng mô hình bạn dùng

Các mô hình mới nhất của Anthropic, OpenAI và Google không công bố bộ tách token để tải về, và chính các hãng cũng thay đổi bộ tách token giữa các thế hệ — Anthropic cho biết Haiku 5.5 dùng bộ mới, sinh nhiều token hơn một chút cho cùng nội dung. Cách đo:

• Dùng trường usage trong phản hồi: mỗi lần gọi API đều trả về số token đầu vào thực tế. Gửi cùng một đoạn văn bằng tiếng Việt và tiếng Anh, so hai con số.
• Dùng API đếm token: Anthropic và Google đều có điểm gọi API riêng để đếm token mà không chạy mô hình — rẻ hoặc miễn phí, phù hợp để đo hàng loạt.
• Lấy năm tới mười đoạn văn bản thật của doanh nghiệp, kèm bản dịch tiếng Anh, thay vì một câu mẫu — vì tỉ lệ thay đổi theo loại văn bản.

Kết

Tiếng Việt vẫn tốn token hơn tiếng Anh, nhưng với các mô hình đời mới, khoảng cách đã thu hẹp còn khoảng 1,2–1,4 lần — không còn là gấp đôi như vài năm trước. Gõ không dấu để tiết kiệm là mẹo của thời bộ tách token cũ; với mô hình mới, nó vừa tốn hơn vừa dễ hiểu sai hơn.

Khoản lãng phí lớn nhất mà phép đo tìm ra không đến từ ngôn ngữ, mà từ định dạng: văn bản tiếng Việt dạng tổ hợp có thể làm số token tăng gần 2,5 lần trên nhiều mô hình phổ biến. Đó cũng là lỗi rẻ nhất để sửa — một dòng chuẩn hoá NFC trước khi gửi.

Nếu bạn đang xây hệ thống AI xử lý văn bản tiếng Việt và muốn rà soát chi phí token, chuẩn hoá dữ liệu đầu vào hoặc đo lại ngân sách trên đúng mô hình đang dùng, liên hệ với chúng tôi hoặc xem năng lực Development của KonexForge.