Chương 5: Model card không ai muốn đọc
Model card đầu tiên của VinaVoice dài hai mươi sáu trang.
Sales Director đọc ba trang rồi gọi tôi.
“Kiệt.”
“Dạ.”
“Cậu đang bán model hay viết lời cảnh báo thuốc?”
Tôi mở file.
Trang một không có 97,2%.
Nó có ba con số khác:
National mixed-speech benchmark: 91,4% word accuracy.
Urban clean speech: 96,1%.
Older Central-region speakers in noisy conditions: thấp hơn đáng kể.
Bên dưới là dòng:
Các con số chỉ có ý nghĩa trong phạm vi benchmark và không đảm bảo hiệu năng tương đương ở mọi deployment.
Sales nói:
“Khách vừa mở file đã thấy weakness.”
“Đúng.”
“Sao không cho performance tốt nhất lên trước?”
“Có.”
“96,1 nằm đó.”
“Nhưng cậu đặt 91,4 ngay cạnh.”
“Vì khách national deployment cần nhìn 91,4.”
Anh im.
“Cậu có biết competitor chỉ ghi ‘up to 98%’ không?”
“Em biết.”
“Vậy sales bán thế nào?”
“Bán đúng use case mình làm tốt.”
“Cậu nói nghe dễ.”
Tôi không nghĩ dễ.
Thật ra tôi cũng ghét model card.
Không phải nội dung.
Vì nó buộc tôi nhìn những vùng model yếu bằng cùng một mức nghiêm túc với vùng mạnh.
Trong phòng R&D, chúng tôi có xu hướng nói:
“Model mới tốt hơn 2,1 điểm.”
Nhưng tốt hơn ở đâu?
Ai?
Loại lỗi nào?
Nếu average tăng nhờ nhóm đã mạnh lên thêm trong khi nhóm yếu gần như không đổi, câu “model tốt hơn” vẫn đúng toán học.
Chỉ không đủ cho sản phẩm toàn quốc.
Model card có năm phần chính.
Intended use.
Out-of-scope use.
Dataset/evaluation composition.
Performance breakdown.
Known limitations và fallback recommendation.
Phần out-of-scope gây tranh cãi nhất.
Tôi viết:
Không khuyến nghị sử dụng VinaVoice 4 như nguồn duy nhất để tự động xác nhận lệnh tài chính, liều thuốc, danh tính pháp lý hoặc quyết định có hậu quả cao mà không có bước xác minh bổ sung phù hợp.
Sales hỏi:
“Ngân hàng đang hỏi voice command chuyển tiền.”
“Vậy càng cần.”
“Nếu có confirmation step?”
“Khác.”
“Có thể dùng để hiểu intent, rồi đọc lại số tiền và người nhận cho khách xác nhận.”
“Tức là vẫn bán được?”
“Đúng.”
Anh ngồi thẳng hơn.
Tôi bắt đầu hiểu sales không ghét giới hạn bằng bản năng.
Họ ghét giới hạn không đi kèm đường sử dụng được.
Nếu tôi chỉ nói “không”, model card là bức tường.
Nếu nói “rủi ro này cần fallback này”, nó thành bản thiết kế deployment.
Khách hàng đầu tiên thử model card mới là một ngân hàng lớn.
Họ muốn khách gọi hotline bằng giọng tự nhiên:
“Chuyển hai triệu cho con tôi.”
Hoặc:
“Khóa thẻ vì tôi làm mất.”
Use case khóa thẻ tương đối rõ.
Chuyển tiền thì nhạy hơn.
Trong pilot, model hiểu intent tốt.
Nhưng ở nhóm người lớn tuổi, entity error với tên người và số tiền vẫn cao hơn mức chúng tôi muốn.
Ngân hàng hỏi:
“Nếu confidence trên 0,95 thì auto execute được không?”
Tôi đáp:
“Không chỉ dựa confidence.”
“Tại sao? Model tự tin 95%.”
“Confidence của model không phải xác suất thực 95% trong mọi nhóm.”
Chúng tôi đã kiểm calibration.
Một số vùng model rất tự tin dù sai.
Đặc biệt khi câu nghe gần với mẫu phổ biến.
Ví dụ một bác nói tên “Hợi”.
Model ghi “Hội” và confidence cao.
Người nghe có thể thấy khác nhỏ.
Chuyển tiền cho Hợi và Hội là hai người.
Chúng tôi đề nghị:
Voice hiểu yêu cầu.
Hệ thống lấy beneficiary đã đăng ký.
Đọc lại:
“Anh muốn chuyển 2.000.000 đồng cho Nguyễn Văn Hợi, tài khoản kết thúc 4821, đúng không?”
Khách phải xác nhận.
Nếu entity không match danh sách hoặc confidence/calibration nằm vùng rủi ro, chuyển nhân viên.
Không cố chứng minh AI có thể tự làm mọi bước.
Ngân hàng ban đầu lo fallback tăng call cost.
Pilot cho thấy đúng — một phần call phải chuyển người.
Nhưng lỗi critical entity giảm mạnh.
Họ quyết định triển khai hẹp trước.
Sales Director nói với tôi:
“Mất half deal.”
Nguyên đáp:
“Giữ được deal thật.”
Tôi thích cách nói đó.
Khách thứ hai là bệnh viện.
Use case: bác sĩ nói ghi chú, hệ thống chuyển thành văn bản.
Không dùng để tự chẩn đoán.
Không tự ghi final vào hồ sơ.
VinaVoice chỉ tạo draft.
Bác sĩ xem, sửa và xác nhận.
Trong tuần đầu, một bác sĩ than:
“Nếu vẫn phải đọc lại thì AI tiết kiệm gì?”
Tôi hỏi:
“Bác sĩ gõ từ đầu mất bao lâu?”
“Năm phút.”
“Đọc lại draft?”
“Một phút rưỡi.”
“Vậy vẫn tiết kiệm.”
“Nhưng quảng cáo nói AI transcription tự động.”
Tôi quay sang sales.
Sales nhìn chỗ khác.
Từ đó brochure đổi chữ:
“Tạo bản nháp ghi chú giọng nói để người dùng xác minh.”
Nghe kém thần kỳ.
Nhưng đúng vai trò.
Model card còn buộc chúng tôi nói về “abstention”.
Trước đây product team coi câu:
“Tôi chưa nghe rõ.”
là thất bại UX.
Mục tiêu là giảm số lần hệ thống hỏi lại.
Sau error room, tôi đổi quan điểm.
Một hệ thống đôi khi an toàn hơn khi dám không đoán.
Chúng tôi thiết kế ngưỡng theo use case.
Ở chatbot giải trí, có thể linh hoạt hơn.
Ở số tài khoản, thuốc, địa chỉ quan trọng, threshold chặt hơn.
Nếu audio xấu hoặc model không chắc theo calibrated criteria, hỏi lại.
Product Designer phản đối:
“Người dùng sẽ bực.”
“Đúng.”
“Competitor nghe một lần.”
“Nếu nghe sai?”
“Họ có confidence tốt.”
Tôi cười.
“Anh vừa nghe bài đó rồi.”
Chúng tôi làm user test với người lớn tuổi.
Kết quả bất ngờ.
Họ không ghét câu hỏi lại bằng chúng tôi tưởng.
Họ ghét hệ thống trả lời sai rồi bắt họ sửa vòng vòng.
Một cô sáu mươi tám tuổi nói:
“Không nghe rõ thì hỏi lại chứ có chi.”
Nguyên nhìn tôi.
“Mẹ anh nói câu này chắc?”
“Mẹ anh sẽ nói nặng hơn.”
Model card phiên bản hai ngắn còn mười bốn trang.
Không vì giấu.
Vì chúng tôi học cách tách nội dung theo người đọc.
Trang executive summary.
Phần kỹ thuật chi tiết.
Deployment checklist riêng.
Không bắt CMO đọc confusion matrix.
Không bắt engineer chỉ đọc headline.
Sales cuối cùng cũng chịu dùng.
Thậm chí họ bắt đầu thích một số phần.
Một sales manager nói:
“Khách hỏi khó, em chỉ cần chỉ model card chứ không tự bịa.”
Đó là lúc tôi biết tài liệu bắt đầu sống.
Nhưng công ty chưa sẵn sàng công khai toàn bộ breakdown ra ngoài.
Board lo competitor dùng weakness để PR.
Nguyên đề nghị công bố bản rút gọn.
Tôi muốn chi tiết hơn.
Chúng tôi tranh hai tuần.
Cuối cùng thống nhất:
Công khai intended use, benchmark methodology, các nhóm performance chính và limitation quan trọng.
Không công khai dữ liệu có thể lộ đối tác collection hoặc chi tiết bảo mật.
Không phải transparency tuyệt đối.
Transparency cũng có ranh giới hợp lý.
Ngày model card public, không ai vỗ tay.
Một blog công nghệ viết:
“NovaMind tự thừa nhận AI tiếng Việt yếu với một số giọng địa phương.”
Sales gửi screenshot cho tôi kèm dấu chấm hỏi.
Tôi trả lời:
Đúng mà.
Anh gửi:
Tôi ghét cậu.
Ba ngày sau, một bệnh viện tỉnh gọi hỏi pilot vì họ thấy chúng tôi có breakdown người lớn tuổi miền Trung và muốn kiểm trước khi dùng.
Sales gửi tiếp:
Thôi, bớt ghét.
Tôi nhìn model card.
Nó không làm VinaVoice thông minh hơn một bit.
Nhưng nó làm khoảng cách giữa thứ model làm được và thứ chúng tôi nói nó làm được nhỏ lại.
Đó cũng là một dạng cải tiến.