Chương 5: Model card không ai muốn đọc
Bản model card đầu tiên của VinaVoice dài hai mươi sáu trang. Giám đốc kinh doanh đọc được ba trang thì gọi cho tôi.
“Kiệt.”
“Dạ.”
“Cậu đang bán mô hình hay đang viết tờ hướng dẫn sử dụng thuốc với cả trang cảnh báo tác dụng phụ?”
Tôi mở file ra. Trang một không có con số 97,2%. Thay vào đó là ba con số khác: 91,4% độ chính xác theo từ trên benchmark giọng hỗn hợp toàn quốc; 96,1% với giọng thành thị trong môi trường sạch; và một dòng ghi rõ hiệu năng thấp hơn đáng kể với người lớn tuổi miền Trung trong điều kiện ồn. Bên dưới là câu: “Các con số chỉ có ý nghĩa trong phạm vi benchmark và không đảm bảo hiệu năng tương đương ở mọi môi trường triển khai.”
“Khách vừa mở file ra đã thấy ngay điểm yếu,” anh ta nói.
“Đúng vậy.”
“Sao không đưa hiệu năng tốt nhất lên trước?”
“Có mà. Con số 96,1 nằm ngay đó.”
“Nhưng cậu đặt 91,4 ngay bên cạnh.”
“Vì khách triển khai toàn quốc cần nhìn thấy con số 91,4.”
Anh ta im một lúc. “Cậu có biết đối thủ chỉ ghi ‘lên tới 98%’ không?”
“Em biết.”
“Vậy sales bán kiểu gì?”
“Bán đúng những trường hợp mình làm tốt.”
“Cậu nói nghe dễ quá.”
Tôi không nghĩ là dễ. Thật ra chính tôi cũng ghét model card, không phải vì nội dung, mà vì nó buộc tôi nhìn những vùng mô hình yếu với cùng một mức nghiêm túc như những vùng mạnh. Trong phòng nghiên cứu, chúng tôi có thói quen nói “mô hình mới tốt hơn 2,1 điểm”. Nhưng tốt hơn ở đâu, cho ai, với loại lỗi nào? Nếu trung bình tăng nhờ những nhóm vốn đã mạnh lại mạnh thêm, trong khi nhóm yếu gần như giậm chân tại chỗ, thì câu “mô hình tốt hơn” vẫn đúng về mặt toán học. Nó chỉ không đủ cho một sản phẩm toàn quốc.
Model card có năm phần chính: mục đích sử dụng dự kiến, những trường hợp nằm ngoài phạm vi, thành phần dữ liệu và bộ đánh giá, hiệu năng chia theo nhóm, và cuối cùng là những giới hạn đã biết kèm khuyến nghị phương án dự phòng. Phần gây tranh cãi nhất là những trường hợp nằm ngoài phạm vi. Tôi viết: “Không khuyến nghị sử dụng VinaVoice 4 làm nguồn duy nhất để tự động xác nhận lệnh tài chính, liều thuốc, danh tính pháp lý hoặc các quyết định có hậu quả nghiêm trọng mà không có bước xác minh bổ sung phù hợp.”
“Ngân hàng đang hỏi về lệnh chuyển tiền bằng giọng nói đấy,” giám đốc kinh doanh nói.
“Vậy thì càng cần câu này.”
“Nếu có bước xác nhận thì sao?”
“Thì khác. Có thể dùng mô hình để hiểu ý định, rồi đọc lại số tiền và người nhận cho khách xác nhận.”
“Tức là vẫn bán được?”
“Vẫn bán được.”
Anh ta ngồi thẳng lưng lên. Tôi bắt đầu hiểu rằng dân kinh doanh không ghét giới hạn theo bản năng. Họ ghét những giới hạn không kèm theo một con đường sử dụng được. Nếu tôi chỉ nói “không”, model card là một bức tường. Nếu tôi nói “rủi ro này cần phương án dự phòng kia”, nó trở thành bản thiết kế triển khai.
Khách hàng đầu tiên dùng thử theo model card mới là một ngân hàng lớn. Họ muốn khách gọi tổng đài và nói tự nhiên như với người thật: “Chuyển hai triệu cho con tôi”, hoặc “Khóa thẻ vì tôi làm mất rồi”. Chuyện khóa thẻ tương đối đơn giản. Chuyển tiền thì nhạy cảm hơn nhiều. Trong đợt chạy thử, mô hình hiểu ý định khá tốt, nhưng ở nhóm người lớn tuổi, lỗi ở tên người và số tiền vẫn cao hơn mức chúng tôi chấp nhận được.
Phía ngân hàng hỏi: “Nếu độ tự tin trên 0,95 thì cho tự động thực hiện được không?”
“Không thể chỉ dựa vào độ tự tin,” tôi đáp.
“Tại sao? Mô hình đã tự tin tới 95% cơ mà.”
“Độ tự tin của mô hình không phải xác suất đúng thật sự 95% ở mọi nhóm người dùng.”
Chúng tôi đã kiểm tra độ khớp giữa mức tự tin và tỷ lệ đúng. Ở một số vùng, mô hình rất tự tin dù sai, nhất là khi câu nghe gần giống một mẫu câu phổ biến. Ví dụ một bác nói tên người nhận là “Hợi”, mô hình ghi thành “Hội” với độ tự tin cao. Tai người nghe có khi chỉ thấy khác chút xíu, nhưng chuyển tiền cho Hợi và cho Hội là chuyển cho hai người khác nhau.
Chúng tôi đề xuất một luồng khác. Giọng nói chỉ dùng để hiểu yêu cầu. Hệ thống lấy người nhận từ danh sách đã đăng ký sẵn, rồi đọc lại: “Anh muốn chuyển 2.000.000 đồng cho Nguyễn Văn Hợi, tài khoản kết thúc bằng 4821, đúng không ạ?” Khách phải xác nhận. Nếu tên không khớp danh sách, hoặc độ tự tin rơi vào vùng rủi ro, cuộc gọi được chuyển sang nhân viên. Không cố chứng minh AI có thể tự làm mọi bước.
Ban đầu, ngân hàng lo phương án dự phòng sẽ đội chi phí tổng đài lên. Đợt chạy thử cho thấy họ lo đúng, một phần cuộc gọi phải chuyển sang người thật. Nhưng lỗi ở những thông tin then chốt giảm mạnh, và họ quyết định triển khai ở phạm vi hẹp trước.
“Mất nửa hợp đồng,” giám đốc kinh doanh nói với tôi, giọng tiếc rẻ.
“Giữ được một hợp đồng thật,” Nguyên đáp. Tôi thích cách cô nói câu đó.
Khách hàng thứ hai là một bệnh viện. Bác sĩ đọc ghi chú, hệ thống chuyển thành văn bản. Không dùng để tự chẩn đoán, không tự ghi bản cuối vào hồ sơ bệnh án. VinaVoice chỉ tạo bản nháp, bác sĩ xem lại, sửa và xác nhận. Tuần đầu, một bác sĩ than phiền: “Nếu vẫn phải đọc lại thì AI tiết kiệm được gì?”
“Bác sĩ tự gõ từ đầu mất bao lâu?” tôi hỏi.
“Năm phút.”
“Còn đọc lại bản nháp?”
“Một phút rưỡi.”
“Vậy là vẫn tiết kiệm được.”
“Nhưng quảng cáo nói là AI chép lời hoàn toàn tự động.”
Tôi quay sang nhìn người bên kinh doanh. Anh ta nhìn đi chỗ khác. Từ hôm đó, tờ giới thiệu sản phẩm đổi thành: “Tạo bản nháp ghi chú giọng nói để người dùng xác minh.” Nghe kém thần kỳ hơn, nhưng đúng với vai trò thật của nó.
Model card còn buộc chúng tôi nói về chuyện mô hình “từ chối đoán”. Trước đây, đội sản phẩm coi câu “Tôi chưa nghe rõ” là một thất bại về trải nghiệm người dùng. Mục tiêu khi ấy là giảm số lần hệ thống phải hỏi lại. Sau những buổi ở phòng lỗi, tôi đổi quan điểm: đôi khi một hệ thống an toàn hơn chính vì nó dám không đoán. Chúng tôi thiết kế ngưỡng riêng theo từng trường hợp. Với chatbot giải trí thì có thể dễ dãi hơn. Với số tài khoản, tên thuốc hay địa chỉ quan trọng thì ngưỡng phải chặt. Nếu âm thanh xấu, hoặc mô hình không đủ chắc theo những tiêu chí đã được hiệu chỉnh, nó phải hỏi lại.
Nhà thiết kế sản phẩm phản đối: “Người dùng sẽ bực mình.”
“Đúng.”
“Đối thủ thì nghe một lần là xong.”
“Nếu nghe sai thì sao?”
“Mô hình của họ có độ tự tin tốt mà.”
Tôi bật cười. “Anh vừa nghe bài đó ở cuộc họp với ngân hàng rồi còn gì.”
Chúng tôi làm thử nghiệm người dùng với người lớn tuổi, và kết quả khiến cả nhóm bất ngờ. Họ không ghét bị hỏi lại nhiều như chúng tôi tưởng. Thứ họ ghét là hệ thống trả lời sai rồi bắt họ sửa đi sửa lại vòng vòng. Một cô sáu mươi tám tuổi nói gọn: “Không nghe rõ thì hỏi lại chứ có chi.”
Nguyên nhìn tôi, nhướn mày. “Câu này chắc mẹ anh cũng nói?”
“Mẹ anh sẽ nói nặng giọng hơn.”
Phiên bản thứ hai của model card rút xuống còn mười bốn trang. Không phải vì giấu bớt, mà vì chúng tôi học được cách tách nội dung theo người đọc: một trang tóm tắt cho lãnh đạo, phần kỹ thuật chi tiết riêng, danh sách kiểm tra triển khai riêng. Không bắt giám đốc marketing đọc ma trận nhầm lẫn, cũng không để kỹ sư chỉ đọc mỗi dòng tiêu đề. Đội kinh doanh cuối cùng cũng chịu dùng, thậm chí còn bắt đầu thích vài phần. Một quản lý bán hàng nói với tôi: “Khách hỏi khó, em chỉ cần chỉ vào model card chứ không phải tự bịa ra câu trả lời.” Đó là lúc tôi biết tài liệu này bắt đầu sống.
Nhưng công ty chưa sẵn sàng công khai toàn bộ số liệu chi tiết ra ngoài. Hội đồng quản trị lo đối thủ sẽ dùng điểm yếu của mình để làm truyền thông. Nguyên đề xuất công bố một bản rút gọn, còn tôi muốn chi tiết hơn. Chúng tôi tranh luận suốt hai tuần, và cuối cùng thống nhất công khai mục đích sử dụng, phương pháp đánh giá, hiệu năng của các nhóm chính cùng những giới hạn quan trọng; không công khai những dữ liệu có thể làm lộ đối tác thu âm hay chi tiết bảo mật. Không phải minh bạch tuyệt đối, nhưng minh bạch cũng có những ranh giới hợp lý.
Ngày model card được công bố, không ai vỗ tay. Một trang tin công nghệ giật tít: “NovaMind tự thừa nhận AI tiếng Việt yếu với một số giọng địa phương.” Giám đốc kinh doanh gửi ảnh chụp bài báo cho tôi, kèm một dấu chấm hỏi to tướng. Tôi trả lời: “Đúng mà.” Anh ta nhắn lại: “Tôi ghét cậu.”
Ba ngày sau, một bệnh viện tỉnh gọi tới hỏi chuyện chạy thử, vì họ thấy chúng tôi có số liệu riêng cho người lớn tuổi miền Trung và muốn kiểm tra trước khi dùng. Giám đốc kinh doanh nhắn tiếp: “Thôi, bớt ghét.”
Tôi nhìn bản model card trên màn hình. Nó không làm VinaVoice thông minh hơn chút nào. Nhưng nó thu hẹp khoảng cách giữa những gì mô hình làm được và những gì chúng tôi nói nó làm được. Đó cũng là một dạng cải tiến.
Mở mục lục để tải danh sách chương.