Chương 7: 97% xuống 91% rồi mới tăng lại
Khi VinaVoice 5 bước vào vòng đánh giá cuối cùng, con số đầu tiên hiện trên bảng điều khiển là 91,4%. Hội đồng quản trị không vui. Tôi cũng không, dù chính tôi là người góp phần làm cho benchmark khó hơn. Con người kỳ lạ như vậy đấy: ta có thể biết rõ con số cũ quá dễ dãi, mà vẫn thấy nhói khi nhìn con số mới thấp hơn.
CEO mở đầu cuộc họp bằng một câu hỏi không vòng vo: “Hai năm nghiên cứu, thêm tiền thu âm, thêm quản trị dữ liệu, thêm huấn luyện lại, vậy tại sao con số chủ lực lại thấp hơn VinaVoice 4?”
“Vì bài thi đã khác,” tôi đáp.
“Thị trường đâu có mua bài thi.”
“Đúng ạ.” Tôi bấm sang slide tiếp theo. “Vì vậy đừng nhìn con số chủ lực một mình.”
Bảng hiệu năng mới có gần ba mươi hàng. Không đẹp mắt chút nào, nhưng bên trong nó chứa đúng thứ mà con số 91,4% che đi theo hướng ngược lại. Ở benchmark cũ, nhóm người trên năm mươi lăm tuổi nói giọng Hà Tĩnh, Nghệ An trong môi trường ồn thật chỉ đạt mức rất thấp. Ở mô hình mới, nhóm đó tăng mạnh. Giọng ngoài hiện trường tăng. Lỗi ở thông tin then chốt giảm. Cách đánh giá tách biệt người nói khiến điểm số đáng tin hơn. Ngược lại, một số nhóm giọng thành thị trong môi trường sạch gần như đứng yên, thậm chí tụt nhẹ, vì mô hình không còn bị tối ưu quá đà theo dữ liệu cũ.
“Tức là mình hy sinh nhóm tốt để kéo nhóm yếu lên?” CEO hỏi.
“Một phần là đánh đổi ở mô hình hiện tại.”
“Có đáng không?”
“Nếu định bán cho triển khai toàn quốc thì có,” Nguyên đáp.
Tôi không thích dùng chữ “hy sinh” một cách dễ dãi. Chúng tôi không hề cố làm cho giọng Hà Nội tệ đi để giọng Hà Tĩnh tốt lên. Nhưng dung lượng mô hình, cách đặt trọng số, cân bằng dữ liệu và quá trình tối ưu thật sự có những đánh đổi. Không có mô hình nào vô hạn. Điều quan trọng là đánh đổi phải được nhìn thấy và quyết định có chủ ý, chứ không phải xảy ra một cách vô tình chỉ vì dữ liệu dồn đông về một nhóm.
Hội đồng quản trị hỏi về tiêu chí phát hành. Trước đây chỉ có một điều kiện duy nhất: tỷ lệ lỗi trung bình phải tốt hơn phiên bản trước. Chúng tôi đề xuất thêm ba điều. Không nhóm nào quan trọng với việc triển khai được phép nằm dưới ngưỡng chất lượng tối thiểu đã định. Lỗi ở thông tin then chốt phải dưới một ngưỡng riêng với các trường hợp rủi ro cao. Và không được phát hành nếu một nhóm chính bị giảm quá mức cho phép mà không có xem xét và giải trình.
Một thành viên hội đồng quản trị hỏi: “Chia bao nhiêu nhóm thì đủ? Chia nhỏ mãi thì cuối cùng mẫu sẽ không đủ.”
Ông ấy nói đúng. Một bảng theo dõi công bằng có thể tạo ra ảo giác chính xác nếu chia nhỏ tới mức mỗi ô chỉ còn vài chục mẫu. Thu đề xuất chia tầng. Những nhóm lớn được báo cáo thống kê định kỳ. Những nhóm nhỏ hoặc đặc thù thì dùng các bài đánh giá có mục tiêu, bổ sung bằng việc nghe và phân tích lỗi trực tiếp. Không biến một mẫu nhỏ thành con số phần trăm với hai chữ số sau dấu phẩy. Tôi rất thích cách làm đó. Độ chi li không phải lúc nào cũng là độ chính xác. Một con số 83,72% tính trên ba mươi bảy người có thể trông khoa học hơn nhiều so với những gì sự thật cho phép.
VinaVoice 5 không được phát hành ngay. Chúng tôi giữ lại thêm bốn tháng, tập trung vào ba vấn đề: khả năng chịu tiếng ồn thật, âm học của giọng người lớn tuổi, và việc giữ đúng các thông tin then chốt. Không cố đẩy con số trung bình lên bằng mọi giá. Dữ liệu từ các đợt thu mới giúp được nhiều, nhưng kiến trúc mô hình cũng phải thay đổi. Chúng tôi thử một tầng xử lý đầu vào chịu được âm bị rè và nhiễu tốt hơn. Chúng tôi chỉnh khâu giải mã để mô hình ngôn ngữ bớt có xu hướng “sửa” câu địa phương về cấu trúc phổ biến khi bằng chứng âm thanh còn yếu. Chúng tôi thêm cách giải mã chú ý tới thông tin then chốt cho từng trường hợp sử dụng riêng.
Không có đột phá thần kỳ nào. Mỗi tuần nhích lên một chút. Kỹ sư ghét nhất giai đoạn này: không có bài báo khoa học, không có màn demo khiến ai trầm trồ, chỉ có hàng trăm lỗi nhỏ. “Bữa ni” bị biến thành “bữa nay”. Chữ “mô” bị bỏ mất. “Hợi” thành “Hội”. “Năm mươi lăm” thành “năm mươi năm”. Một địa danh hiếm bị thay bằng một từ phổ biến nghe gần giống. Chúng tôi sửa từng lớp, từng lớp một.
Bốn tháng sau, con số trung bình đạt 94,0% trên benchmark mở rộng. Không quay lại được 97,2, nhưng nhóm yếu nhất cải thiện nhiều hơn hẳn. Tôi trình bày trước hội đồng quản trị.
CEO hỏi: “Có thể làm marketing với con số 94% không?”
Giám đốc kinh doanh nhìn tôi rồi phì cười. “Đừng hỏi cậu ta.” Cả phòng cười theo.
“Có thể nói 94% trên benchmark giọng hỗn hợp toàn quốc phiên bản này, kèm theo phương pháp đánh giá,” tôi nói.
“Dài.”
“Em biết.”
“Nếu phải chọn một tiêu đề khác thì sao?” Nguyên hỏi.
Tôi nghĩ một lúc. “VinaVoice 5 giảm lỗi ở chính những giọng nói và môi trường mà phiên bản trước nghe kém nhất.”
“Câu đó bán được,” giám đốc kinh doanh nói.
Nhưng bài kiểm tra thật nằm ở khách hàng. Một ngân hàng ở miền Trung chạy thử VinaVoice 5 cho tổng đài. Trước đây họ từng thử một giải pháp khác, nhưng nhân viên tổng đài than bản chép lời giọng địa phương sai quá nhiều, nên cuối cùng họ tắt luôn. VinaVoice 5 tốt hơn rõ rệt, dù chưa hoàn hảo: một số tên xã vẫn sai, người già nói nhỏ vẫn khó nghe. Nhưng nhân viên bắt đầu dùng bản nháp thay vì bỏ hẳn. Ngân hàng không triển khai thao tác tự động, chỉ dùng chép lời, phân luồng theo ý định và gợi ý cho nhân viên. Doanh thu nhỏ hơn hợp đồng mà bên kinh doanh từng mơ, nhưng nó được dùng thật.
Giám đốc kinh doanh gọi cho tôi: “Kiệt, tôi bắt đầu hiểu cái ‘hợp đồng thật’ mà Nguyên hay nói rồi.”
“Muộn đấy anh.”
“Im đi.”
Một khách hàng khác thì từ chối. Họ muốn một tổng đài tự động hoàn toàn, tỷ lệ chuyển sang người thật phải cực thấp, và model card của chúng tôi khiến họ thấy không phù hợp. Đối thủ ký được hợp đồng đó. Hội đồng quản trị hỏi tôi có tiếc không. Tôi nói có. Đừng biến sự cẩn trọng thành cái cớ để coi thường doanh thu. Công ty cần tiền, kỹ sư cần lương, các đợt thu âm cần ngân sách. Nhưng nếu mô hình kinh doanh chỉ sống được khi chúng tôi giấu đi giới hạn, thì đó không phải là một hợp đồng bền.
Sáu tháng sau, đối thủ kia nhận khiếu nại vì tổng đài tự động nhận sai một số yêu cầu bằng giọng địa phương, và họ phải bổ sung phương án chuyển sang người thật. Tôi không hả hê. Không phải vì cao thượng gì, mà vì họ đang sửa đúng những thứ chúng tôi cũng từng phải học. Cả ngành chỉ tốt lên khi đối thủ học cùng một bài, chứ không phải chỉ khi mình thắng.
Hội đồng Giọng nói xem xét báo cáo phát hành. Bác Nghiêm nhìn bảng chia theo nhóm tuổi rồi hỏi: “Răng người trên sáu mươi vẫn thấp hơn người trẻ nhiều rứa?”
“Vì dữ liệu vẫn ít hơn, giọng nói thay đổi theo tuổi đa dạng hơn, thiết bị và cách dùng cũng khác,” tôi đáp.
“Vậy khi mô thì bằng?”
Tôi không hứa. “Chưa biết có bằng được hoàn toàn hay không, bác ạ.”
“Rứa đặt ngưỡng tối thiểu để làm chi?”
“Để nếu chưa đủ tốt, mình biết chỗ nào không nên tự động hóa, và phải giữ một con đường khác cho người dùng.”
Bác gật đầu. Đó là điều tôi muốn giữ nhất. Công bằng không nhất thiết có nghĩa là mọi nhóm phải có cùng một điểm số ngay lập tức. Nó còn có nghĩa là không được lấy một con số trung bình đẹp làm lý do bắt những người mà mô hình hiểu kém phải chịu một dịch vụ tệ hơn, mà không có lối thoát nào.
VinaVoice 5 ra mắt với con số chủ lực 94%. Trên mạng, nhiều người hỏi: “Sao bản mới lại thấp hơn con số 97% của bản cũ?” Đội PR chuẩn bị một câu trả lời dài. Tôi viết ngắn hơn: “Vì bài kiểm tra mới khó hơn và gần với người dùng thật hơn.” Bên dưới mới gắn đường dẫn tới phương pháp đánh giá. Lần này, bên kinh doanh không phản đối.
Ba năm trước, một chỉ số giảm sẽ bị coi là thất bại. Giờ đây chúng tôi có thể nói: “Con số chủ lực thấp hơn, nhưng mô hình tốt hơn cho mục tiêu mà chúng tôi thật sự quan tâm.” Không phải lúc nào điều đó cũng đúng, nhưng lần này chúng tôi có đủ số liệu chi tiết để chứng minh vì sao.
Tôi gọi cho mẹ, bật VinaVoice 5 trên chiếc loa thử nghiệm. “Mẹ nói gì đi.”
“Con đang mô rứa?” bà hỏi.
Màn hình hiện: Con đang mô rứa?
Tôi bật cười. “Đúng rồi mẹ.”
“Rứa thì có chi mà vui dữ,” mẹ nói. Hệ thống hiện: Rứa thì có chi mà vui dữ.
Tôi nhìn hai dòng chữ ấy rất lâu. Hai câu đúng không chứng minh được mô hình đã hiểu hết tiếng Hà Tĩnh, cũng không chứng minh con số 94% đại diện cho mẹ tôi. Chỉ là hai câu. Nhưng lần này tôi không cần biến chúng thành benchmark. Tôi chỉ vui vì cuối cùng chiếc máy đã nghe mẹ như nghe một người cần được lắng nghe, chứ không phải một ngoại lệ buồn cười trên sân khấu.
Mở mục lục để tải danh sách chương.