Chương 2: Benchmark đẹp vì người trong benchmark giống nhau
Một tuần rà soát biến con số 97,2% thành một bảng dài gần hai mươi dòng. Không ai bên kinh doanh thích cái bảng ấy, còn tôi thì thích nó hơn một con số đứng trơ trọi.
Giọng Hà Nội trẻ, thu trong phòng yên tĩnh: rất tốt. Giọng TP.HCM trẻ: rất tốt. Giọng miền Trung nhóm 18 đến 35 tuổi: khá. Người trên năm mươi lăm tuổi ở miền Trung: giảm rõ rệt. Giọng Hà Tĩnh, Nghệ An trong bộ mẫu mới: tệ hơn mức chúng tôi từng nghĩ. Người nói nhanh giữa chợ, giữa tiếng xe máy hay trong nhà xưởng: tệ. Người có giọng yếu, khàn, hoặc nói không tròn âm vì tuổi tác: tệ hơn nữa.
Nguyên nhìn bảng một lúc lâu rồi hỏi: “Nếu thêm các mẫu khó này vào thì trung bình mới là bao nhiêu?”
“Khoảng 91 đến 92, tùy cách đặt trọng số,” Dũng đáp.
Giám đốc kinh doanh suýt bật khỏi ghế. “Không thể đổi 97 thành 91 ngay trước ngày ra mắt.”
Thu lên tiếng, giọng điềm tĩnh: “Mô hình đâu có tự nhiên tệ đi. Chỉ là benchmark mới khó hơn và đại diện rộng hơn thôi.”
“Khách hàng không quan tâm triết lý.”
“Khách ngân hàng thì nên quan tâm, nếu mô hình nghe sai người lớn tuổi.”
“Không phải trường hợp sử dụng nào cũng cần giọng Hà Tĩnh.”
“Đúng,” tôi nói. Cả phòng quay sang nhìn tôi, vì ai cũng tưởng tôi sẽ phản đối. “Và đó chính là lý do phải báo cáo theo từng trường hợp sử dụng. Nếu khách chỉ dùng cho tổng đài ở TP.HCM, chỉ số phù hợp sẽ khác. Còn nếu dùng cho dịch vụ toàn quốc, một con số 97,2% chung chung là không đủ.”
Nguyên gật đầu. “Tách cam kết sản phẩm ra.”
Đó là quyết định đầu tiên. VinaVoice không còn một con số “độ chính xác” dùng chung cho mọi tờ quảng cáo. Đội kinh doanh phải chọn hồ sơ hiệu năng theo từng kiểu triển khai: giọng thành thị trong môi trường sạch, giọng hỗn hợp toàn quốc, giọng qua đường điện thoại tổng đài, giọng ngoài hiện trường nhiều tiếng ồn, và giọng người cao tuổi. Không phải hồ sơ nào cũng có đủ dữ liệu ngay. Chỗ nào thiếu thì ghi rõ là thiếu. Bên kinh doanh ghét điều đó, nhưng họ không cãi được.
Vấn đề của benchmark cũng chưa dừng ở chuyện thiếu đại diện. Dũng phát hiện ra một thứ nghiêm trọng hơn: người nói bị trùng. Một phần người nói trong tập đánh giá từng xuất hiện trong dữ liệu huấn luyện, ở những buổi thu khác. Không phải chép nguyên file, cũng không phải kiểu rò rỉ thô thiển là đem đúng câu kiểm tra đi dạy máy. Nhưng mô hình có thể đã quen với đặc điểm giọng của những người đó từ trước khi bước vào phòng thi.
“Bao nhiêu?” tôi hỏi.
Dũng đọc con số. Không khổng lồ, nhưng đủ để con số chủ lực có khả năng đã được hưởng lợi.
“Tại sao lại trùng?”
“Dữ liệu đến từ nhiều nhà cung cấp và nhiều đợt thu khác nhau. Mã người nói không thống nhất. Một người có thể dùng số điện thoại khác, thiết bị khác, mã tham gia khác ở mỗi lần.”
“Có ai cố ý không?”
“Không thấy dấu hiệu nào.”
Lại một vấn đề nằm ở hệ thống. Không có kẻ phản diện nào, chỉ có dữ liệu chảy qua tay nhiều nhà cung cấp, mỗi nơi một kiểu cấu trúc, và những hạn chót luôn thúc mọi người làm nhanh hơn làm kỹ. Chúng tôi quyết định xây lại tập đánh giá sao cho người nói trong tập kiểm tra tuyệt đối không xuất hiện trong tập huấn luyện. Kết quả giảm thêm một chút. Giám đốc kinh doanh bỏ ra ngoài hút thuốc, dù anh đã cai được hai năm.
Tôi cũng thấy đau. Đừng tưởng người làm học máy thích nhìn chỉ số giảm vì lý tưởng đạo đức. Tôi đã dành hai năm cho mô hình này. 97,2% là con số tôi từng hãnh diện khoe với mẹ qua điện thoại. Mỗi điểm phần trăm rơi xuống giống như có ai đó lấy mất một phần thành tích của mình. Nhưng chỉ số cũ đâu phải thành tích thật, nếu nó đo một bài thi dễ hơn tôi tưởng. Cảm giác khó chịu không thay đổi được điều đó.
Sang tuần thứ hai, cả nhóm lập ra cái mà chúng tôi gọi là “phòng lỗi”. Thật ra chẳng có căn phòng nào đặc biệt, chỉ là mỗi ngày một buổi ngồi nghe những đoạn mà mô hình sai nặng nhất. Không ai được nhìn điểm số trước. Chỉ nghe người nói.
Một bà cụ ở Quảng Bình đọc số tài khoản, và mô hình nhầm hai chữ số vì cách phát âm địa phương. Một anh tài xế đọc địa chỉ giữa tiếng động cơ gầm rú, mô hình bỏ luôn tên phường. Một người đàn ông vừa phẫu thuật thanh quản nói chậm và khàn, mô hình gần như không chép được chữ nào. Một cô gái người dân tộc thiểu số nói tiếng Việt như ngôn ngữ thứ hai, và mô hình đã “sửa” câu của cô thành một cấu trúc nghe chuẩn hơn, nhưng sai ý.
Thu dừng đoạn ghi âm lại. “Đây là một vấn đề khác.”
“Khác thế nào?”
“Mô hình không chỉ nghe kém. Nó đoán theo những mẫu câu phổ biến. Kết quả nghe mượt hơn, nhưng sai với người nói.”
Câu đó làm tôi lạnh sống lưng. Một hệ thống chuyển giọng nói thành văn bản có thể trông thông minh hơn bằng cách lặng lẽ sửa lời người nói. Ở một chatbot giải trí, chuyện đó có thể chẳng đáng gì. Nhưng trong ghi chú y tế, giấy tờ pháp lý hay giao dịch ngân hàng, nó nguy hiểm thật sự.
Tôi yêu cầu thêm một chỉ số ngoài tỷ lệ lỗi từ: lỗi ở các thông tin then chốt. Tên người, con số, địa chỉ, tên thuốc, ngày giờ. Một câu sai hai từ bình thường không thể giống với một câu sai liều thuốc, nhưng con số trung bình thì không biết phân biệt hai chuyện đó. Từ lúc ấy, đội sản phẩm bắt đầu hiểu vì sao benchmark phải gắn với trường hợp sử dụng.
Rồi chúng tôi đụng tiếp vào chuyện tiếng ồn nhân tạo. Rất nhiều file “ồn” trong dữ liệu huấn luyện thực ra được tạo bằng cách lấy giọng thu trong phòng thu rồi chồng thêm tiếng xe, tiếng quán cà phê, tiếng mưa. Cách đó rất hữu ích, nhưng không giống hoàn toàn với ghi âm ngoài đời. Ngoài đời có micro bị rè vì nói quá to, có người quay đầu đi giữa câu, có hai người nói chồng lên nhau, có gió đập thẳng vào micro, có đường truyền điện thoại nén âm thanh đến méo mó. Thực tế xấu theo những cách mà tiếng ồn nhân tạo sạch sẽ không mô phỏng hết được.
“Muốn thu lại à?” Nguyên hỏi.
“Một phần.”
“Bao nhiêu người?”
Thu đưa ra kế hoạch: mở đợt thu ở nhiều tỉnh, nhắm tới người lớn tuổi, công nhân, người làm nghề ngoài trời, những vùng giọng còn ít dữ liệu, và thu ngay trong bối cảnh thật nhưng có kiểm soát an toàn.
“Chi phí?” giám đốc kinh doanh hỏi.
“Cao,” Nguyên đáp.
“Vậy có lời không?”
Tôi hỏi ngược lại: “Cái giá của việc bán một mô hình toàn quốc khi nó chưa đủ tốt cho toàn quốc thì tính thế nào?”
Anh ta nhìn tôi. “Đừng hỏi câu triết học.”
“Đây là câu hỏi kinh doanh.” Nếu chúng tôi ký hợp đồng cho ngân hàng dùng tổng đài tự động với khách hàng cả nước, tỷ lệ thất bại ở những nhóm ít dữ liệu sẽ biến thành chi phí chuyển cuộc gọi sang nhân viên, thành khiếu nại, và có thể thành một kiểu phân biệt đối xử trong trải nghiệm. Đó không chỉ là đạo đức. Khoảng chênh chất lượng có giá bằng tiền thật.
Nguyên duyệt đợt thu mới, nhưng cô thêm một điều kiện: “Lần này, giấy đồng thuận của người tham gia phải được rà soát từ đầu.”
“Giấy đồng thuận hiện tại có vấn đề sao?” tôi hỏi. Cả phòng im lặng.
Dũng mở thư mục hợp đồng với các nhà cung cấp. “Chưa chắc là vi phạm. Nhưng câu chữ ở vài đợt thu viết rất rộng.”
“Rộng thế nào?”
Thu đọc to: “Người tham gia đồng ý cho phép sử dụng bản ghi nhằm nghiên cứu, cải thiện và phát triển công nghệ giọng nói, bao gồm các sản phẩm và dịch vụ liên quan.”
Nghe thì bình thường. Nhưng VinaVoice bây giờ không chỉ là nhận dạng giọng nói. NovaMind đang nghiên cứu cả nhân bản giọng, xác thực người nói và tổng hợp giọng nhân tạo.
“Những người thu giọng cách đây ba năm,” tôi hỏi, “có hiểu rằng ‘sản phẩm liên quan’ có thể bao gồm cả mô hình bắt chước đặc điểm giọng của chính họ không?”
Không ai trả lời. Nguyên nói khẽ: “Để pháp lý xem.”
Tôi nhìn con số một triệu đoạn ghi âm trên màn hình. Chúng tôi vừa phát hiện benchmark không đại diện cho người dùng thật, và giờ một câu hỏi lớn hơn mở ra: ngay cả khi dữ liệu giúp mô hình tốt hơn, chúng tôi có quyền dùng nó cho mọi thứ mà công nghệ cho phép hay không? Câu chuyện 97,2% bắt đầu bằng một lỗi đo lường. Nhưng càng đào sâu, tôi càng thấy vấn đề không nằm trong mô hình. Nó nằm trong quan hệ giữa mô hình và những con người đã trao giọng nói của họ để chúng tôi xây nên nó.
Mở mục lục để tải danh sách chương.