Chương 1 / 8 ◆ ~9 phút đọc

Chương 1: Mô hình hiểu 97%, trừ giọng của mẹ tôi

Mô hình của tôi đạt 97,2% độ chính xác trên bộ benchmark tiếng Việt. Con số ấy đứng vững cho đến đúng cái lúc mẹ tôi gọi.

Buổi demo diễn ra ở tầng mười tám của một tòa nhà công nghệ tại quận 7, trước gần hai trăm khách hàng doanh nghiệp. Tôi là Phạm Tuấn Kiệt, ba mươi mốt tuổi, phụ trách kiến trúc mô hình giọng nói của NovaMind Việt Nam. Thứ đang đứng trên sân khấu cùng tôi là VinaVoice 4: hai năm huấn luyện, gần một triệu đoạn ghi âm, hơn mười nghìn người đóng góp giọng nói.

Mục tiêu của nó nghe rất đẹp, đẹp đến mức chúng tôi in thành chữ to trên slide mở màn: “Để máy tính hiểu mọi người Việt, bất kể họ nói giọng nào.” Slide kế tiếp chỉ có một con số khổng lồ giữa nền tối: 97,2% độ chính xác theo từ trên bộ đánh giá nội bộ.

Khán giả vỗ tay khi hệ thống nhận đúng một đoạn giọng Hà Nội. Rồi đúng một đoạn giọng Sài Gòn. Rồi đúng cả một câu đọc thật nhanh giữa tiếng ồn giả lập của quán cà phê, tiếng ly va nhau lách cách trong loa. Mọi thứ trôi đúng kịch bản tôi đã tập không dưới mười lần.

Đến phần giao lưu, MC bất ngờ quay sang tôi, cười rất tươi: “Anh Kiệt gọi thử một người bất kỳ ngoài hội trường đi. Cho vui.”

Tôi cười theo, dù điều đó không có trong kịch bản. Nhưng ai làm sản phẩm lâu năm cũng tin một điều: demo thuyết phục nhất luôn là demo không chuẩn bị. Tôi rút điện thoại, bấm số mẹ.

Mẹ tôi sống ở Hà Tĩnh, năm nay sáu mươi ba tuổi. Giọng bà đặc quê, nặng hơn giọng tôi nhiều dù tôi cũng sinh ra ở đó, bởi hai mươi năm sống ở Hà Nội rồi Sài Gòn đã mài phẳng giọng tôi như nước mài đá. Chuông đổ ba hồi thì mẹ bắt máy.

“A lô, Kiệt à? Răng giờ ni con gọi?”

Trên màn hình lớn sau lưng tôi, dòng chữ hiện ra gần như tức thì: “Alo Kiệt à, rang giờ này con gọi?” Khán giả cười nhẹ. Tôi cũng cười, tự nhủ đó chỉ là một lỗi nhỏ, một chữ “răng” bị nghe thành món ăn.

“Mẹ, mẹ nói thử câu này giúp con: hôm nay trời mưa, mẹ chưa ra chợ.”

Mẹ nói theo cách của mẹ: “Bữa ni mưa, mạ chưa đi chợ mô.” Màn hình hiện: “Bữa nay mưa, mà chưa đi chợ mua.” Tiếng cười trong hội trường lớn hơn hẳn, và tôi thấy gáy mình bắt đầu nóng lên. MC cố cứu vãn: “Giọng địa phương khó quá anh ha.” Tôi gật đầu, rồi vẫn liều nói vào máy: “Mẹ nói tiếp đi.”

“Con đang mô rứa?” bà hỏi.

“Con đang mua rượu?” màn hình đáp.

Cả hội trường bật cười. Mẹ không biết gì cả, vẫn vô tư nói qua loa điện thoại: “Nghe chi ồn rứa? Con có ăn cơm chưa?” Lần này VinaVoice bỏ luôn nửa câu, chỉ còn lại mấy chữ rời rạc trôi trên nền đen. Tôi chào mẹ, hứa tối gọi lại, rồi kết thúc phần demo bằng một câu đùa: “Có vẻ mẹ tôi vừa tìm ra benchmark mới cho chúng tôi.”

Khán giả vỗ tay. Sự kiện vẫn được coi là thành công. Đội PR thậm chí còn bảo đoạn lỗi ấy khiến buổi demo trông “có tính người” hơn, rằng khách hàng thích thấy một công ty dám để sản phẩm vấp ngay trên sân khấu.

Nhưng tối hôm đó, khi tòa nhà đã vắng, tôi vẫn ngồi lại một mình trong văn phòng. Không phải vì xấu hổ. Một mô hình không hoàn hảo là chuyện bình thường, tôi đã thấy hàng trăm lỗi tệ hơn thế. Điều làm tôi khó chịu là con số 97,2%. Nó đã khiến tôi tin vào một điều lớn hơn những gì dữ liệu cho phép: rằng mô hình của chúng tôi “hiểu tiếng Việt”. Sự thật là nó hiểu rất tốt loại tiếng Việt mà bộ benchmark có nhiều.

Tôi mở bảng điều khiển đánh giá. Bộ đánh giá nội bộ có 120.000 câu nói, được chia theo giới tính, độ tuổi, môi trường thu âm và loại thiết bị. Nhìn qua thì rất chuyên nghiệp, các cột biểu đồ đều tăm tắp. Nhưng mục “vùng miền” chỉ có đúng ba nhóm: Bắc, Trung, Nam. Hai năm nay tôi đã nhìn bảng này không biết bao nhiêu lần mà chưa từng thấy vấn đề, cho đến tối đó.

“Trung” là gì? Là Huế, Quảng Nam hay Quảng Ngãi? Là Nghệ An, Hà Tĩnh hay Quảng Bình? Một cái nhãn duy nhất đang gom hàng chục hệ phát âm khác nhau vào cùng một ô, như thể người Vinh và người Hội An nói chung một giọng.

Tôi chạy truy vấn phân bố người nói. Gần 62% dữ liệu đánh giá đến từ Hà Nội và TP.HCM, hoặc từ những người đã sống lâu ở hai thành phố đó. Nhóm “Trung” có nhiều người trẻ hơn người già. Giọng Hà Tĩnh trên năm mươi lăm tuổi rất ít, giọng miền núi gần như không đáng kể. Người nói trong môi trường ồn thì có, nhưng phần lớn tiếng ồn được chồng thêm bằng máy chứ không phải thu thật ở chợ, ở bến xe hay trong nhà máy.

Tôi nhìn lại con số 97,2%. Nó không sai. Nó chỉ là một con số trung bình, và trung bình có khả năng tuyệt vời là che giấu chính những người mà mô hình hiểu tệ nhất.

Tôi lục ra năm mươi file giọng Hà Tĩnh từ một bộ dữ liệu cũ không nằm trong benchmark chính rồi chạy thử. Tỷ lệ lỗi từ tăng vọt. Tôi lấy tiếp các đoạn giọng người lớn tuổi miền Trung, kết quả còn tệ hơn. Rồi đến mấy đoạn ghi âm thật trong chợ, tiếng xe máy rồ ga, tiếng người nói chồng lên nhau, và con số lại rơi thêm một nấc nữa. Mô hình không hỏng. Nó làm đúng những gì chúng tôi đã dạy. Vấn đề là chúng tôi đã dạy nó một Việt Nam nhỏ hơn Việt Nam thật.

Mười một giờ bốn mươi hai phút, tôi gọi cho Lý Hạ Nguyên, trưởng bộ phận sản phẩm. Cô bắt máy sau hồi chuông thứ hai, giọng còn ngái ngủ.

“Anh đừng nói là có lỗi trên hệ thống thật nhé.”

“Không phải.”

“Vậy để mai.”

“Anh nghĩ benchmark của mình có vấn đề.”

Đầu dây bên kia im lặng mấy giây, rồi giọng cô tỉnh hẳn: “Vấn đề kiểu nào?”

“Con số 97,2% không đại diện đều cho người Việt.”

“Không benchmark nào đại diện hoàn hảo cả, anh biết mà.”

“Anh biết. Nhưng mai anh muốn tách kết quả chi tiết hơn: theo giọng địa phương, theo độ tuổi, và theo tiếng ồn ngoài đời thật.”

Nguyên thở dài. “Kiệt, tuần sau sales bắt đầu chào hàng cho ngân hàng và bệnh viện. Đừng biến con số chủ lực thành một cuốn luận văn.”

Tôi nhìn dòng chữ vẫn còn trên màn hình laptop: Con đang mua rượu? “Anh chỉ muốn biết khi mình nói 97%, thì 3% còn lại là ai.”

Cô im thêm một lúc lâu, rồi nói ngắn gọn: “Được. Sáng mai.”

Sáng hôm sau, chúng tôi kéo cả đội dữ liệu, chuyên gia ngôn ngữ và bộ phận kiểm thử vào phòng họp. Không ai vui vẻ gì khi phải mở lại benchmark ngay trước đợt ra mắt với khách hàng. Dũng, trưởng nhóm dữ liệu, khoanh tay nói trước: “Chỉ số này đã dùng từ bản 3.”

“Vậy càng nên hiểu nó cho kỹ.”

“Anh muốn chia bao nhiêu giọng? Không có cách phân loại nào hoàn hảo đâu.”

“Không cần hoàn hảo,” tôi đáp. “Chỉ cần đủ để đừng gom những người mô hình hiểu kém vào một con số trung bình đẹp.”

Thu, chuyên gia ngôn ngữ của nhóm, mở bản đồ phương ngữ lên màn hình, những mảng màu loang lổ chồng lên nhau dọc dải đất miền Trung. “Nếu làm nghiêm túc thì chia ba miền là quá thô. Để rà soát bộ dữ liệu hiện tại, mất khoảng một tuần. Còn để có một benchmark tốt hơn thật sự thì phải nhiều tháng.”

Giám đốc kinh doanh ngồi cạnh Nguyên buột miệng: “Không thể dừng ra mắt nhiều tháng chỉ vì mô hình không hiểu mẹ anh Kiệt.”

Câu đó làm cả phòng im phăng phắc. Anh ta lập tức sửa lại: “Ý tôi không phải vậy. Ý tôi là một trường hợp thì không thể đại diện cho cả bức tranh.”

“Đúng,” tôi nói. “Vì thế mình mới cần biết đó có thật chỉ là một trường hợp hay không.”

Nguyên nhìn lần lượt từng người rồi chốt: “Không dừng ra mắt hôm nay. Nhưng tài liệu bán hàng phải bỏ câu ‘hiểu mọi giọng Việt’.”

“Thay bằng gì?” giám đốc kinh doanh hỏi.

Tôi đáp: “Đạt 97,2% trên benchmark nội bộ hiện tại; hiệu năng thay đổi theo phương ngữ, độ tuổi và môi trường.”

Anh ta nhăn mặt như vừa nuốt phải thứ gì đắng. “Ai lại đi mua sản phẩm với cái tiêu đề như thế?”

“Những người không muốn sau này bị kiện vì chúng ta đã nói quá,” Nguyên đáp, giọng bình thản.

Tôi nhìn cô, và lần đầu tiên kể từ đêm demo, tôi thấy mình thở được. Nhưng một tuần rà soát sau đó cho thấy vấn đề lớn hơn chuyện của mẹ tôi rất nhiều. Con số 97,2% không phải một lời nói dối. Nó chỉ là một ngọn đèn đủ sáng để chúng tôi không nhìn thấy những góc tối quanh nó.

Đã đọc xong

Chương 1 / 8

Câu chuyện vẫn còn phía trước.

Đọc chương tiếp
Home Trước Sau
Đọc tiếp chỗ đang dở? Bạn đã đọc một phần chương này.
Danh sách chương

Mở mục lục để tải danh sách chương.

Xem toàn bộ 8 chương trên trang truyện

Cài đặt Đọc truyện
Cỡ chữ
Giãn dòng
Độ rộng trang đọc
Kiểu Chữ
Phông Nền
💬 Bình luận đoạn
Đang tải bình luận...