Pangram, start-up chỉ có 24 nhân viên tại Brooklyn (Mỹ), bất ngờ được chú ý sau hàng loạt vụ việc liên quan các tác phẩm bị nghi sử dụng AI. 

Công cụ này đưa ra tỉ lệ ước tính mức độ AI tham gia vào một văn bản, nhưng độ chính xác của những kết quả này vẫn gây tranh luận, theo WIRED ghi nhận.

Từ start-up ít người biết đến

Pangram được Max Spero và Bradley Emi thành lập năm 2023 với tên Checkfor.ai, đổi tên một năm sau đó. Công ty đã huy động khoảng 13 triệu USD.

Start-up này gây chú ý khi tiểu thuyết Shy Girl của Mia Ballard bị nghi sử dụng AI. Dù tác giả phủ nhận, Spero cho biết Pangram đánh giá bản thảo có 78% nội dung do AI tạo ra. Sau đó, Hachette hủy kế hoạch phát hành cuốn sách.

Tiếp đó, một bài viết trong chuyên mục Modern Love của The New York Times và một tác phẩm đoạt Commonwealth Short Story Prize đều nhận kết quả 100% từ Pangram. Tiểu thuyết Daggermouth nhận mức 60%.

Cuối tháng 7, Substack thông báo tích hợp Pangram để người đọc có thể kiểm tra khả năng nội dung được tạo bằng AI.

Một con số có đủ để kết luận?

Sự phổ biến của Pangram cũng khiến công cụ này vấp phải chỉ trích. Jane Friedman, tác giả và chuyên gia xuất bản, cho biết nhiều người viết lo ngại phần mềm phát hiện AI có thể gây tổn hại nếu đưa ra kết quả sai.

Pangram cho biết hệ thống được huấn luyện bằng cách so sánh văn bản do con người viết với nội dung do AI tạo ra. Tuy nhiên, công ty thừa nhận công cụ hoạt động kém hiệu quả với đoạn văn dưới 100 từ và cùng một nội dung có thể cho kết quả khác nhau tùy cách kiểm tra.

Một nghiên cứu của Đại học Notre Dame cho thấy Pangram 3.2 có thể đánh dấu nhầm văn bản chỉ được AI chỉnh sửa nhẹ là nội dung do AI tạo ra với tỉ lệ 64-80%. Khi văn bản AI được xử lý qua công cụ "nhân hóa", Pangram phát hiện chưa đến 4% trường hợp.

Độ chính xác không phải vấn đề duy nhất. Sam Illingworth, giáo sư tại Đại học Edinburgh Napier, cảnh báo các công cụ phát hiện AI có thể tồn tại định kiến.

Một số nghiên cứu cho thấy người viết tiếng Anh không phải ngôn ngữ mẹ đẻ có nguy cơ bị đánh dấu nhầm cao hơn. Ba vụ việc lớn liên quan Shy Girl, Daggermouth và Call Me, I'll Hide the Body đều liên quan đến các tác giả da màu, càng làm dấy lên lo ngại về nguy cơ thiên lệch.

Regina Brooks, Chủ tịch Hiệp hội Đại diện Văn học Mỹ, cho rằng ngành xuất bản cần lưu ý những bất bình đẳng có thể phát sinh khi sử dụng các công cụ này.

Không thể chỉ dựa vào AI

Pangram đang được sử dụng ngày càng nhiều trong ngành xuất bản nhưng chưa được xem là bằng chứng duy nhất. Penguin Random House xác nhận biên tập viên có thể sử dụng công cụ phát hiện AI, song kết quả chỉ là một phần trong quy trình đánh giá và không mang tính quyết định.

Tuhin Chakrabarty, giáo sư khoa học máy tính tại Đại học Stony Brook, từng dùng Pangram phân tích 14.419 tiểu thuyết tự xuất bản và nhận thấy gần 20% có mức độ sử dụng AI đáng kể. Tuy nhiên ông cũng thừa nhận công cụ có thể bị đánh lừa.

Max Spero cho biết Pangram hiện tập trung vào những trường hợp bị cho là cố tình che giấu việc sử dụng AI. Công ty tuyên bố phiên bản mới nhất có tỉ lệ dương tính giả 0,0041%, nhưng thừa nhận một số văn bản do AI tạo ra vẫn có thể lọt qua.

Nhà xuất bản làm gì để khiến bạn muốn mua một cuốn sách?

Từ màu sắc bìa, lời giới thiệu, vị trí trưng bày đến BookTok và chatbot, ngành xuất bản đang dùng nhiều cách để tác động đến quyết định mua sách của độc giả.