Tài khoản "Chloe Johnson" bị tố thường xuyên đăng tải ảnh, video được deepfake từ người mẫu. Ảnh: Angels Villa/Youtube. |
Theo điều tra của 404 Media, một "ngành công nghiệp người mẫu AI" đang nở rộ trên mạng xã hội Instagram.
Hàng loạt tài khoản influencer "ảo" sử dụng hình ảnh do trí tuệ nhân tạo (AI) tạo ra để dẫn dụ người dùng đến các trang web hẹn hò, Patreon, nền tảng nội dung người lớn và ứng dụng AI. Môt số ứng dụng này còn được phát tán trên Apple App Store và Google Play Store.
Weird cũng phân tích hơn 1.000 tài khoản influencer ảo. Có đến 100 tài khoản trong số đó sử dụng công nghệ deepfake để ghép mặt AI lên video của người mẫu và diễn viên khiêu dâm, biến chúng thành nội dung "mới" nhằm qua mặt người xem.
Đáng chú ý, 40 trong số này không hề tiết lộ danh tính ảo. Điển hình là trường hợp của "Chloe Johnson", một tài khoản đã được xác minh với 171.000 người theo dõi, thường xuyên đăng tải video deepfake ăn cắp từ các người mẫu như Tana Rain, Skyler Simpson... và kiếm tiền từ Fanvue, một nền tảng nội dung 18+ tương tự OnlyFans.
Alexios Mantzarlis, chuyên gia an ninh mạng tại ĐH Cornell Tech (New York, Mỹ), cảnh báo về một tương lai đáng lo ngại khi nội dung AI lấn át nội dung do con người tạo ra trên mạng xã hội, tạo nên một "thực tế pha trộn".
Nhà sáng tạo nội dung người lớn Elaina St James bị ảnh hưởng lượng tượng tác khi các tài khoản AI xâm chiếm. Ảnh: @elainastjames. |
Nhà sáng tạo nội dung lao đao
Sự xâm chiếm của "sao mạng AI" gây ảnh hưởng nghiêm trọng đến thu nhập của những người sáng tạo nội dung thật.
Elaina St James, một nhà sáng tạo nội dung người lớn, cho biết lượng tương tác của cô giảm mạnh trong 10 tháng qua, từ 1-5 triệu lượt xem mỗi tháng xuống dưới 1 triệu, có thời điểm chỉ còn 500.000 lượt xem.
Đáng chú ý, những kẻ đứng sau tài khoản "sao mạng AI" không chỉ sử dụng công nghệ deepfake, mà còn tham gia bán các khóa học, sách hướng dẫn để "kinh doanh" tài khoản influencer ảo một cách bài bản.
Digital Divas là một nhóm gồm 3 tài khoản influencer ảo, mỗi tài khoản được điều hành bởi một người thật khác nhau. Họ sử dụng nhiều công cụ AI phổ biến như Leonardo, HelloFace... để tạo ra hình ảnh và video chân thực.
Cẩm nang Instagram Mastery của Digital Divas, với giá 50 USD, không chỉ hướng dẫn kỹ thuật tạo ảnh AI mà còn "bật mí" chiến lược "kinh doanh sự cô đơn", nhắm vào đối tượng nam giới cô đơn trên mạng xã hội để kiếm tiền.
Khoá học khác là AI Influencer Accelerator do một người tự xưng là Professor EP biên soạn, với mức giá 220 USD, hứa hẹn dạy cách kiếm tiền triệu USD từ tài khoản influencer ảo. Khóa học này hướng dẫn cách tạo người ảnh hưởng ảo, thiết lập tài khoản Fanvue, "làm nóng" người xem và tăng giá nội dung nhạy cảm.
Mặc dù Digital Divas lên án deepfake, Professor EP lại hướng dẫn học viên sử dụng công nghệ này, bao gồm cả việc kết hợp InsightFace và HelloFace để tạo ra người ảnh hưởng ảo lai, ghép mặt AI lên video có sẵn.
HelloFace, ứng dụng chứa đầy video phụ nữ ăn mặc hở hang, đã bị gỡ khỏi App Store và Google Play sau khi bị điều tra. Tuy nhiên, sự tồn tại của nó cho thấy deepfake đang bị lợi dụng để tạo nội dung khiêu dâm.
Hình ảnh từ hướng dẫn của Digital Divas. Ảnh: Digital Divas. |
Instagram bị chỉ trích khi 'làm ngơ'
Instagram tuyên bố sẽ xử lý các tài khoản vi phạm, nhưng thực tế việc báo cáo và gỡ bỏ những tài khoản người ảnh hưởng ảo còn gặp nhiều khó khăn.
Nhiều người cho rằng chính sách "ghẻ lạnh" người sáng tạo nội dung người lớn của Instagram đã vô tình tiếp tay cho sự phát triển của người ảnh hưởng ảo. Nền tảng này yêu cầu người sáng tạo nội dung người lớn cung cấp giấy tờ tùy thân để xác minh tài khoản, khiến họ lo ngại bị lộ thông tin và bị quấy rối.
Việc Instagram thường xuyên khóa tài khoản của họ mà không báo trước càng khiến những người sáng tạo nội dung thật dễ trở thành mục tiêu mạo danh và trộm cắp nội dung.
Trong khi đó, các cẩm nang về người ảnh hưởng ảo lại hướng dẫn cách thức "lách luật" Instagram, chẳng hạn như sử dụng ảnh đại diện không phải người thật, tạo nhiều email "sạch"...
Thậm chí, việc báo cáo tài khoản giả mạo cũng tiềm ẩn rủi ro cho người sáng tạo nội dung thật sự. Một số ý kiến cho rằng Instagram đang "làm ngơ" cho người ảnh hưởng ảo vì những tài khoản này tạo ra lượng tương tác ảo, giúp nền tảng bán được nhiều quảng cáo hơn.
Khi bước vào một căn phòng toàn những người xa lạ, chúng ta có thể cảm nhận được ai gây ấn tượng với mình chỉ dựa vào hình thức bên ngoài, nhờ vào “sự hấp dẫn giới tính", bao gồm những dấu hiệu về tuổi tác, giới tính, tình trạng sinh sản và phẩm chất của mỗi cá nhân, cùng với đó là các đáp ứng kích thích được lập trình đối với những đặc tính tình dục và cả những đặc điểm khác nữa.