Google dan Anthropic menyatakan dukungan terhadap pendekatan baru yang memberikan kontrol lebih besar kepada pemilik situs web dalam menentukan penggunaan konten mereka untuk pelatihan kecerdasan buatan. Pada 30 Oktober 2026, sejumlah perusahaan TEKNOLOGI terkemuka mendukung proposal pengaturan bersama melalui file robots.txt yang sedang dibahas dalam lingkungan Internet Engineering Task Force (IETF). Inisiatif ini bertujuan menyederhanakan cara penerbit digital menyampaikan izin atau penolakan terhadap penggunaan konten untuk melatih model AI. Dengan pendekatan tersebut, pengelola website tidak perlu terus bergantung pada aturan berbeda untuk setiap penyedia AI, meskipun penerapannya masih membutuhkan pengembangan dan kesepakatan lebih lanjut.
Google dan Anthropic Mendukung Pengaturan Bersama Pelatihan AI
Perkembangan terbaru dalam pengembangan AI generatif menggambarkan meningkatnya perhatian terhadap kepentingan penerbit digital. Google dan Anthropic mengumumkan dukungan terhadap proposal pengaturan bersama yang membantu pemilik situs menyampaikan preferensi penggunaan konten untuk pelatihan AI. Inisiatif tersebut juga mendapat dukungan dari Microsoft dan OpenAI. Fokus pendekatan tersebut adalah menyederhanakan proses pengelolaan izin dengan menggunakan sinyal yang dapat dikenali oleh berbagai penyedia AI. Dalam praktik yang sudah berjalan, pengelola website sering perlu mengatur instruksi berbeda untuk setiap robot pengumpul data. Berkat rancangan tersebut, proses pengaturan diharapkan menjadi semakin praktis tanpa menghilangkan pilihan pengaturan khusus.
Keterlibatan sejumlah pengembang AI merupakan perkembangan yang penting karena penggunaan data internet memiliki peran besar dalam pengembangan model kecerdasan buatan. Banyak penyedia layanan memanfaatkan informasi dari sumber yang tersedia secara publik untuk membantu proses pengembangan teknologi. Namun, pemilik website juga memiliki kemampuan untuk mengatur bagaimana karya mereka dapat digunakan. Melalui pengembangan sinyal preferensi bersama, penerbit diharapkan dapat menyampaikan keputusan secara lebih jelas. Meskipun begitu, dukungan terhadap proposal tidak berarti seluruh perusahaan telah menerapkan mekanisme tersebut secara serentak. Implementasi sistem masih bergantung oleh jadwal pengembangan masing-masing perusahaan serta perkembangan pembahasan standar.
Cara Kerja Standar Baru melalui File Robots.txt
Pendekatan pengendalian bersama memanfaatkan file robots.txt yang sejak lama digunakan untuk menetapkan instruksi kepada robot perayap website. File tersebut biasanya ditempatkan pada direktori utama domain agar dapat diperiksa oleh sistem otomatis. Pada mekanisme baru tersebut, pengelola situs dapat menggunakan token kebijakan bernama __usage_ai-training untuk menentukan preferensi terkait pelatihan AI. Sebagai contoh, pemilik website dapat menetapkan agar seluruh konten tidak digunakan untuk pelatihan model generatif. Di samping itu, aturan juga dapat diatur untuk direktori tertentu sesuai kebutuhan. Pendekatan pengaturan tersebut menawarkan pilihan yang lebih terstruktur dibandingkan pengelolaan instruksi terpisah bagi setiap penyedia AI.
Aspek utama yang perlu dipahami adalah perbedaan antara preferensi penggunaan data untuk pembelajaran model dan pemblokiran akses website secara keseluruhan. Token kebijakan bersama dirancang untuk menyampaikan keputusan tentang penggunaan konten dalam pelatihan AI, bukan otomatis menghilangkan keberadaan halaman dari hasil pencarian internet. Melalui pendekatan ini, pemilik situs dapat mempertimbangkan kebijakan yang berbeda antara kebutuhan ditemukan pengguna dan pemanfaatan konten untuk pengembangan model. Namun, hasil penerapan dapat tidak selalu sama menurut interpretasi masing-masing penyedia layanan. Google, misalnya, menyatakan akan menerapkan sinyal penolakan bersama sebagai pengaturan Google-Extended apabila tidak terdapat instruksi khusus yang menyatakan sebaliknya. Dengan mempertimbangkan kondisi tersebut, pengelola website tetap perlu memahami kebijakan setiap perusahaan sebelum menerapkan aturan.
Cara Pengelola Website Menentukan Preferensi Konten Secara Fleksibel
Dalam sistem pengaturan sebelumnya, sejumlah perusahaan AI memiliki mekanisme tersendiri untuk mengatur penggunaan konten website. Google, misalnya, memperkenalkan Google-Extended sejak 2023 sebagai kontrol terhadap penggunaan konten dalam layanan AI tertentu. Di sisi lain, Anthropic mengoperasikan robot seperti ClaudeBot yang berfungsi dalam pengumpulan konten untuk pengembangan model. Mekanisme individual tersebut menghadirkan fleksibilitas, tetapi juga menambah pekerjaan bagi pengelola situs yang harus memahami berbagai kebijakan teknis. Pendekatan standar industri dimaksudkan untuk meringankan kebutuhan tersebut. Dengan satu sinyal, pemilik website direncanakan dapat menyampaikan preferensi umum kepada penyedia AI yang ikut mendukung mekanisme tersebut.
Kendati memberikan penyederhanaan, pengaturan khusus masing-masing perusahaan tetap dipertahankan. Hal tersebut berarti, pengelola situs dapat menggunakan kebijakan umum sekaligus menyampaikan pengecualian bagi penyedia tertentu. Google mengemukakan bahwa instruksi Google-Extended yang disebutkan secara eksplisit akan tetap digunakan dalam mekanisme pengaturannya. Pendekatan ini memungkinkan penerbit menentukan keputusan yang lebih sesuai dengan kebutuhan mereka. Sebagai contoh, sebuah situs mungkin ingin menolak penggunaan kontennya untuk sebagian layanan AI tetapi tetap memberikan akses bagi layanan tertentu. Namun, konsekuensi pengaturan tersebut harus dipahami berdasarkan dokumentasi setiap perusahaan karena istilah pelatihan, pencarian, dan penggunaan konten dalam jawaban AI tidak selalu memiliki cakupan identik.
Manfaat Pengaturan Konten AI bagi Penerbit dan Pemilik Website
Bagi pengelola website, kehadiran standar pengaturan bersama berpotensi memperjelas kendali atas penggunaan konten. Pada praktik penerbitan online, perusahaan media, blogger, dan pemilik platform informasi menerbitkan berbagai materi yang memerlukan waktu, biaya, serta tenaga kreatif. Saat materi yang diterbitkan digunakan dalam proses pengembangan model AI, pemilik konten dapat mengajukan pertimbangan terkait izin, atribusi, dan manfaat ekonomi. Melalui sistem preferensi yang lebih jelas, penerbit dapat menyampaikan apakah konten mereka boleh digunakan untuk tujuan pelatihan. Pilihan tersebut tidak otomatis memastikan kompensasi finansial atau perlindungan hukum menyeluruh, tetapi dapat memberikan sarana komunikasi kebijakan yang lebih mudah dikenali oleh penyedia teknologi.
Dalam perspektif industri, mekanisme pengaturan konten juga dapat mendukung hubungan yang lebih transparan antara penerbit dan pengembang AI. Penyedia model kecerdasan buatan mengandalkan beragam informasi untuk meningkatkan kemampuan sistem. Pada saat yang sama, penerbit memiliki kebutuhan bahwa karya mereka digunakan sesuai kebijakan yang telah ditentukan. Standar bersama dapat membantu komunikasi antara kedua pihak tersebut. Namun, efektivitas pendekatan ini bergantung oleh kepatuhan penyedia layanan dan kejelasan implementasi teknis. Ketika semakin banyak perusahaan mendukung mekanisme serupa, pengelola website dapat memperoleh proses administrasi yang lebih sederhana tanpa harus memelihara banyak instruksi individual secara terus-menerus.
Hambatan Teknis dalam Mewujudkan Kontrol AI Lintas Perusahaan
Meskipun memperoleh komitmen, proposal pengaturan konten untuk pelatihan AI masih memiliki beberapa tantangan sebelum dapat digunakan secara luas. Tantangan utama adalah perbedaan jadwal implementasi antarpengembang. Google menargetkan dukungan terhadap sinyal bersama pada 2027. Microsoft menetapkan rencana mulai menghormati pengaturan tersebut pada 1 Februari 2027. Sementara itu, OpenAI menyatakan rencana penerapan dalam beberapa bulan setelah pengumuman, sedangkan Anthropic telah memulai pekerjaan implementasi. Perbedaan waktu tersebut berarti pemilik situs tidak dapat langsung menganggap bahwa setiap penyedia AI telah membaca sinyal bersama dengan cara yang sama. Pada tahap pengembangan, instruksi khusus perusahaan tetap relevan bagi pengelola yang ingin mempertahankan kebijakan pembatasan konten.
Hambatan lain yang perlu diperhatikan berkaitan dengan status standardisasi dan kepatuhan terhadap instruksi website. Proposal yang sedang dibahas berada dalam lingkungan kerja AI Preferences atau AIPREF di Internet Engineering Task Force, tetapi belum menjadi standar internet final. Pembahasan teknis masih memerlukan masukan dari berbagai pemangku kepentingan. Di samping itu, robots.txt pada dasarnya digunakan sebagai sarana penyampaian instruksi yang kepatuhannya dipengaruhi oleh perilaku robot pengakses situs. File tersebut bukan sistem yang secara teknis dapat menghalangi seluruh pihak mengambil konten. Mekanisme yang diusulkan juga tidak secara otomatis membatalkan data yang telah dikumpulkan sebelumnya. Dengan mempertimbangkan batasan tersebut, pengelola website tetap sebaiknya memahami bahwa kebijakan konten, pengendalian akses, dan perlindungan hukum merupakan aspek yang berbeda.
Kesimpulan
Komitmen Google, Anthropic, Microsoft, dan OpenAI terhadap standar pengaturan konten bersama menandai inisiatif menarik dalam mengembangkan ekosistem kecerdasan buatan yang lebih transparan. Melalui penggunaan token kebijakan dalam robots.txt, pemilik website diharapkan dapat menentukan preferensi pelatihan AI secara lebih sederhana. Namun, pengaturan tersebut masih berada dalam tahap pengembangan dan menuntut dukungan teknis dari berbagai perusahaan agar dapat berfungsi secara luas. Keberhasilan jangka panjang akan dipengaruhi oleh kepatuhan penyedia AI, kejelasan standar, dan kebutuhan penerbit digital. Bagaimana pendapat Anda, apakah pengaturan bersama seperti ini akan membantu melindungi karya digital? Tuliskan pandangan Anda mengenai masa depan teknologi pengaturan konten untuk pelatihan AI.
