User search behaviour has changed!
Anjay, biar kelihatan keren saya memulai dengan bahasa Inggris. Yang mana kalimat itu sekaligus menjadi dalil dari amalan yang akan saya ceritakan.
Seorang digital marketer akan selalu mengikut customer mereka kemanapun mereka pergi (Customers Journey). Itulah yang saat ini terjadi di dunia Search Marketing.
Munculnya AI dengan segala jenisnya, menjadi magnet tersendiri. AI memungkinkan user memperoleh jawaban yang mereka cari hanya dengan satu perintah atau prompt.
Chat GPT misalnya, ia akan memberikan jawaban sesuai dengan yang telah mereka pelajari dari berbagai sumber di internet.
Makanya sekarang banyak brand yang berlomba-lomba agar brand-nya menjadi kutipan (citation) jawaban AI yang akan dijadikan ke user.
Dengan kebutuhan tersebut, jika sebelumnya website saya hanya berteman dengan Googlebot, sekarang kita juga harus akrab dengan beragam AI Bot.
Perbedaan AI Bot dan Search Bot: Jangan Sembarang Mengizinkan AI Bot
Mirip dengan cara kerja Search Engine, sebelum dapat menampilkan konten, Bot-nya perlu melakukan Crawling website terlebih dahulu. Namun, perlakuan mereka terhadap konten kita berbeda.
Search bot (seperti Googlebot dan Bingbot) bekerja seperti pustakawan, ia akan membaca website kita kode, tulisan, link, untuk memahami isi dari website, selanjutnya ia akan mengelompokan menjadi semacam katalog. Ketika ada seseorang belajar tentang “Cara Melindungi Hutan Indonesia”, pustakawan akan memberikan list buku (website) yang paling relevan. Sehingga seseorang bisa langsung membaca buku (website) tersebut.
Sementara AI bot (GPT Bot) alih-alih membuat katalog, ia akan membaca dan menyerap semua informasi yang ada di suatu website untuk menambah pengetahuan mereka. Sehingga ketika ada seseorang yang bertanya “Apakah kebun kelapa sawit sama dengan hutan?” ia akan langsung memberikan jawaban dari apa yang sudah dipelajari. Tidak perlu membacanya di website.
Karena perbedaan itulah, semua website mungkin mengizinkan crawl bot dari Search Engine sementara tidak sedikit website yang memblokir AI bot untuk beberapa alasan tertentu.
Problem AI Bot di Shared Hosting
Ketika melihat dashboard AI Crawl Control di Cloudflare, saya melihat laporan hampir semua AI Bot dari berbagai LLM seperti Claude dan ChatGPT tidak berhasil mengakses konten website.
Sebelumnya secara default memang Cloudflare tidak mengizinkan AI Bot menjadikan konten/data di website kita untuk melatih model mereka. Namun, dengan alasan kebutuhan tadi saya sudah menyesuaikan pengaturannya, tapi tetap tidak berhasil.
Akhirnya disarankan oleh Gemini untuk mengecek hosting karena bisa jadi di Cloudflare sudah berhasil lolos, namun di server ia diblokir.
Sudah mencoba mematikan beberapa keamanan seperti Modsecurity, masih tidak bisa. Jalan ninja terakhir adalah dengan open ticket ke bagian support.
Sampailah di ujung drama, ternyata memang diblokir dari penyedia hostingnya. Ya maklum sih, karena servernya dipakai rame-rame (Shared Hosting).
Udah gitu aja,
Key takeaway-nya ya kalau AI Bot nya di blok, sebelum setting sana-sini, tanya penyedia hostingnya di blok atau tidak.
Assalamu’alaikum
