rangkuman file robots.txt dan crawling googlebot

oke jadi saya jelasin ulang, situs web itu bisa diblokir aksesnya biar gabisa keindeks di google. salah satu caranya dengan ngubah file robots.txtnya di bagian javascript pada akar domain sebuah situs web, agar pada saat google bot atau robot dari google yang berfungsi untuk mendeteksi mana mana aja yang bisa diindeks dari sebuah halaman, file robots.txt itu bisa ngasih tau ini loh bagian ini gausa diindeks. pengkodean di javascriptnya itu pake : User-agent: * Disallow: /halaman1/

User-agent: * Disallow: /halaman1/

User-agent: Yahoo

Disallow: /

itu dipake misal mau blokir halaman 1 ke semua situs web, sedangkan kalo situs webnya misal mau yahoo doang, si tanda bintangnya itu tinggal diganti ama yahoo. akses javascript untuk file robots ini gabisa diakses umum ataupun dimanipulasi, dimana javascript sendiri klo di chrome itu bsia diliat di inspect, terus cari di bagian sourcenya. pemahaman saya sampe sini udah bener atau masih ada yang perlu dikoreksi?