Keamanan Web & Tata Kelola Bot AI
Validator Header Keamanan & Akses Robot AI
Pastikan situs Anda siap dikutip oleh mesin pencari AI generasi baru (GEO) sekaligus terlindungi dari pencurian data scraper liar dan celah clickjacking dengan header HTTP standar enterprise.
Konfigurasi Hak Akses Crawler & Header
1. File public/robots.txt :
# robots.txt - Rekomendasi Arsitektur PuluhLabs User-agent: * Allow: / Disallow: /api/ Disallow: /admin/ Disallow: /_next/ # Izinkan Bot Pencari AI (Mendukung GEO - Generative Engine Optimization) User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Applebot-Extended Allow: / # Blokir Scraper Agresif Tanpa Manfaat SEO User-agent: Bytespider Disallow: / User-agent: CCBot Disallow: / Sitemap: https://puluhlabs.com/sitemap.xml
2. Security Headers (next.config.mjs):
// Next.js next.config.mjs Security Headers:
const securityHeaders = [
{
key: 'X-DNS-Prefetch-Control',
value: 'on'
},
{
key: 'Strict-Transport-Security',
value: 'max-age=63072000; includeSubDomains; preload'
},
{
key: 'X-Frame-Options',
value: 'SAMEORIGIN'
},
{
key: 'X-Content-Type-Options',
value: 'nosniff'
},
{
key: 'Referrer-Policy',
value: 'strict-origin-when-cross-origin'
},
{
key: 'Permissions-Policy',
value: 'camera=(), microphone=(), geolocation=()'
}
];