User-agent: * Disallow: /admin/ Allow: / # Huom: yksityiset/toiminnalliset sivut (haku, profiili, tili, asetukset, suosikit, # media, chatbox jne.) ohjataan pois indeksista sivukohtaisella -tagilla (pg_seo_settings.noindex=1), EI Disallowilla. # Disallow estaisi crawlaamisen -> Google ei nakisi noindex-tagia. Julkiset # sisalto-/lakisivut (/content/*) ja uutiset (/news/*) jatetaan crawlattaviksi. # --- AI & Search Crawlers --- User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Google-Extended Allow: / User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: anthropic-ai Allow: / User-agent: CCBot Allow: / User-agent: Bingbot Allow: / User-agent: Applebot Allow: / # --- Optional: Block heavy SEO crawlers --- User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: /