# robots.txt dinámico — generado por DefaultController::robotsAction # Bloquea áreas privadas, endpoints internos y URLs con parámetros de tracking # que solo generan duplicados sin valor SEO. User-agent: * Allow: / # --- Áreas administrativas y privadas --- Disallow: /admin/ Disallow: /admin Disallow: /perf/ Disallow: /cliente/admin Disallow: /cliente-lista-new # --- Auth / registro / flows internos --- Disallow: /usuario/authenticate Disallow: /usuario/check-registered Disallow: /usuario/reset-registered Disallow: /usuario/desactivar Disallow: /usuario/preregistro Disallow: /connect/ # /login y /resetting NO se bloquean aquí a propósito: emiten X-Robots-Tag: # noindex (ver NoindexListener). Bloquearlas en robots impediría que Google # leyera el noindex y las dejaría indexadas igual (link-only) → aviso GSC # "Indexado aunque robots.txt lo bloqueaba". Deben quedar rastreables para # des-indexarse. # --- Carrito / checkout / pago --- Disallow: /item/ Disallow: /pago/ Disallow: /oneclick/ Disallow: /webpay/ # --- Endpoints JSON / internos --- Disallow: /check/email Disallow: /check/rut Disallow: /api/ Disallow: /js/routing Disallow: /qr-code/ # /actividad/lista-content/ NO se bloquea aquí a propósito: emite X-Robots-Tag: noindex # (es un fragmento AJAX sin ). Bloquearlo en robots impediría que Google leyera el # noindex y la dejaría indexada igual (link-only). Debe quedar rastreable para des-indexarse. Disallow: /actividad-evento/select Disallow: /actividad-evento/proveedor/ Disallow: /feed/ # --- Generación de imágenes Liip (no aporta SEO directo) --- Disallow: /media/cache/resolve/ # --- URLs con parámetros de tracking --- # NO se bloquean: cada página con ?utm_/fbclid/gclid/etc. emite un a su URL limpia (ver actividadEvento/verNuevo.html.twig y # base.html.twig). Bloquearlas en robots impedía que Google rastreara la # variante, leyera el canonical y la consolidara → las indexaba "a ciegas" # (link-only) generando el aviso GSC "Indexado aunque robots.txt lo bloqueaba" # sobre fichas que SÍ queremos indexar. Dejarlas rastreables permite la # consolidación por canonical. # --- Bots agresivos (limitar carga) --- User-agent: AhrefsBot Crawl-delay: 10 User-agent: SemrushBot Crawl-delay: 10 User-agent: MJ12bot Crawl-delay: 10 Sitemap: https://elranchoproducciones.cl/sitemap.xml