# Reglas generales User-agent: * # 1) Bloqueos de áreas internas/temporales TYPO3 Disallow: /vendor/typo3/ Disallow: /typo3temp/ Disallow: /uploads/tx_itttnewsextender/ Disallow: /uploads/tx_templavoila/ Disallow: /uploads/tx_thmailformplus/ Disallow: /uploads/tx_ttnews/ # Bloquear recursos privados de extensiones Disallow: /vendor/*/Resources/Private/ # 2) Bloqueos por parámetros/endpoints típicos Disallow: /*?no_cache=* Disallow: /*?type=98* Disallow: /*?type=150* Disallow: /*?type=page_css* Disallow: /*?eID=* # (Si generas feeds con ?type=xxx que SÍ quieres indexar, elimina la línea correspondiente) Allow: /*?type=1533906435 Allow: /*?type=100 Allow: /*?type=110 # 3) Estructuras de ficheros públicos # Fileadmin suele contener medios públicos; bloquea por defecto pero permite lo necesario Disallow: /fileadmin/ Allow: /fileadmin/_migrated/ Allow: /fileadmin/user_upload/ Allow: /fileadmin/_processed_/ Allow: /fileadmin/noticias/ Allow: /fileadmin/redescuelas/ # 4) Permitir assets para renderizado aunque la carpeta madre esté bloqueada Allow: /*.css$ Allow: /*.js$ Allow: /*.mjs$ Allow: /*.woff$ Allow: /*.woff2$ Allow: /*.ttf$ Allow: /*.eot$ Allow: /*.svg$ Allow: /*.gif$ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.png$ Allow: /*.webp$ Allow: /*.avif$ # 5) Permisos explícitos de assets de extensiones comunes (por si se sirven desde /typo3conf/ o /typo3temp/) Allow: /vendor/*/Resources/Public/ Allow: /typo3temp/assets/ Allow: /typo3temp/_processed_/ Allow: /_assets/ #6) Bloquear filtros del buscador y ficheoros json #Disallow: /*tx_solr%5Bfilter%5D* #Disallow: /*tx_solr[filter]* #Disallow: /*tx_solr%5Bq%5D* #Disallow: /*tx_solr[q]* #Disallow: /*tx_solr%5Bsort%5D* #Disallow: /*tx_solr[sort]* Disallow: /*tx_solr%5BreCaptchaResponse%5D* Disallow: /*register-stat/show/cookieStats.json # Reglas para crawlers de IA User-agent: ClaudeBot Crawl-delay: 1 User-agent: * Crawl-delay: 10