Documentos de Académico
Documentos de Profesional
Documentos de Cultura
-Protocolo HTTP
-Cronología con años de todos los html y quien hizo cada estándar w3c
Whatwg
HTML
Pagina web simple con hosting gratuito, actividad
2.8, google serach console etiqueta (meta)
desindexar carpeta raíz (comando disallow)
Ejemplos:
User-agent:*
Allow: /
Permite a toos los buscadores indexar todas las paginas, seria
equivalente a no crear el archivo
User-agent: *
Disallow
Lo mismo que el anterior.
User-agent: *
Disallow: /imágenes/
Disallow:/js/
Impide a todos los buscadores indexar los directorios: imágenes y js.
User-agent:n/
User-agent: googlebot
Disallow: /
Allow: public
Impide a todos los robot indexar todas las carpetas y permite al robot
googlebot indexar solamente en el directorio /public