El documento robots.txt es una elemento clave para toda sitio que pretende ser bien indexada por los buscadores como Bing. Opera como el instructivo para los bots, indicándoles qué secciones de https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html