robots.txt
Suchmaschinen schicken Suchroboter durch das Internet, um neue und bestehende Webseiten zu durchsuchen und (neu) zu bewerten. Diese Suchroboter werden auch Crawler, Spider oder Bots genannt. Da es aber weltweit sehr viele Webseiten gibt, und täglich Unmengen neuer Webseiten hinzukommen, ist es für die Betreiber der Suchmaschinen sehr aufwändig alle diese Webseiten zu besuchen und … Weiterlesen …