Μηχανές αναζήτησης και αρχείο robots.txt

Το robots.txt είναι ένα απλό αρχείο κειμένου που δίνει οδηγίες στους web crawlers για το ποια τμήματα ενός site μπορούν ή δεν μπορούν να ανιχνεύσουν.Είναι χρήσιμο εργαλείο για τη διαχείριση του crawling, αλλά δεν είναι μηχανισμός ασφάλειας και δεν πρέπει να...