Google opublikowało kod źródłowy parsera robots.txt

1 lipca Google opublikowalo kod odpowiedzialny za parsowanie pliku robots.txt.

https://github.com/google/robotstxt

Zamiescili rowniez wpis informujacy o tym

https://opensource.googleblog.com/2019/07/googles-robotstxt-parser-is-now-open.html

Jak informują, udostępnili również narzędzie, które pozwala testować stworzone reguły. Po “zbudowaniu” wystarczy wykonać polecenie

robots_main <robots.txt content> <user_agent> <url>

[Głosów:1    Średnia:5/5]

You May Also Like

About the Author: Mateusz Dudek

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *