Google opublikowało kod źródłowy parsera robots.txt

1 lipca Google opublikowalo kod odpowiedzialny za parsowanie pliku robots.txt.

https://github.com/google/robotstxt

Zamiescili rowniez wpis informujacy o tym

https://opensource.googleblog.com/2019/07/googles-robotstxt-parser-is-now-open.html

Jak informują, udostępnili również narzędzie, które pozwala testować stworzone reguły. Po “zbudowaniu” wystarczy wykonać polecenie

robots_main <robots.txt content> <user_agent> <url>

You May Also Like

About the Author: Mateusz Dudek

3 Comments

  1. No fajnie ze coraz więcej pokazują 🙂 jednak i tak cała prawda o algorytmach to tajemnica;/ niestety.

    ps. Kiedy jakiś Kursik z JS’a?

    1. W tej chwili nie planuję nowego kursu. Jest ich sporo ale pisz śmiało (e-mail, linkedin) jeśli masz problem z jakimś zagadnieniem, chętnie pomogę 🙂

  2. Coraz więcej odkrywają, to prawda. Niestety podczas wielu hangoutów zaprzeczają pewnym rzeczom, które dla seowców są jasne, przez co wprowadzają bałagan.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *