Monitor linków codziennie przeszukuję listę linków (backlinków) podanych przez użytkownika, w celu sprawdzenia czy pod wybranym adresem znajduje się odnośnik do wskazanej domeny. Wydajność? Kilkaset tysięcy linków na jednej instancji crawlera.
Możliwości:
- sprawdzanie czy link istnieje co 24 godziny
- monitorowanie czy link do naszej strony docelowej znajduje się na stronach X, Y, Z
- anchor istniejącego linku
- rel (dofollow, nofollow)
- kiedy był ostatnio widziany
- HTTP status
- wykresy (rozkład rodzaju linków, czy istnieje czy nie, typów domen)