Технологии:
- html, xml, ajax, json, xpath
- многопоточность / multi-threaded
- Python (grab / peewee/ urlparse / faker / six.moves.http_cookiejar / ...)
- PostgreSQL/MySQL (индексы, типы данных)
- Proxy (знание типичных проблем ботов, нюансы и сложности работы через прокси)
- Captcha
Грабер должен запускаться через определенные интервалы времени (можно изменять) анализировать сайты, вытаскивать информацию и вносить все данные в БД. При реализации задачи необходимо предусмотреть работу через прокси.
- Меня интересуют сроки написания и примерная стоимость.
