Разработать многопоточный парсер на Scrapy
Планируемый обьем загрузки: парсинг 9-10 млн товаров в сутки.
Парсер планируется использовать одновременно на 1000- 2000 потоках
Необходимо предусмотреть возможность работы с внешними источниками прокси
Убедительная просьба откликаться на задание, если у вас есть реальный опыт разработки многопоточных парсеров на Scrapy.
Подробное ТЗ, с указанием интернет-магазинов и описанием того какие данные данные собираем вышлю по запросу.
Бюджет- нормальный. Обсуждаем с исполнителем после обсуждения всех деталей ТЗ
Ориентируюсь на срок до 2х недель.