Написать скрипт для парсинга объявлений Яндекс Директ

21.08.2017 23:12

«Фрилансим»

Требуется написать скрипт на языке PHP или PERL для парсинга результатов выдачи Яндекс Директ.

Входные данные:

Список ключевых запросов в параметре скрипта, например script.php "пластиковые окна" "пластиковые двери" -o results.csv ИЛИ текстовый файл со списком ключевых запросов, гдде каждый запрос указан с новой строки script.php -f keywords.txt -o results.csv

Логика работы скрипта:

По каждому ключевому запросу скрипт открывает страницу вида https://direct.yandex.ru/search?text=пластиковы...
Для каждого из результатов поиска скрипт открывает виртуальную визитку (ссылка "адрес и телефон") и парсит от туда заголовок объявления, текст объявления, отображаемую ссылку, название компании, телефон, адрес, e-mail, описание компании (некоторые поля могут быть не заполнены). Из всех полей на всякий случай убираем символы перевода на новую строку.
Если результаты не помещаются на одной странице и присутствует пэйджинация, скрипт обрабатывает все страницы с результатами поиска.
Между открытиями страниц должна быть предусмотрена настраиваемая внутри скрипта задержка, по умолчанию 5 секунд. После открытия каждой страницы должен выводиться прогресс на экран отрисовкой символа "."

Результаты работы скрипта:

Скрипт должен формировать *.csv файл с результатами парсинга. Файл желательно открывать на запись и закрывать (fopen/fclose) перед каждым веб-запросом, чтобы его можно было в любой момент просмотреть.

Загрузка...

Частные объявления в Вашем городе, в Вашем регионе и в России