Написать часть для парсера для работы с потоками (cpr и clickhouse C+)
Необходимо написать отдельные файлы с логикой для пула с потоками (использовать оптимальное количество потоков) или/и использовать async для парсинга данных. Есть несколько нюансов:
1. Предметов, которые нужно парсить 652
2. Записей всего выйдет около 27млн, на один предмет может приходиться до 7 млн записей. То есть количество данных огромное
3. Не смотря на огромное количество данных, есть проблемы api с которым работаем: нельзя получить больше 200 предметов, а также нельзя делать слишком много запросов. В хедере ответа приходят:
скрин запроса + хедеры
количество оставшихся, время когда восстановятся все запросы. При запуске многопотока надо это учитывать и нет смысла запускать слишком много потоков, когда x-ratelimit-remaining = 0, то запросы отправленные после этого получают 429 ошибку.
4. Сущность client для работы с базой данных -- не потокобезопасна, поэтому работа в отдельных самое то
5. Токен рефрешить нельзя (плодить много запрещено)
Цены предлагайте, по времени: желательно до вс, если сможете сегодня -- очень круто