123ru.net
Работа
Март
2021

Параллелизация процессов

0
Есть файл содержащий очень длинный список доменов (domain).

https://storage.googleapis.com/for-ula-images/doma...

Нужно пройти по списку и скачать фавиконы (favicon) в максимальном разрешении. Сохранить картинки в папку и потом перекинуть в корзину (google bucket). Часть ссылок битые, приходится ждать тайм аут. Это очень медленно. Надо распараллелить процесс при помощи Apache Beam.

https://colab.research.google.com/github/apache/beam/blob/master/examples/notebooks/get-started/try-apache-beam-py.ipynb

Ожидаем увидеть хорошо документированный, чистый код на коллабе (google collaboratory).

Для выполнения задачи необходим GCP account.








Загрузка...


Губернаторы России
Москва

Собянин открыл физкультурно-оздоровительный комплекс с бассейном в Раменках


Спорт в России и мире
Москва

Федерация бокса России на ВДНХ


Загрузка...

Все новости спорта сегодня


Новости тенниса
Дарья Касаткина

Теннисистка Касаткина отреагировала на высказывания Винер о россиянах


Загрузка...


123ru.net – это самые свежие новости из регионов и со всего мира в прямом эфире 24 часа в сутки 7 дней в неделю на всех языках мира без цензуры и предвзятости редактора. Не новости делают нас, а мы – делаем новости. Наши новости опубликованы живыми людьми в формате онлайн. Вы всегда можете добавить свои новости сиюминутно – здесь и прочитать их тут же и – сейчас в России, в Украине и в мире по темам в режиме 24/7 ежесекундно. А теперь ещё - регионы, Крым, Москва и Россия.


Загрузка...

Загрузка...

Экология в России и мире
Москва

Эксперт Президентской академии в Санкт-Петербурге о возросшем интересе россиян к волонтерству  





Путин в России и мире
Москва

Путин уточнил у Беглова причины снижения популярности Петербурга у туристов


Лукашенко в Беларуси и мире



123ru.netмеждународная интерактивная информационная сеть (ежеминутные новости с ежедневным интелектуальным архивом). Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Ru24.net — облегчённая версия старейшего обозревателя новостей 123ru.net.

Мы не навязываем Вам своё видение, мы даём Вам объективный срез событий дня без цензуры и без купюр. Новости, какие они есть — онлайн (с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии).

123ru.net — живые новости в прямом эфире!

В любую минуту Вы можете добавить свою новость мгновенно — здесь.





Зеленский в Украине и мире
Киев

Киев признал стагнацию ВСУ по всей линии фронта


Навальный в России и мире


Здоровье в России и мире


Частные объявления в Вашем городе, в Вашем регионе и в России






Загрузка...

Загрузка...



Андрей Макаревич

Макаревич ответил на обвинения в отсутствии сочувствия после теракта в "Крокусе"



Москва

Псковичка принимает участие в Кубке России по гребле на байдарках

Друзья 123ru.net


Информационные партнёры 123ru.net



Спонсоры 123ru.net