Разработка: опрос очереди сообщений и сохранение их в Data Lake
Входные данные - очередь сообщение в облаке которую требуется опрашивать (несколько тысяч новых сообщений в секунду) и сохранять данные в Data Lake. Технический стек - облако Azure ( Event Hub, Azure Data Lake ), Java ( можно использовать Databricks фреймворки ). Схема данных в очереди не меняется, ее можно держать в коде, unit-test не нужно, сборка - maven