Разработка приложения по сбору и обработке веб-данных на С#
Приложение состоит из
- front(веб-приложение)
- back-end (серверная часть)
Работать будем над back-end'ом - он состоит из back-офиса и worker'ов.
Задачи back-офиса:
- формировать очередь заданий на сбор данных,
- обрабатывать собранные данные (аггрегировать, мержить из разных источников и прочее),
- отдавать данные на фронт
- выполнять задания, получаемые с фронта.
Worker выполняет задачу из очереди заданий и результаты возвращает в офис/в базу.
Стек: С# + PostgreSQL + Hangfire для организации распределенной работы с очередью заданий.
После тестов под рабочей нагрузкой не исключаем замены БД на Clickhouse и Hangfire как механизма очереди.
Детальное ТЗ есть, простор для творчества и выбора способов решения задач - тоже есть)
Бюджет обсуждаем.