Консультация и настройка демо-примера Airflow/PostgreSQL/Python
- Для описанной ниже прикладной задачи – объяснить, в чем отличия и преимущества Airflow по сравнению с BPMS (например, Camunda)? Если они есть. Или оптимально вообще использовать какое-то другое open-source ПО?
- Развернуть на виртуальной машине в Яндекс облаке Airflow и PostgreSQL. Создать таблицы в PostgreSQL.
- Настроить запуск «учебного» расчетного скрипта (use case 1 из прилагаемого документа).
- Дать инструкцию, как мониторить выполнение данных задач в Airflow.
- Проконсультировать, как реализовать в Airflow расчет накопленных с начала месяца значений (каждые сутки по всем параметрам поступают извне и затем, возможно, корректируются вручную значение, ручная корректировка может происходить на любые даты в прошлом в границах года). Необходимо по факту изменения значения максимально оперативно (для последующего оперативного отображения в интерфейсе пользователя) рассчитывать/пересчитывать и сохранять в БД суммы – накопленные с начала месяца значения, на каждые сутки с начала месяца до текущего дня.
Описание прикладной задачи:
Есть порядка 50 отчетов, формируемых каждые сутки. Каждый из них содержит порядка 100 строк. Значения 70 строк из каждых 100 – поступают извне, в виде набора данных, и попадают в общую таблицу БД. Значения оставшихся 30 строк – формируются по алгоритму на основе простых арифметических операций. В качестве исходных данных используются поступившие значения, а также другие хранящиеся в БД значения.
Идентификация выполняется по символьным кодам.
То есть задача – иметь БД и рядом некую «машину вычислений».
См. прилагаемый документ для более детального описания.
Для создания учебного примера небольшой набор тестовых данных будет предоставлен в Excel: три отчета по 15 строк, три набора входных данных по 10 строк…
Цена договорная - в отклике, пожалуйста, укажите как желаемую оплату, так и оценку трудозатрат.