Bigdata проанализировать большой объем данных и найти схожие записи
~170 млн записей
Данные можно получить в двух вариантах
Либо одним большим .csv файлом на 15гб
Либо те же самые данные, но разбитые на более маленькие .csv файлы (~1000 файлов всего )
Условно говоря каждая запись или строка - это некая финансовая транзакция, у нее есть 11 параметров (адрес отправителя, получателя, время, cсумма, валюта и тп)
Нужно эти данные проанализировать и выявить схожие паттерны,
Чтобы понять какие из транзакций используют похожие алгоритмы, а значит совершены предположительно одной и той же группой лиц, например похожи суммы, время отправки, валюты и тп
Бюджет 3-5к если больше хотите - говорите
Напишите пожалуйста про опыт с такими вещами
И если дочитали до конца напишите слово "паттерн" чтобы понять что не автооткик
И напишите пожалуйста есть ли основная работа чтобы загруженность понимать