Доучить модель сегментации PVTv2 на датасете CASIAv2
Все это необходимо для того, чтобы получить модель, которая будет способна определять подделки, т.е. сможет находить измененные области на изображениях.
БОЛЕЕ ПОДРОБНОЕ ОПИСАНИЕ:
В данный момент представленная модель обучается и тестируется при помощи файлов .sh, поэтому необходимо переписать обучение и тест в файлы Юпитера, т.е. .ipynb.
Подделки и их маски из датасета отфильтрованы мною, поэтому он полностью готов к работе.
В ходе обучения необходимо поделить датасет на обучающую выборку, валидацию и тест, и, используя предобученные веса, дооучить модель (обучать могу у себя, так как видеокарта позволяет).
После этого нужно построить график обучения, чтобы посмотреть на то, как обучалась модель, затем сохранить полученные после обучения веса, чтобы модель не переучивать при каждом запуске.
Потом идут тесты, то есть прогоняем тестовую выборку через обученную модель, смотрим полученные маски и сравниваем их с изображениями и настоящими масками из датасета, чтобы посмотреть и сравнить визуально то, насколько хорошо обученная модель может определять измененные области.
И еще нужно добавить метрику AUC, которая будет рассчитываться для каждого изображения отдельно (т.е. сравнивается маска из датасета и маска после работы нейронки и если все совпадает, то есть белые области и черные области совпадают, то это 1, если нет, то, соответственно, меньше), а потом берутся все метрики AUC и усредняются, чтобы посмотреть на общий результат по тестовой выборке.
Метрика выбрана не окончательная, поэтому приветствуются предложение более подходящих для этой задачи метрик.
ОБОБЩУ ЗАДАЧУ:
Необходимо взять предобученную PVTv2, доучить ее декодер на датасете CASIAv2, и на тестовой выборке проверить метрику AUC, чтобы понять сможет ли такая модель определять поддельные области, а так же нужно посмотреть на результат визуально, т.е. на маски, которые генерирует нейросеть после обучения.
Все это нужно делать в Юпитере, чтобы удобно было играться с настройками, переучивать и т.п.
ЗАКАЗ СРОЧНЫЙ!
Предложения по стоимости работы и сроках пишите в отклике.