Skip to content

Latest commit

 

History

History
139 lines (90 loc) · 5.95 KB

TASKS.md

File metadata and controls

139 lines (90 loc) · 5.95 KB
Raw

WeekTasks

30.09

Отримати векторні репрезентації зображень COCO 2017 train dataset за допомогою нейронної мережі (Inception V3, ResNet).

Написати консольну програму search.py з наступним інтерфейсом:

python search.py path n

де path - шлях до зображення, n - кількість найближчих сусідів.

Результатом роботи програми є список з n шляхів до зображень з COCO train 2017, відсортованих за спаданням близькості візуальних ознак із зображенням path.

01.10

Повторити попередню задачу, використовуючи індекс векторів.

Зменшити розмірність векторів до 3, зробити візуалізацію у Tensorboard.

Задачі на тиждень 02.10 - 06.10

Розробити систему пошуку та класифікації зображень на одному з датасетів autoria або classifieds. На вхід системи подається зображення path, на виході отримується клас та n найближчих сусідів з обраного датасету:

python search.py path n

Пошук має відбуватись за допомогою індексу.

Програма test.py створює файл test.txt з результатами класифікації зображень classifieds/test/ у форматі:

path1 class_no_1
path2 class_no_2
...

Задача із зірочкою. Датасет classifieds далекий від ідеального. Деякі класи можуть перетинатись, кількість файлів у кожному класі різна. Необхідно обчислити confusion matrix, об'єднати класи та перетренувати модель для досягення вищої точності класифікації.

07.10

Тренування segmentation моделей на COCO.

Використовуючи датасет portraits, натренувати модель, яка буде вирізати обличчя людини з селфі.

Ваги ResNet50: /mnt/course/weights/pretrained.h5.

Ідея для data augmentation: використовуючи маску, заповнити випадковий фон.

Задача із зірочкою. Зробити максимально швидку модель.

08.10

Тренування detection моделей на COCO датасеті.

Одночасний detection+segmentation на COCO датасеті.

Задачі на тиждень 09.10 - 13.10

Чотири рівні складності:

  1. Segmentation mask на MatterPort3D датасеті.

  2. Segmentation + depth map на MatterPort3D датасеті.

  3. Segmentation + depth map + object detection на MatterPort3D датасеті.

  4. Задача з двома зірочками: портувати будь-яку з моделей, які розглядались на попередніх заняттях, на Android/iOS.

14.10

  1. Повторити модель char-rnn на словнику української мови week3/ukrlit/. Генерувати текст.

  2. Повторити модель char-rnn, використовуючи слова замість символів: передбачати наступне слово послідовності, а не символ. Генерувати текст.

15.10

  1. Image captioning на COCO датасеті.

Задачі на тиждень 16.10 - 20.10

Використовуючи датасет facs (Facial Action Coding System), натренувати мережу, яка за послідовністю зображень обличчя людини images прогнозує емоції emotions та набір мікровиразів обличчя labels (action units, AU).

Підказка: для отримання ключових точок обличчя використовуйте бібліотеку dlib, для отримання ознак - натреновану на обличчях нейромережу vggFace.

sudo pip install dlib
sudo pip install keras_vggface

21.10

Модифікувати приклад week4/gan1/gan_mnist.py, реалізувати InfoGAN на MNIST датасеті.

22.10

Зробити InfoGAN для датасету icons.

Задачі на тиждень 23.10 - 27.10

На вибір:

  1. Реалізувати один з варіантів BEGAN моделі для генерації зображень (обличчя людей, fashion).

  2. Відновлювати зображення з скетчу (див. Holistic Edge Detection).

  3. Задача з двома зірочками: ретуш для датасету retouch методом GAN.

28.10

Використовуючи датасет datasets/nlp/focus/, зробити автоенкодер текстових документів: на вхід береться перша половина документа, на вихід - друга.

29.10

На датасеті datasets/nlp/subs/en зробити word2vec модель по роках 1950-1954, 1951-1955 і т.д. Для кожної моделі зробити tsne, спроектувати word-вектори на тривимірний простір. Зобразити тривимірні проекції за допомогою UI.