[МФТИ] Transformer: работа с текстом. NLP 2023 (Илья Тихонов)

​
Длительность: 5 часов

Вы научитесь дообучать Трансформеры для типичных задач НЛП, узнаете как устроена архитектура изнутри и современные тренды её развития.

Для кого этот интенсив:
Для тех, кто уже знаком с устройством
и принципом работы нейросетей и хочет расширить свои знания и навыки в работе с Transformer с помощью практических заданий, основанных на реальных примерах

• Дата-сайентисты.
• Инженеры машинного обучения.
• Разработчики.

Трансформеры - это самая продвинутая архитектура в области обработки естественной речи (NLP) на сегодняшний день, и представляют собой тысячи предварительно обученных моделей для выполнения задач в различных модальностях, таких как текст, зрение и звук.
В результате вы:

• Познакомитесь с основными трендами Natural Language Processing (NLP) 2018-2021 годов (все модели из интенсива доступны для дообучения и свободного использования на практике, часть из них предобучена для русского языка).
• Будете разбираться, как устроена архитектура (в теории и на практике) в ее реализации с нуля.
• Научитесь дообучать Трансформеры для типичных задач НЛП.

Программа интенсива:
1 день. Тема 1. Устройство трансформеров и его дообучение.
2 день. Тема 2. Трансформерные архитектуры.