Применение методов машинного обучения к задаче ранжирования текстовых документов

Круатор: Шибаев Вячеслав

Организация заказчика: Université Grenoble Alpes, Франция

Контакты представителя заказчика: Шалаева Вера Александровна

Цель: Задан набор документов. Каждый документ может быть отнесен либо к положительному, либо к отрицательному классу. Цель проекта - предложить метод ранжирования, т.е. определения того, какие из документов релевантны данному запросу, а какие нет, который учитывает изначальную разметку.

Описание проекта: 

Во многих системах поиска информации (почти) идеальное ранжирование документов может быть достигнуто через набор взаимодействий с пользователем. В подобных системах пользователь может либо напрямую разметить некоторые экземпляры как «хорошие» и «плохие» и повторить поиск, либо просто, учтя результаты ранжирования, переформулировать изначальный запрос.

Цель этого проекта заключается в следующем: дан корпус, состоящий из нескольких размеченных документов, которые могут быть как релевантны запросу пользователя, так и не релевантны. Задача заключается в ранжировании всех документов и выборке наиболее релевантных запросов. Затем производится оценка релевантности этих запросов. И на завершающем этапе происходит переранжирование документов с учетом полученной ранее оценки.

Проект будет поделен на две части. Первая часть будет посвящена знакомству с проблемой обучения ранжированию. В рамках этого этапа необходимо будет сделать исчерпывающий обзор самых передовых методов обучения ранжированию как в целом, так и в области обработки естественного языка. Вторая часть будет посвящена решению предложенных практических проблем, возможно с использованием нейронных сетей.

Результат: Предоставить алгоритм обучения, который берет на вход корпус текстов с его частичной разметкой, а на выходе генерирует представления текстов и их ранги, которые соответствуют входной разметке.

Критерии приемки продукта/результат:
- познакомиться с проблемой обучения ранжированию применительно к обработке естественного языка;
- познакомиться с самыми передовыми алгоритмами и быть способным применить их на практике;
- быть способным предложить свои подходы к решению проблемы.

Требования к студентам:
- знание английского на уровне, достаточном для чтения научной литературы, ее обсуждения и написания отчетов;
- базовые знания в машинном обучении;
- знание Python;
- знание LaTeX