Определение слов-событий в тексте с использованием нейронных сетей

Организация заказчика

ПрессИндекс

Контакты представителя заказчика

Михайлова Анастасия, +7 (343) 345-04-02 (доб. 173), +7(912) 240-89-29

Название

Определение слов-событий в тексте с использованием нейронных сетей

Цель

Разработать систему, способную учитывать контекст при поиске «слов-событий» для исключения ложно-положительных срабатываний

Описание проекта (Проблема)

Существует задача выделения событий из статей новостных источников. Если решать данную задачу применяя простой поиск по словарю, возникает множество ложно-положительных срабатываний, например:

1. «Сегодня в Екатеринбурге произошло ДТП на ул. Малышева»: нужно определить, что событием является аббревиатура «ДТП».

2. «В Екатеринбурге количество ДТП снизилось на 2%» - в данном сообщении «ДТП» не является событием, но поиск по словарю даст положительный результат.

Чтобы повысить качество результата необходимо учитывать контекст, в котором находится каждое конкретное слово.

Размер команды

3-6 человек

Роли и компетенции

1. Менеджер продукта: способность организовать процессы разработки, умение презентовать продукт, умение писать документацию;

2. Специалист Deep Learning: обучение нейронных сетей;

3. Веб-разработчик: навыки программирования на python, знание HTML/CSS;

4. Аналитик: подбор и разметка данных для обучения нейронной сети.

Результат /
Продукт

1. Демо-стенд (веб-сервис), который обладает следующими возможностями:

  a. Через веб-форму вводится текст, в ответ система визуализирует результат работы алгоритма;

  б. Визуализация работы системы на выборке из 1000 предварительно загруженных статей из новостного источника;

2. Техническое описание продукта: принципиальная схема продукта, оценка производительности, оценка качества, оценка перспектив использования.

Предлагаемые подходы к решению проблемы

Предлагается два способа для решения данной задачи:

1. Обучение своей нейронной сети для решения задачи part-of-speech tagging с использование фреймворка PyTorch/TensorFlow;

2. Использование анализатора зависимостей в тексте на базе нейронных сетей (udpipe) с последующей обработкой дерева разбора.