Разработка алгоритма автоматического объединения исторических записей

Организация заказчика

Институт истории и археологии УрО РАН, Екатеринбург

Контакты представителя заказчика

Доктор исторических наук, Елена Михайловна Главацкая

Название

Разработка алгоритма автоматического объединения исторических записей

Цель

Целью проекта является разработка метода автоматического распознавания текста с помощью методов глубокого обучения. Кроме того, планируется разработка алгоритма объединения записей из разных исторических источников об одном и том же человеке

Описание проекта (Проблема)

Исследователями-историками из Институт истории и археологии УрО РАН был собран обширный набор данных, содержащий записи о людях, проживавших на Урале с конца 19 по начало 20 века. Трудность с их обработкой заключается, с одной стороны, в распознавании рукописного и машинописного текста на страрорусской кириллице, а с другой стороны, в поиске записей об одном и том же человеке. В рамках этой работы планируется решить эти проблемы.

Размер команды

от 10 человек

Роли и компетенции

• программист DataScience - 3 человека - знание Python, базовые знания в обработке изображений, умение работать с библиотеками TensorFlow или PyTorch, OpenCV, Pandas (не обязательно, но будет плюсом)
• Программист, разработчик алгоритмов - 2 человека- знание Python
• разметчик данных - от 5 человек - внимательность, усидчивость, готовность работать с рутинными задачами

Результат /
Продукт

Результатом проекта должны стать:

1. модель, на вход которой подается изображение с текстом, а на выходе получается распознанный текст, точность распознавания текста должна быть не менее 90%;
2. алгоритм связывания записей, на вход которому подается набор записей о людях. Алгоритм должен производить группировку записей, таким образом, чтобы записи об одном и том же человеке попадали в одну группу.

Предлагаемые подходы к решению проблемы

Для создания системы автоматического распознавания текста необходимо будет подготовить набор данных, который будет использован при обучении моделей. Кроме того, для проверки качества связывания записей требуется разработать датасет, содержащий связанные вручную данные.
Помимо деятельности, направленной на создание датасетов, необходимо разработать модель автоматической сегментации текста и алгоритм связывания записей. Для этого планируется использовать сверточные и рекуррентные нейронные сети.