Поиск оптимальной сегментации

Обзор исследований

Существует ряд работ на английском языке, посвященных влиянию морфологической сегментации арабского текста на результаты статистического машинного перевода. В частности, эта проблема рассматривалась в работе [Mansour, Ney 2012]. Кроме того, похожей целью в своем исследовании задавались [Habash, Sadat 2006]. Влияние сегментации и удаления некоторых морфем изучалось в [Zollmann, Venugopal, Vogel 2006]. Помимо этого, сегментацию арабского текста при англо-арабском переводе успешно применяли [Badr, Zbib, Glass 2008], [Al-Haj, Lavie 2010], что также может свидетельствовать о возможной пользе такой меры и при переводе на арабский язык.

Способы сегментации

Для того, чтобы улучшить качество перевода, часто бывает целесообразно провести предобработку текста на исходном языке. Примером такой преобработки может служить изменение порядка слов в предложении, разделение слов на более мелкие единицы, замена поверхностных форм морфем или словоформ на глубинные формы либо тэги, добавление частеречной разметки. В этой работе мы в первую очередь сосредоточимся на сегментации арабского текста.

Идеей, лежащей в основе наших предположений, является тот факт, что при отделении некоторых арабских морфем от остальной части слова будет улучшаться соответствие между арабскими и русскими токенами. Это обосновывается тем, что в арабском языке некоторые части речи фактически «приклеиваются» к другим словам в качестве клитиков. Рассмотрим некоторые случаи подобного соединения слов, сегментация которых может представлять интерес для статистического машинного перевода с арабского на русский.