Моделирование орфографии якутского языка и разработка комплекса программ для проверки правописания якутских текстов в среде WINDOWS

Актуальность проблемы.

Язык народа саха (якутский) является одним из древнейших живых языков, прошедших своеобразный путь развития в условиях почти полной изоляции от других тюркских языков. Своеобразный, почти не тронутый влиянием других языков, он привлекал внимание исследователей с давних пор. Можно назвать имена выдающихся исследователей первой половины XIX века: В. Шотт, О. Бётлингк, В. Радлов, В. Ястремский, Э. Пекарский. В знаменитых экспедициях Императорской Академии наук, возглавляемых академиком О. Н. Бётлингком, в достаточной мере исследовались фонетика, морфология и лексика языка саха. Наиболее полное исследование якутского языка проводили политические ссыльные В. М. Ионов, С. В. Ястремский, Э. К. Пекарский, труды которых востребованы и поныне [1].

Работы по установлению нормативной лексики якутского языка (выделение из различных диалектов [2, 3]), по детальному исследованию грамматики проводились только в советское время специалистами Института языка, литературы и истории Якутского филиала Сибирского отделения Академии Наук СССР и отдельными специалистами Якутского государственного университета [4−11]. Синтетический якутский язык, обладая минимальным количеством корневых слов, может тем не менее, благодаря большому количеству аффиксов (от 3000 до 6000 окончаний), образовывать огромное количество лексем (около 50 000 000 словоформ), не имеющих аналогов в русском языке. В силу этого не только в Якутии, но и в других тюркоязычных республиках не было автоматической проверки орфографии текстов, набранных на электронно-вычислительной машине (ЭВМ).

Первая версия программы Sakha Orthography была создана автором настоящей работы в 1998 г., (см. газету Якутия № 87 от 16 мая 1998 г.). Из-за отсутствия тогда спонсоров (регистрационный взнос с учётом патентной экспертизы составлял 10 000 руб.) и замораживания финансовых обязательств РФФИ из-за обвала национальной денежной единицы России программа была зарегистрирована в Международном реестре авторских прав только в 2001 г.

В 2002 г. в Башкортостане Институт языка и литературы совместно с московской фирмой «Арсеналъ» создали локализованную на башкирский язык версию «Лексикона», выполняющую орфографическую проверку башкирских текстов. Сейчас ведутся работы для MSWord. В том же году в Татарстане Научно — исследовательская лаборатория «Проблемы искусственного интеллекта» Академии наук Татарстана и Казанский государственный университет совместно создали программу «WordCorr» с объёмом более 2500 корневых слов и объёмом файла около 1 мВ, но уже в «теле» MSWord.

Указом Президента Азербайджанской республики от 16 января 2003 г. в статье № 13 указывается о создании орфографического и орфоэпического словарей для азербайджанского языка, а статья № 18 обязывает их исполнение средствами электронной массовой информации.

Постановлением Правительства Республики Алтай № 331 от 30 ноября 2001 г. Республиканская целевая программа «Электронный Алтай на 2002 + 2007 гг. на третьем этапе (2007г.) предусматривает заказ на разработку программы по электронной проверке орфографии алтайского языка.

Решением Государственного комитета по науке и технике Республики Узбекистан коллектив под руководством Георгия Галахова и Анвара Нуриева награжден Государственной премией за создание «программы проверки орфографии узбекского языка в программном обеспечении Microsoft». Создатели этой программы в 2003 г. получили Авторское свидетельство на «Программу проверки орфографии узбекского языка».

Наиболее близким по уровню разработки является компьютерная программа проверки орфографии текста на казахском языке группы разработчиков KazSpelling vl.0, (Казахский национальный университет имени Аль — Фараби и фирма SanaSoft), выполнивших работу по заказу Министерства культуры, информации и общественного согласия Республики Казахстан. Работа выполнялась по Постановлению Правительства Республики Казахстан № 1793 от 1 декабря 2001 г. согласно Указу Президента Республики «О государственной программе функционирования и развития языков на 2001 и 2010 годы» и была закончена в 2003 г. Программа KazSpelling vl. O имеет словарную базу данных на 4 500 000 словоформ.

Безусловно, есть республики, автономные тюркоязычные образования, не имеющие государственной поддержки на автоматизацию, и работы по ним не ведутся (Туркменистан, Киргизия, Чувашия и др.).

Индоевропейские программы по проверке орфографии текста содержат в базе данных эталонные слова в разложенном виде (представляющие одномерный массив). Наиболее распространенным и сложным по грамматике является русский язык, имеющий безличные глаголы, глаголы употребляемые только в третьем лице, существительных используемых исключительно в единственном или во множественном числе, несклоняемых существительных, а также отсутствие в русском языке единого правила перехода глаголов из несовершенной формы в совершенную и наличие других отступлений от общих правил приводит к преимуществу одномерного массива данных для программы проверки орфографии текста на русском языке.

К сожалению, из-за постоянной нехватки финансовых ресурсов словари якутского языка, выпущенные в советское время, не обновлялись и морально устарели [12]. Наиболее известный орфографический словарь [13] имеет 10 163 слов. Для решения этой проблемы необходимо было рассмотреть весь лексический запас современных якутских литературных произведений [14−39] и сравнить их с имеющимися словарями. Кроме того, по результатам выборочных проверок оказалось, что в имеющихся словарях отсутствуют многие обиходные слова и фразеологические конструкции. В целом задача усложнилась тем, что для наиболее полного решения вопроса по орфографии необходимо было создать существенно обновлённый в отношении лексики якутский компьютерный словарь, содержащий атрибуты правил склонения и указателей частей речи, которым принадлежит каждое слово в отдельности [40−49].

В настоящее время нет специальной литературы, имеющей полный перечень аффиксов к частям речи, особенно по побудительным фразам, хотя глаголы изучены достаточно подробно разными исследователями[4−9]. Для решения этой задачи в настоящей работе систематизированы все имеющиеся работы филологов. Для учёта возможных комбинаций аффиксов потребовалось создать специальную электронную библиотеку форм побуждений, образования наречий, притяжательных форм, а также отдельную библиотеку аффиксов к частям речи.

Выбор модели и алгоритма автоматической проверки орфографии текста на якутском языке значительно упрощается тем, что в якутских словах нет префиксов. Кроме того, наличие в якутской фонетике простейшего правила, согласно которому любое слово может иметь гласные только заднего ряда (а, аа, ы, ыы, ыа, у, уу, уо, о, оо), или только переднего ряда (и, ии, э, ээ, иэ, у> уу5 Y0j е> ©-е)> также упрощает алгоритм. В свою очередь, каждый ряд образует по три группы правил склонения слов. Исключение составляют неологизмы, склонение которых зависит от конкретного слова.

Морфология якутского языка заключается в агглютинативном (прилепляющемся) принципе. Все основные значения якутских слов выражаются с помощью аффиксов. Учитывая то, что проверка орфографии заключается в сравнении проверяемого слова с эталонным словом, рационально хранение эталонного слова в особо сложенном виде — виде базы данных со связанными таблицами.

Следовательно наиболее подходящей моделью орфографии якутского языка является идентификационная сложная числовая функция связанных таблиц базы данных (иными словами совокупность абстрактных машинных правил), однозначно определяющая эталонное описание всех доступных аффиксов к любому корневому слову для дальнейшего составления числовых функций с четырьмя аргументами [40−49]. Алгоритм проверки орфографии сводится к поиску корневого слова, а затем продуктивного и завершающего смысл сказанного разрешённых аффиксов по машинным правилам модели. Значения этих аффиксов зависят от последних букв корневого слова, которые при склонении могут изменяться (ассимилироваться). Поэтому эталонный словарь должен иметь под одним номером два значения: собственно словарное слово и его неизменяемое (действительное) значение.

Для обеспечения максимальной скорости поиска эталонных слов словарь разбит на восемь примерно одинаковых групп. Минимизация по использованию оперативной памяти ЭВМ достигается применением SQLзапросов (Structured Query Language). Алгоритм учитывает работу программы в среде наиболее известной в мире программы Microsoft Office в многоязыковом режиме.

Целью работы является создание программы для ЭВМ по автоматической проверке орфографии текстов на якутском языке, доступной среде Microsoft Office и совместимой с используемыми по умолчанию программами по проверке орфографии английского и русского текстов. Для достижения указанной цели были поставлены и решены следующие задачи:

1. Разработка модели склонения якутского языка в виде базы данных с четырьмя связанными таблицами, составление числовых функций изменения корневых слов по абстрактным машинным правилам, однозначно объединяющие грамматические аксиомы и правила.

2. Составление специального электронного якутского орфографического словаря объёмом 15 442 слова с атрибутами правил склонения слов и указателем части речи, которой они принадлежат.

3. Составление специальных библиотек аффиксов по существительным, глаголам, наречиям, притяжательным формам имён существительных и прилагательных представляющих аргументы числовых функций, а также по формам побуждений, и составление таблиц грамматических запретов.

4. Разработка алгоритма проверки орфографии и написание программ на алгоритмическом языке Visual Basic.

5. Разработка программы связи с текстовой программой Microsoft Word и её приложениями по проверке орфографии текстов на английском и русском языках.

Научная новизна.

Разработана модель склонения якутского языка в виде базы данных с четырьмя связанными таблицами, составлены числовые функции изменения корневых слов по абстрактным машинным правилам, однозначно объединяющие грамматические аксиомы и правила. Показана применимость объектной методологии к описанию грамматики якутского языка. Унификация машинных правил модели по шести правилам склонения позволяет упростить математическое описание синтаксиса якутского языка, что важно для смыслового перевода с якутского языка на другой язык [49] и проверки грамматики в целом.

Практические результаты.

Впервые в России разработана программа для ЭВМ, способная проверить около пятидесяти миллионов комбинаций спряжения 15 442 слов якутского языка, работающая совместно с программами по проверке орфографии текстов на английском и русском языках.

Впервые составлена сводная таблица всех глагольных (побудительных), завершающих смысл сказанного аффиксов якутского языка (аргументов числовых функций) и создан обновленный электронный орфографический словарь.

Основные положения, выносимые на защиту:

— модель представления эталонных якутских словоформ и числовые функции их склонения по абстрактным машинным правилам, состоящая из четырёх связанных таблиц базы данных, для проведения орфографии текстов на якутском языке,.

— якутский электронный орфографический словарь на 15 442 слова,.

— полная электронная библиотека глагольных аффиксов и методов побуждений языка саха, представляющих аргументы числовых функций модели,.

— алгоритм проверки орфографии текстов на якутском языке и совместная его работа с приложениями Microsoft Word по проверке орфографии текстов на английском и русском языках,.

— программное обеспечение проверки орфографии якутских текстов.

Практическая ценность.

Разработанная программа полезна для различных издательств, образовательных учреждений и для тех, кто готовит материалы на языке народа саха. В рамках освоения и внедрения данной программы Министерством образования Республики Саха (Якутия) проведена экспертиза и принято решение о ходатайстве перед Правительством Республики Саха (Якутия) о закупке программы для распространения среди общеобразовательных школ республики.

Личный вклад автора.

Содержанием диссертации являются многолетние исследования автора в области анализа, систематизации якутского языка с точки зрения моделирования и автоматизации проверки орфографии, составления сводной таблицы аффиксов. Создан якутский электронный орфографический словарь на 15 442 слов. Разработана модель склонения якутского языка из 78 машинных правил для наиболее быстрого принятия решения о правильности написания текста. Разработан алгоритм и создана компьютерная программа проверки орфографии текста на якутском языке.

Апробация работы.

Основные результаты докладывались на семинарах Института гуманитарных исследований Академии Наук РС (Я) (г.Якутск, 1998, 2000, 2001 гг.), Всероссийской конференции «Космои геофизические явления и их математические модели» посвященной 80-летию профессора А. И. Кузьмина (г.Якутск, 2002 г.), Четвёртой Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» (г.Дубна, 2002 г.), 2-й Республиканской научно-практической конференция «Информационные технологии в науке, образовании и экономике» (г.Якутск, 2003 г.), Европейской конференции «Philological Disciplines and Digital Technology» (г.Пиза, Италия 2003 г.).

Публикации. Основные результаты опубликованы в четырёх статьях и защищены четырьмя Авторскими свидетельствами об официальной регистрации в Международном реестре программ для ЭВМ. Российский Фонд Фундаментальных Исследований (РФФИ) дважды поддерживал эту работу трёхлетним грантом. Согласно «Положению РФФИ» каждый год представлялся отчёт о проведённой работе. Отчёты РФФИ автор имеет право самостоятельно публиковать в печатной и электронной формах.

Структура и объём работы.

Диссертация состоит из введения, четырёх глав, заключения, списка работ автора по теме диссертации и списка используемой литературы из 81 названия. Общий объём — 140 страниц, включая 9 рисунков, 8 таблиц и 5 копий документов.

ЗАКЛЮЧЕНИЕ

Научный результат диссертационной работы:

Разработана модель, состоящая из четырёх связанных таблиц базы данных, составлены числовые функции изменения корневых слов по абстрактным машинным правилам, однозначно описывающим эталонное значение корневых слов при любых их склонениях для проведения орфографии текстов на якутском языке, показана применимость объектной методологии к описанию грамматики якутского языка. Практические результаты диссертационной работы:

1. Создан впервые обновлённый электронный орфографический словарь якутского языка объёмом 15 442 слова.

2. Создана впервые полная электронная библиотека аффиксов для якутских слов, соответствующих любой части речи представляющих аргументы числовых функций модели.

3. Разработан впервые комплекс программ в среде Microsoft Windows, проверяющий орфографию якутского (тюркоязычного) текста при любых включениях английского или русского текстов объёмом 72,9 Mb.

Разработанный комплекс программ полностью совместим с Microsoft Office и может быть вызван любой программой работающей в среде Microsoft Windows и её приложениями по проверке орфографии текстов в других национальных языках, начиная с версии Windows 9х, Me, 2000. Алгоритм и коды можно использовать при разработке программы по орфографии для любого тюркского языка.

Выражаю добрую память о моём учителе докторе физико — математических наук, профессоре Юрии Георгиевиче Шафере.

За постоянную помощь благодарю доктора филологических наук, профессора Евдокию Иннокентьевну Коркиной.

Отдельно благодарю кандидата физико — математических наук Галину Васильевну Шафер.