Синтез визуальных объектов по естественно-языковому описанию

Рассматриваются вопросы синтеза визуальных объектов по описанию на предметно-ориентированном естественном языке. Инструментальный уровень визуализации объектов включает компилятор с языка представления (реализован на Паскале), а на завершающем этапе используются возможности графической библиотеки OPENGL. Дается схема лингвистического анализа, включающая грамматический анализ, семантическую интерпретацию и семантический анализ. Приводится пример, иллюстрирующий ЕЯ-описание конструкции, текст на языке представления объектов и статическую визуализацию. Рассматриваются возможности использования проведенных исследований для целей автоматизированного сурдоперпевода и генерации реальных конструкций по тексту технического задания.

There are considering questions of visual object synthesis on description on objective-oriented natural language. Instrumental level of the object visualization include compiler with presentation language, and be used possibility graphical library OPENGL. It is given scheme of the linguistic analysis, including grammatical analysis, semantic interpretation and semantic analysis. It is supply example, illustrating NL-description of the design, text in terms of object presentation and static visualization. There are considering availabilities carry out investigations of automated surdo-translation and of generation of the real designs on text of the requirements specification.

Интеграция уже созданных систем искусственного интеллекта (ИИ) в единую систему является одной из наиболее значимых проблем в данной области. В качестве базы интеграции обычно рассматривается система представления знаний, позволяющая на едином концептуальном уровне описать и обеспечить взаимодействие разномодальных систем [1]. Одним из важных компонентов интегрированной системы является возможность синтеза визуальных объектов по их естественно-языковому описанию. Данная работа посвящена вопросам создания такого компонента на базе онтологического описания как знаний о естественном языке, так и специфических знаний о визуальных объектах.

Общая проблема интеграции программных систем предлагает ряд решений для объединения изолированных систем на едином уровне (интероперабельность, cпецификация CORBA [2]). Со стороны баз данных развивался подход к интеграции систем на основе концептуальной схемы, реализуемой в виде семантической сети или формул логических предикатов. В последнее время активно разрабатываются решения на основе сервис-ориентированной архитектуры СОА [3]. Однако все эти решения либо ориентированы в большей степени на интеграцию данных, либо не отвечают современным требованиям к семантической интеграции в системах искусственного интеллекта. В число таких требований входит широкий диапазон представления разномодальных знаний с ориентацией на функционирование: в многоагентых системах [4]; в системах структуризации текстов из Интернет [5]; в интеллектуальных мехатронных системах [6]; в системах виртуального прототипирования.

В данной работе исследуются возможности разработки и программного воплощения одной из компонент системы, ориентированной на удовлетворение ряда существенных требований к современной семантической интеграции.

Целью работы в рамках вышеприведенной проблемы является развитие подхода, намеченного в работе [7], в направлении синтеза визуальных объектов по описанию на предметно-ориентированном естественном языке.

Язык описания и визуализация объектов. Формальное описание визуализируемых объектов выполняется на предложенном языке, позволяющем на достаточно высоком уровне задавать объекты, отношения между объектами и свойства объектов/отношений. Для предложенного языка разработан и реализован компилятор, результат компиляции визуализируется. Тестирование возможностей описания и визуализации выполнялось на объектах, имитирующих космическую станцию (арматура, солнечные панели, цистерны и т. п.).

Далее язык будет условно называться «3-D_КВ», поскольку для удобства тестирования была реализована диалоговая программа «Космическая верфь», позволяющая формировать допустимые конструкции из основных объектов. Язык является расширяемым в том смысле, что добавление новых объектов и свойств не затрагивает основных механизмов трансляции и визуализации.

Инструментальный уровень реализации: компилятор с языка реализован на Паскале, на завершающем этапе для визуализации используются возможности графической библиотеки OPENGL. Возможности расширения и совершенствования языка 3-D_КВ являются направлением дальнейших исследований.

Организация онтологии. Онтологическое представление визуализируемых объектов базируется на языке представления знаний (ЯПЗ), позволяющем описывать сущности с помощью структурированной семантической сети и гиперграфов [1]. На этом языке описываются как предметные сущности (визуалиризуемые объекты), так и результаты лингвистической трансляции, описывающих эти сущности. ЯПЗ ориентирован на представление, как конкретных знаний, так и концептов максимально высокого уровня. Детальная характеристика ЯПЗ в рамках данной работы не рассматривается.

Механизмы работы с онтологией позволяют описать в предметно-ориентированной онтологии визуализируемые объекты с учетом наследования свойств, корректности устанавливаемых между объектами отношений и т. д. Кроме того механизмы онтологии осуществляют разнонаправленную трансляцию знаний между подсистемами на высоком концептуальном уровне, что и обеспечивает основу для полноценной интеграции. Инструментальный уровень реализации онтологии — язык 4 GL для СУБД Progress.

Интегрированная система. Интегрированная система в широком понимании описана в [1], в данной работе исследовались возможности синтеза визуальных объектов по естественно-языковому описанию на основе онтологического подхода. При этом основной акцент сделан на возможности визуализации, вопросы лингвистического анализа касаются общей схемы и с учетом частичной реализации некоторых этапов анализа на языке программирования С.

Процесс анализа текстовых описаний. Лингвистический анализатор решает две основные проблемы: снимает всевозможные неопределенности в тексте и представляет текстовую (явную и неявную) информацию на языке прикладной онтологии. язык сурдоперпевод автоматизированный Лингвистический анализ реализует три преобразования предложений ЕЯ-текста: грамматический анализ, семантическую интерпретацию и семантический анализ. Грамматический анализ включает морфологический анализ и синтаксический разбор. Семантическая интерпретация реализует способы «перевода» фрагментов текста во фрагменты прикладной онтологии в зависимости от синтаксических правил (контекстов). Семантический анализ «оформляет» описание ситуации на языке прикладной онтологии.

Морфологический анализ осуществляет полный морфологический разбор словоформы на основу и флексию, поиск основы в словаре и по найденной словарной статье приписывание словоформе соответствующих части речи и грамматических признаков.

Задачей синтаксического анализа является построение синтаксической структуры входного предложения на основе морфологической информации и синтаксических правил объединения слов и словосочетаний. При этом устраняются неоднозначности (омоформия) путём выделения только допустимых синтаксических конструкций.

Предлагаемый синтаксический разбор реализует оригинальную стратегию [8], отличающуюся от аппаратов системы составляющих или системы зависимостей, а «по духу» идеологически близкую к аппарату расширенных сетей переходов. В результате синтаксического анализа получаем структуру разбора предложений текста (в общем случае не деревянную), которая выделяет в предложении фрагменты по синтаксическим правилам, представленным в синтаксической онтологии лингвистического анализатора.

Задача семантической интерпретации — формирование на языке онтологии описаний фрагментов проблемных ситуаций. Получение таких фрагментов осуществляется на основе значений слов и словосочетаний с учетом связей между ними, т. е. на основе фрагментов ЕЯ-предложения, представленных в синтаксической структуре. В результате получаем так называемый «семантический подстрочник».

Семантический анализ предложений текста «связывает» фрагменты «семантического подстрочника» в некое целостное описание ситуации на языке онтологии по правилам, которые заданы в прикладной онтологии. При этом провернется полнота и корректность такого представления.

Визуализация. Результирующим этапом трансляции является визуализация объекта, выполняемая в динамическом (анимация) или статическом вариантах.

Пример. Пример, иллюстрирующий текст на языке 3-D_КВ объектов, статическую визуализацию и ЕЯ-описание конструкции, приведен на рисунках 1 и 2. Динамическая визуализация обеспечивает анимацию конструкции и изменение масштабирования.

Рис. 1. Текст на языке 3-D_КВ и результат статической визуализации

Рис. 2. Естественно-языковое описание визуализируемой конструкции

Научные результаты:

• · предложен язык представления специализированных 3-D объектов, объединяемых в конструкции произвольной сложности (3-D_КВ);
• · разработан и программно реализован компилятор с разработанного языка, обеспечивающий визуализацию конструкции, описанной на 3-D_КВ;
• · предложена и программно реализована схема трансляции с предметно-ориентированного естественного языка в онтологическое представление, обеспечивающее генерацию описания на языке представления специализированных 3-D объектов.

В практическом плане в настоящее время рассматриваются возможности использования проведенных исследований для целей автоматизированного сурдоперевода [7] и генерации реальных конструкций по тексту технического задания. В качестве одного из перспективных направлением развития исследований в данном направлении рассматривается интеллектуализация мехатроники и систем виртуального прототипирования.

• 1. Курбатов С. С., Найденова К. А., Хахалин Г. К. Интегрирование интеллектуальных систем анализа/синтеза изображений и текста: контуры проекта INTEGRON // Труды Международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» OSTIS-2011. — Минск, 2011. — С. 302−318.
• 2. Спецификация CORBA: http://www.omg.org/spec/CORBA/Current
• 3. Питер Коффи. СОА: новое время — новые песни / Компьютерная неделя, 25 — 31 января, 2005, № 2(484). — М., 2005.
• 4. Vittikh V. A. Multi-agent systems for modeling of self-organization and cooperation processes: http://www.cs.brandeis.edu/dept/faculty/mataric
• 5. Нечипоренко А. Система автоматизированного извлечения знаний из текстов на естественном языке // Труды международной научно-технической конференции «Информационные системы и технологии — 2003». НГТУ. — Новосибирск, 2003.
• 6. Пупков К. А., Интеллектуальные системы в мехатронике / Московский государственный технический университет, имени. Н. Э. Баумана. — М.: http://iu1.bmstu.ru/research/res20.htm
• 7. Курбатов С. С., Литвинович А. В., Хахалин Г. К. Синтез выражений русского жестового языка по естественно языковому тексту // XIV международная конференция «Речь и компьютер». SPECOM-2011. РФ, Республика Татарстан. — Казань, 2011 (в печати).
• 8. Хахалин Г. К., Воскресенский А. Л. Контекстное фрагментирование в лингвистическом анализе // Труды Х национальной конференции по Искусственному Интеллекту с международным участием — КИИ-2006. М.: Физматлит, 2006. — С. 479−488.