Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос»

Измерительные шкалы рассматриваются как инструмент создания формальных моделей реальных объектов и инструмент повышения степени формализации этих моделей до уровня, достаточного для их реализации на компьютерах.

Различные подходы к классификации измерительных шкал, отраженны в работах [1, 2, 3]. Наиболее строго математически обоснованным являемся подход, предложенный проф. А. И. Орловым в работе [1]. В этой работе описываются различные типы измерительных шкал, позволяющие создавать модели различной степени формализации (таблица 1):

Таблица 1. Основные шкалы измерения по проф. А. И. Орлову [1].

С данными эмпирических измерений, полученными с помощью измерительной шкалы определенного типа, корректно могут быть проведены лишь вполне определенные математические преобразования, допустимые в данной шкале, тогда как другие преобразования над ними являются некорректными и, строго говоря, бессмысленными.

На практике это часто не осознается, особенно руководством, или осознается, но недостаточно четко и на это попросту «закрывают глаза».

Например, оценки в школе или вузе представляют собой порядковые оценки уровня знаний и, хотя внешне выглядят точно как числа, фактически числами не являются. Это наглядно демонстрируется тем, что, не смотря на то, что 2+3=5 суммарные знания двоечника и троечника не равны знаниям отличника. Тем более некорректно вычислять некие средние баллы аттестатов или полученные учащимися факультета по результатам государственных экзаменов или защиты дипломных проектов, но это всегда делается.

В таблице 1 шкалы приведены в порядке повышения степени формализации моделей, создаваемых с их использованием.

Спрашивается, а зачем повышать степень формализации модели? Дело в том, что чем выше степень формализации модели, тем более развитые и точные математические методы могут быть применены в этих моделях и тем точнее решаются различные задачи в реальной области Прежде всего это задачи идентификации, прогнозирования и принятия решений. с использованием этих моделей, в частности тем проще использовать эти модели при проектировании и создании искусственных систем (таблица 2):

Таблица 2. Основные измерительные шкалы и возможные математические операции с их градациями.

Из этого ясно, что при эмпирических исследованиях:

• — необходимо четко отдавать себе отчет о том, какого типа измерительные шкалы в нем используются;
• — надо стремиться к использованию измерительных шкал наиболее высокой степени формализации.

Но раз так, то почему же тогда абсолютные шкалы или хотя бы шкалы отношений не применяются всегда, а в ряде случаев на практике используются номинальные, порядковые и интервальные шкалы, а также шкала разностей, имеющие ограничения на возможные математические операции с эмпирическими данными, полученными с помощью этих шкал? Иногда этого и не требуется по условиям задачи, но чаще всего просто потому, что отсутствуют Или где-то существуют, но на практике исследователям недоступны соответствующие измерительные системы Т. е. измерительные инструменты, методики и технологии, включая датчики измерений, каналы связи между датчиками и системой обработки, а также методы математической обработки с необходимыми для этого возможностями, т. е. способные сразу, т. е. непосредственно в процессе измерений, представить измеряемые величины в абсолютной шкале или шкале отношений.

Но оказывается это возможно сделать и после завершения самого процесса измерения, т. е. уже после прекращения контакта измерительной системы с измеряемым объектом. Иначе говоря, возможно провести такую математическую обработку данных, полученных в результате измерений с помощью измерительной шкалы определенной степени формализации, которая бы повысила эту степень формализации.

Из таблиц 1 и 2 видно, что для этого необходимо обоснованно ввести на исходной шкале отношения порядка по степени выраженности свойства, измеряемого шкалой, начало отсчета и единицу измерения. Эта идея, по-видимому, впервые была четко сформулирована в 1958 году датским математиком Г. Рашем (Georg Rasch) [2] См. так называемую «Модель Раша». и им же была поставлена и решена соответствующая «задача метризации шкал», т. е. задача преобразования шкалы к наиболее формализованному виду. Это название связано с понятием метрики, под которой в физике понимается способ измерения расстояний между градациями (значениями) шкалы. Иначе говоря, метризация шкалы проводится с целью повышения степени ее формализации и осуществляется путем ввода метрики, т. е. единицы измерения на этой шкале. В современном понимании метризация шкалы предполагает не только введение единицы измерения, но также и отношений порядка и начала отсчета на ней.

Модель Г. Раша математически тесно связана с моделью логитов, предложенной в 1944 году Джозефом Берксоном (Joseph Berkson) http://www.machinelearning.ru/wiki/index.php?title=Функция%20Логит и здесь мы ее не приводим, т.к. она подробно описана в литературе. Модель Г. Раша (с учетом ее модификаций) является чуть ли не единственной широко известной в настоящее время моделью метризации измерительных шкал.

Однако в системно-когнитивном анализе (СК-анализ) и его программном инструментарии: интеллектуальной системе «Эйдос» [4] предлагается еще 7 способов метризации всех типов шкал даже шкалы отношений и абсолютной шкалы, обеспечивающих, кроме того еще и корректную совместную сопоставимую количественную обработку разнородных по своей природе факторов физических, социальных и субъективных, и в каждой из этих групп факторов есть много различных видов факторов, измеряемых в различных единицах измерения.

В СК-анализе факторы формально описываются шкалами, а значения факторов — градациями шкал. Существует три основных группы факторов: физические, социально-экономические и психологические (субъективные) и в каждой из этих групп есть много различных видов факторов, т. е. есть много различных физических факторов, много социально-экономических и много психологических, но в СК-анализе все они рассматриваются с одной единственной точки зрения: сколько информации содержится в их значениях о переходе объекта, на который они действуют, в определенное состояние, и при этом сила и направление влияния всех значений факторов на объект измеряется в одних общих для всех факторов единицах измерения: единицах количества информации. Именно по этой причине вполне корректно складывать силу и направление влияния всех действующих на объект значений факторов, независимо от их природы, и определять результат совместного влияния на объект системы значений факторов. При этом в общем случае объект является нелинейным и факторы внутри него взаимодействуют друг с другом, т. е. для них не выполняется принцип суперпозиции [5].

Если же разные факторы измеряются в различных единицах измерения, то результаты сравнения объектов будут зависеть от этих единиц измерения, что совершенно недопустимо из теоретических соображений.

Представим себе, что мы сравниваем студентов по их росту и весу, причем рост выражен в сантиметрах, а вес в килограммах (таблица 3):

Таблица 3. Сравнение студентов по их росту и весу, измеряемым в их обычных единицах измерения.

Для сравнения студентов мы просто складываем рост и вес для каждого студента, и потом сравниваем эти числа, например, находим модуль их разности: |253−238|=15 и считаем, что она отражает сходство-различие студентов по этим параметрам. Проверим корректность этого метода путем сравнения 3-го студента с ростом как у 2-го студента 173 сантиметра и весом как 1-го студента 75 килограммов. Спрашивается, на какого студента он больше похож: на 1-го или 2-го? Очевидно, что он должен иметь одинаковое сходство и различие с обоими этими студентами, т.к. у него в равной степени представлены признаки их обоих. Однако, для 3-го студента сумма роста и веса равна: 173+75=248 и его отличие от 1-го составляет |253−248}=5, а от 2-го: |238−248|=10, т. е. получается, что третий студент в отличатся от 2-го больше, чем от 1-го. Этот результат является некорректным и связан с тем, что рост 1-го и 2-го студентов отличается на 5 сантиметров, а вес на 10 килограммов. Конечно, сложение и вычитание величин, измеряемых в разных единицах измерения, некорректно само по себе. Но особенно хорошо это заметно, когда мы меняем единицы измерения. Так если рост измерять не в сантиметрах, а в миллиметрах, то его числовое выражение возрастет в 10 раз как и его влияние на сходство-различие студентов, а роль веса при этом сравнении соответственно снизится. И наоборот, если рост оставить в сантиметрах, а вес начать измерять не в килограммах, а в граммах, то тогда сходство-различие студентов в основном будет определять уже их вес, т.к. его количественное выражение и влияние на результаты сравнения возрастет в 1000 раз.

В СК-анализе и системе предложено кардинальное решение проблем сравнения объектов, описанных в измерительных шкалах различных типов и размерностей [6]. Продолжим пример со студентами. В соответствии с методологией СК-анализа и методикой применения системы «Эйдос» для сравнения студентов используем не их рост и вес в обычных единицах измерения, а количество информации о том, что перед нами тот или иной студент, которое содержится в его росте и весе. Можно сравнить 3-го студента с первыми двумя по суммарному количеству информации в его признаках о сходстве с 1-м и 2-м студентами. Это будет вполне корректно и результат такого сравнения вообще не будет зависеть от исходных единиц измерения роста и веса, т. е. будет инвариантным относительно единиц измерения исходных признаков, как и должно быть.

Рассмотрим численный пример, демонстрирующий, что выбор единиц измерения никак не влияет на модель и результат сравнения с ее применением.

Таблица 4. Исходные данные.

С помощью программного интерфейса системы «Эйдос-Х++» (рисунок 1) данные из таблицы 4 вводятся в систему.

измерительный шкала компьютер метризация Рисунок 1. Начальная экранная форма программного интерфейса системы «Эйдос-Х++» с внешними базами данных В первой экранной форме задается диапазон столбцов таблицы исходных данных 4 классификационными шкалами и диапазон столбцов с описательными шкалами. В экранной форме, представленной на рисунке 2, задается количество интервалов в числовых классификационных и описательных шкалах, если они есть.

Рисунок 2. Вторая экранная форма программного интерфейса системы «Эйдос-Х++» с внешними базами данных В текущей версии системы «Эйдос-Х++» суммарное количество классификационных и описательных шкал не должно превышать 1500, а суммарное количество градаций в них ограничено только размерами дисковой памяти Проводились численные эксперименты до 100 000 градаций классификационных шкал и 100 000 градаций описательных шкал. Программный интерфейс испытывался на вводе в систему «Эйдос-Х++» данных и Excel-файла с 880 000 строк, это заняло 7 минут.

При этом программным интерфейсом создаются справочники классификационных и описательных шкал и градаций и с их использованием кодируются исходные данные и формируется обучающая выборка (таблицы 5, 6, 7):

Таблица 5. Справочники классификационных шкал и градаций.

Классы представляют собой градации классификационных шкал.

Таблица 6. Справочники описательных шкал и градаций.

Признаки представляют собой градации описательных шкал.

Таблица 7. Обучающая выборка.

В результате синтеза и верификации моделей в режиме 3.5 системы «Эйдос-Х++» создаются матрица абсолютных частот (таблица 8) и матрица информативностей (таблица 9):

Таблица 8. Матрица абсолютных частот.

Таблица 9. Матрица информативностей.

Из таблицы 9 видно, что каждому интервальному значению роста и веса соответствует 0.5 бит информации о принадлежности студента с этим признаком к тому или иному классу. Ясно, что если в таблицах 6, 8 и 9 одинаково переставить десятичную запятую в интервальных значениях роста и веса, то коды в обучающей выборке (таблица 7), а значит и на абсолютные частоты их наблюдения по классам и количество информации, рассчитываемое на их основе, это никак не повлияет.

Рассмотрим этапы последовательного повышения степени формализации модели путем преобразования исходных данных в информацию, а ее в знания, применяемые в автоматизированном системно-когнитивном анализе и системе «Эйдос-Х++» [7] (рисунок 3).

Рисунок 3. Этапы последовательного повышения степени формализации модели путем преобразования исходных данных в информацию, а ее в знания, применяемые в автоматизированном системно-когнитивном анализе и системе «Эйдос-Х++»

Прежде всего, кратко рассмотрим соотношение содержания понятий: «данные», «информация» и «знания».

Данные — это информация, рассматриваемая безотносительно к ее смысловому содержанию, находящаяся на носителях или в каналах связи и представленная в определенной системе кодирования или на определенном языке (т.е. в формализованном виде).

Информация — это осмысленные данные. Смысл, семантика, содержание (согласно концепции смысла Шенка-Абельсона [4, 10]) — это знание причинно-следственных зависимостей.

Знания — это информация, полезная для достижения целей (рисунок 4).

Рисунок 4. Соотношение содержания понятий: «данные», «информация», «знания».

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

• — вообще неформализованные знания, т. е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);
• — знания, формализованные на естественном вербальном языке;
• — знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними;
• — знания в форме технологий, организационных производственных, социально-экономических и политических структур;
• — знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения задачи метризации шкал в АСК-анализе необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

• — преобразовать исходные данные в информацию;
• — преобразовать информацию в знания;
• — использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Для этого в АСК-анализе предусмотрены следующие этапы [4]:

• 1. Когнитивная структуризация предметной области, при которой определяется, что мы хотим прогнозировать и на основе чего (конструирование классификационных и описательных шкал).
• 2. Формализация предметной области [8]:
  • — разработка градаций классификационных и описательных шкал (номинального, порядкового и числового типа);
  • — использование разработанных на предыдущих этапах классификационных и описательных шкал и градаций для формального описания (кодирования) исследуемой выборки.
• 3. Синтез и верификация (оценка степени адекватности) модели [9].
• 4. Если модель адекватна, то ее использование для решения задач идентификации, прогнозирования и принятия решений, а также для исследования моделируемой предметной области [4].

Для синтеза моделей в АСК-анализе в настоящее время используется 7 частных критериев знаний (таблица 10), а для верификации моделей 2 интегральных критерия:

Таблица 10. Частные критерии знаний, используемые в настоящее время в СК-анализе и системе «Эйдос-Х++».

Обозначения:

i — значение прошлого параметра;

j — значение будущего параметра;

N_ij — количество встреч j-го значения будущего параметра при i-м значении прошлого параметра;

M — суммарное число значений всех прошлых параметров;

W — суммарное число значений всех будущих параметров.

N_i — количество встреч i-м значения прошлого параметра по всей выборке;

N_j — количество встреч j-го значения будущего параметра по всей выборке;

N — количество встреч j-го значения будущего параметра при i-м значении прошлого параметра по всей выборке.

I_ij — частный критерий знаний: количество знаний в факте наблюдения i-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее j-му значению будущего параметра;

Ш — нормировочный коэффициент (Е.В.Луценко, 2002), преобразующий количество информации в формуле А. Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р. Хартли;

P_i — безусловная относительная частота встречи i-го значения прошлого параметра в обучающей выборке;

P_ij — условная относительная частота встречи i-го значения прошлого параметра при j-м значении будущего параметра.

Все эти способы метризации с применением 7 частных критериев знаний (таблица 10) реализованы в системно-когнитивном анализе и интеллектуальной системе «Эйдос» и обеспечивают сопоставление градациям всех видов шкал числовых значений, имеющих смысл количества информации в градации о принадлежности объекта к классу. Поэтому является корректным применение интегральных критериев, включающих операции умножения и суммирования, для обработки числовых значений, соответствующих градациям шкал. Это позволяет единообразно и сопоставимо обрабатывать эмпирические данные, полученные с помощью любых типов шкал, применяя при этом все математические операции [8].

Рассмотрим интегральные критерии знаний, используемые в настоящее время в СК-анализе и системе «Эйдос-Х++» для верификации моделей и решения задач идентификации и прогнозирования.

1-й интегральный критерий «Сумма знаний» представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний и имеет вид:

В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

где: M — количество градаций описательных шкал (признаков);

— вектор состояния j-го класса;

— вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т. е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т. е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» — один раз).

2-й интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний и имеет вид:

где:

M — количество градаций описательных шкал (признаков);

• — средняя информативность по вектору класса;
• — среднее по вектору объекта;
• — среднеквадратичное отклонение частных критериев знаний вектора класса;
• — среднеквадратичное отклонение по вектору распознаваемого объекта.

Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j-го класса и состояния распознаваемого объекта.

Таким образом, в АСК-анализе:

• 1. Рассматривается ряд объектов (фактов), представляющих в совокупности исследуемую выборку.
• 2. Каждый из объектов исследуемой выборки представляет собой систему, имеющую сложную многоуровневую структуру признаков (экстенсионально описание).
• 3. Для каждого из объектов исследуемой выборки известно, к каким обобщенным категориям (классам) он относится (интенсионально описание).
• 4. Необходимо сформировать модель, обеспечивающую идентификацию объектов по их признакам, т. е. определение их принадлежности к обобщенным классам.

Если признаки и классы относятся к одному времени, то имеет место задача идентификации (распознавания). Если же признаки (факторы, причины) относятся к прошлому, а классы, характеризующие состояния объектов, — к будущему, то это задача прогнозирования. Математически эти задачи не отличаются.

Совокупность экстенсионального и интенсинального описания каждого объекта обучающей выборки, по сути, представляет собой его определение через подведение под более общее понятие и выделение специфических признаков. Иначе говоря каждый объект обучающей выборки описывается принадлежностью к более общей категории (классу) и наличием у него ряда признаков. Например, так определяется понятие «млекопитающее»: это животное (более общее понятие), выкармливающее своих детей молоком (специфический признак). На основе ряда определений конкретных объектов путем их обобщения можно получить определения классов. Если привести в качестве примеров исследуемой выборки множество различных животных, как млекопитающих, так и других, каждый из таких примеров определить множеством признаков и построить модель, то окажется, что наиболее характерным признаком млекопитающих является не наличие шерсти или когтей, а именно вскармливание детенышей молоком.

Процедура преобразования исходных данных в информацию — это анализ данных, состоящий из трех шагов:

• — разработка справочников фактов и событий;
• — выявление в исходных данных фактов или событий и их кодирование;
• — выявление причинно-следственных связей (зависимостей) между этими событиями.

Фактически для преобразования исходных данных в информацию необходимо:

• 1. Разработать классификационные и описательные шкалы и градации.
• 2. С использованием классификационных и описательных шкал и градаций закодировать исходные данные, в результате чего получится обучающая выборка, состоящая из фактов, представляющих собой примеры в единстве экстенсионального и интенсинального описания.
• 3. Произвести расчет матриц абсолютных частот, условных и безусловных процентных распределений и матрицы информативностей, отражающей причинно-следственные связи между значениями факторов и принадлежностью объектов к классам.

Таким образом, информация по задаче — это исходные данные плюс классификационные и описательные шкалы и градации, обучающая выборка, а также матрицы частот, процентных распределений и информативностей.

Процедура преобразования информации в знания — это оценка полезности информации для достижения цели.

Значит знания по задаче — это информация плюс цель и оценка степени полезности информации для достижения этой цели.

Знания получаются из информации, когда мы классифицируем будущие состояния объекта управления как желательные (целевые) и нежелательные.

Банк данных — это базы данных плюс система управления базами данных (СУБД) (стандартные термины). СУБД — это, по сути, система управления данными.

Информационный банк — это информационные базы плюс информационные системы (предлагается стандартизировать эти термины). Информационная система — это, по сути, система управления информацией.

Банк знаний — это базы знаний плюс интеллектуальные системы (стандартные термины). Интеллектуальная система — это, по сути, система управления знаниями.

Существует очевидная параллель между терминами и понятиями, связанными с данными, информацией и знаниями, наглядно представленная в таблице 11.

Таблица 11. Параллель между понятиями и терминами, касающимися данных, информации и знаний.

Сформулируем требования к форме представления данных, информации и знаний, позволяющие оценить степень их пригодности для решения задач прогнозирования и принятия решений, а также исследования предметной области (например, кластерного анализа).

Прежде всего, результаты решения вышеперечисленных задач должны быть инвариантны относительно:

• — единиц измерения градаций факторов (признаков);
• — типов шкал, используемых для формализации классов и факторов (номинальные, порядковые и числовые);
• — различных статистических характеристик исходной выборки: частотных распределений объектов по классам (обобщенным категориям), частотных распределений градаций факторов, различий в количестве признаков в описаниях объектов исследуемой выборки, различий в суммарном количестве признаков по классам.

Кроме того, форма представления должна обеспечивать решение вышеперечисленных задач с минимальными дополнительными затратами ручного труда, а это значит, что вся предварительная обработка должна быть максимально автоматизирована.

Эти требования можно рассматривать и как критерии выбора наиболее подходящей для решения вышеперечисленных задач формы представления данных, информации и знаний.

Рассмотрим влияние единиц измерения в исходной выборке на результаты решения задач прогнозирования и принятия решений, а также исследования предметной области (например, кластерного анализа).

Если в исходных данных какие-то значения выражены в больших единицах измерения, то их числовые значения будут малыми, и наоборот, если единицы измерения мелкие, то числовые значения — большие. Большие значения оказывают большее влияние на результаты математической обработки, чем малые, и это приводит к возникновению зависимости результатов решения задач идентификации, прогнозирования и принятия решений, а также кластерного анализа, от выбранных размерностей исходных данных, что, на взгляд автора, совершенно неприемлемо и указывает на то, что такое решение нельзя признать корректным и даже вообще решением. По этой же причине некорректно совместно обрабатывать сами исходные данные, представленные в различных единицах измерения (натуральных или ценовых), например, складывать расстояния, представленные в километрах и в метрах, а затем прибавлять к ним тонны и килограммы, а затем еще и безразмерные величины. Вроде это очевидно, но, как это ни удивительно, но как показывает опыт на практике это довольно часто делается, а потом еще на основе подобного «анализа» делаются и выводы. Очень странно, что обычно на это не обращают никакого внимания при использовании исходных данных, представленных в различных единицах измерения. Например, даже в таких популярных (причем, совершенно заслуженно) системах, как SPSS и Статистика, в подсистеме кластерного анализа приводятся примеры кластерного анализа над исходными данными, представленными в различных единицах измерения.

Для решения поставленной задачи в АСК-анализе проводится последовательное повышение степени формализации исходных данных до уровня, обеспечивающего их обработку на компьютере в программной системе. После выполнения когнитивной структуризации и формализации предметной области осуществляется синтез модели [7].

Пример метризованной номинальной шкалы, созданной при решении задачи из работы [7], приведен н рисунке 5:

Рисунок 5. Пример метризованной номинальной шкалы «Груз (количество и вид)».

Выводы

Отображение реальных объектов в формальных шкалах — это и есть измерение. Получается, что система «Эйдос» представляет собой средство для построения и применения измерительных инструментов в различных предметных областях, причем в ней реализованы разнообразные технологии метризации, позволяющие любые свойства объектов, как количественные, так и качественные, исследовать в наиболее сильных абсолютных шкалах знаний.

Материалы статьи могут быть использованы при проведении лекционных и лабораторных занятий по дисциплинам: «Интеллектуальные информационные системы», «Представление знаний в интеллектуальных системах», «Управление знаниями», «Эмпирические социально-экономические и психологические исследования», «Измерения в социально-экономических и психологических исследованиях», «Эконометрика», «Управление знаниями» и других.

• 1. Орлов А. И. Теория измерений как часть методов анализа данных: размышления над переводом статьи П. Ф. Веллемана и Л. Уилкинсона // Социология: методология, методы, математическое моделирование. 2012. № 35. С. 155−174.
• 2. Дубина И. Н. Математические основы эмпирических социально-экономических исследований: учебное пособие. — Барнаул: Изд-во Алт. ун-та, 2006. — 263 с.
• 3. ТСиСА. Вопрос № 20. Электронный ресурс, режим доступа: http://e-educ.ru/tsisa20.html
• 4. Луценко Е. В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). — Краснодар: КубГАУ. 2002. — 605 с.
• 5. Луценко Е. В. Моделирование сложных многофакторных нелинейных объектов управления на основе фрагментированных зашумленных эмпирических данных большой размерности в системно-когнитивном анализе и интеллектуальной системе «Эйдос-Х++» / Е. В. Луценко, В. Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. — Краснодар: КубГАУ, 2013. — № 07(091). С. 164 — 188. — IDA [article ID]: 911 307 012. — Режим доступа: http://ej.kubagro.ru/2013/07/pdf/12.pdf, 1, 562 у.п.л.
• 6. Луценко Е. В. Метод когнитивной кластеризации или кластеризация на основе знаний (кластеризация в системно-когнитивном анализе и интеллектуальной системе «Эйдос») / Е. В. Луценко, В. Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. — Краснодар: КубГАУ, 2011. — № 07(071). С. 528 — 576. — Шифр Информрегистра: 421 100 012 253, IDA [article ID]: 711 107 040. — Режим доступа: http://ej.kubagro.ru/2011/07/pdf/40.pdf, 3, 062 у.п.л.
• 7. Луценко Е. В. Методологические аспекты выявления, представления и использования знаний в АСК-анализе и интеллектуальной системе «Эйдос» / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. — Краснодар: КубГАУ, 2011. — № 06(070). С. 233 — 280. — Шифр Информрегистра: 421 100 012 197, IDA [article ID]: 701 106 018. — Режим доступа: http://ej.kubagro.ru/2011/06/pdf/18.pdf, 3 у.п.л.
• 8. Луценко Е. В. Типовая методика и инструментарий когнитивной структуризации и формализации задач в СК-анализе / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. — Краснодар: КубГАУ, 2004. — № 01(003). С. 388 — 414. — IDA [article ID]: 30 401 016. — Режим доступа: http://ej.kubagro.ru/2004/01/pdf/16.pdf, 1, 688 у.п.л.
• 9. Луценко Е. В. Математический метод СК-анализа в свете идей интервальной бутстрепной робастной статистики объектов нечисловой природы / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. — Краснодар: КубГАУ, 2004. — № 01(003). С. 312 — 340. — IDA [article ID]: 30 401 013. — Режим доступа: http://ej.kubagro.ru/2004/01/pdf/13.pdf, 1, 812 у.п.л.
• 10. Васильев, Л. Г. Три парадигмы понимания: анализ литературы вопроса Электронный ресурс. / Л. Г. Васильев. — Режим доступа: http://konf-csu.narod.ru/ze/lib/vasilyev.html