История открытия языковой системы как интеллектуальной продукции в знаковой форме
В чём суть этого открытия? Известно, что одни слова, как знаковые единицы, употребляются чаще, чем другие. Упорядочим их так: в качестве номера слова возьмём частоту n вхождения этого слова в тексты. Эту частоту назовём рангом, так что самое частое слово имеет ранг 1, второе по частоте слово имеет ранг 2 и т. д. Пусть Pn обозначает случайную частоту появления в тексте слова с рангом n. Тогда… Читать ещё >
История открытия языковой системы как интеллектуальной продукции в знаковой форме (реферат, курсовая, диплом, контрольная)
Опорную функцию языка впервые систематически исследовал известный логик конца XIX века Готлоб Фреге (1848 — 1925). Вот его слова: «Нам удаётся управлять нашим вниманием и направлять мысль в желательное для нас русло благодаря знакам. Когда мы воспроизводим знак, то мы тем самым создаём определённую опору нашей мысли, — определённый центр, вокруг которого возникают различные представления. Из этих представлений мы выбираем одно и опять фиксируем его с помощью знака. Так удаётся шаг за шагом проникнуть во внутренний мир наших представлений и двигаться в этом мире в нужном направлении. Чувственно-наглядное (в форме знаков) позволяет нам не потонуть в потоке восприятий и представлений, непрерывно захлёстывающих наше внимание».
В первой половине XX столетия Эсту, Кондона и Ципф провели исследования, которые завершились открытием статистического рангового распределения элементов словаря.
В чём суть этого открытия? Известно, что одни слова, как знаковые единицы, употребляются чаще, чем другие. Упорядочим их так: в качестве номера слова возьмём частоту n вхождения этого слова в тексты. Эту частоту назовём рангом, так что самое частое слово имеет ранг 1, второе по частоте слово имеет ранг 2 и т. д. Пусть Pn обозначает случайную частоту появления в тексте слова с рангом n. Тогда существует статистическое распределение, выражающее функциональную зависимость частоты Pn от ранга n. Бенуа Мандельброт объявил ранговое распределение законом языка. Этот закон представляется аналитической зависимостью [2], [12]:
P = k/(+n),.
где «гамма» приблизительно равна 1, постоянные величины k и выражаются через частоту вхождения самого частого слова и длину текста.
Компьютерная обработка текстов показала, что закон Мандельброта не выражает математическое ожидание, к которому, по вероятности, сходятся ранговые распределения слов длинных текстов. То есть не выполняется статистический закон больших чисел. Более того, на разных текстовых выборках слова не сохраняют вероятности вхождения. Таким образом, гипотеза Мандельброта о законе языка в форме рангового распределения не подтвердилась.
В семидесятые годы советский кибернетик Ю. Орлов предположил, что закон Мандельброта справедлив для завершённых текстов [2]. Тем самым поставлена задача исследования закономерностей целостного восприятия текстов различной природы: художественных, музыкальных, специализированных. Фактически, это подводит нас к проблеме моделирования смысловых отношений в знаковых системах, представляющих тексты… В историческом плане работа в этом направлении только начинается. Впереди — открытия, которые помогут нам осознать закономерности функционирования интеллектуальных систем посредством изучения текстовых структур — основного интеллектуального продукта.