Информация и знания в интеллектуальных системах

государственный технический университет им. Н.Э. Баумана
E-mail: tarasov@rk9.bmstu.ru

СИСТЕМЕ

2. ИНФОРМАЦИЯ КАК УМЕНЬШЕНИЕ (СНЯТИЕ) НЕОПРЕДЕЛЕННОСТИ ПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ.

ИНФОРМАЦИЯ КАК ОГРАНИЧЕНИЕ

РАЗНООБРАЗИЯ
Информация – это то, что ограничивает разнообразие вариантов. Например, понятие вероятности можно интерпретировать как меру устойчивого ограничения разнообразия при выборе.

ИНФОРМАЦИЯ КАК ОПРЕДЕЛЕНИЕ РАЗЛИЧИЯ
(Т.Е. СИММЕТРИЧНОГО И АНТИРЕФЛЕКСИВНОГО ОТНОШЕНИЯ)

Волькенштейн М.В. Энтропия и информация

Информация – это обозначение содержания, получаемого из внешнего мира в процессе нашего приспособления к нему (Н.Винер)

определению понятия информации:

Комбинаторный:
Информация как отраженное
разнообразие (сложность)
Вероятностный:

Информация как уменьшенная неопределенность
Алгоритмический:
Информация (сложность) как длина алгоритма,

Академик Андрей Николаевич Колмогоров
(1903-1987)

нормальная мера или вероятностная мера А.Н.Колмогорова
P: 2X → [0,1],
которая

удовлетворяет следующим условиям:
1) P(∅) = 0, P(Х) =1 (ограниченность)
2) ∀А,В∈2X, А⊆В ⇒ P(A) ≤ P(B) (монотонность)
3) ∀А,В∈2X, А∩В=∅ ⇒ P(A∪B)=P(А)+P(В) (аддитивность)

В общем случае, берется σ-алгебра множеств, σ ⊆2X и аксиома
аддитивности записывается в форме ∀Аi∈σ, ∩Аi =∅ ⇒ P (∪ Аi) = ΣP(Аi).

С вероятностной мерой связана статистика средних значений.

Пусть x0 есть заданный элемент в X. Частным случаем вероятностной
меры является примитивный класс мер Дирака mD, определяемый
соотношением: ∀А∈2X,
1, если x0∈A
mD (А) =
0 в противном случае.

Мера Дирака есть частный случай вероятностной меры,
соответствующий детерминированной сингулярной информации
(мера полной уверенности).

из всего множества, что приводит к устранению
неопределенности.
Согласно статистической

теории информации, количество информации
выводится из понятия «вероятность».

Пусть в ситуации выбора имеется n равновероятных
исходов. Тогда вероятность любого из них P = 1/ n.
Соответственно количество информации определяется
логарифмом этой вероятности
I = - log2 P.

Пояснение знака минус. Пусть Po– априорная вероятность признака x.
В результате приема сообщения новая, апостериорная вероятность Pn
признака x становится равной 1. Тогда количество информации,
содержащееся в сообщении, есть I= log2Pn – log2Po = log21– log2Po = – log Po

построения теории информации: теория
множеств → теория вероятности → теория

информации.

Теория Шеннона посвящена измерению сообщений, передаваемых по
техническим каналам связи. В ней предложена интерпретация
информации как меры уменьшения неопределенности после
получения системой сообщения.
Будем теперь рассматривать неравновероятные исходы Pi, где
Pi – вероятность i-го исхода. Тогда в качестве меры неопределенности
следует взять статистически усредненную функцию вероятностей.
В качестве такой естественно принять математическое ожидание
количества информации, I = - log2 Pi, получаемой при i-м выборе

I = - ∑ Pi log2 Pi

Здесь понятие вероятности можно интерпретировать как меру
устойчивого ограничения разнообразия при выборе.

своей
природе – не специальное вероятностное понятие.
Основные понятия теории

информации должны и
могут быть обоснованы без помощи обращения к
теории вероятности, так, чтобы понятия
«энтропии», «количество информации» и др.
оказались применимыми к индивидуальным
объектам.

Новая схема: Теория множеств → теория информации → теория
вероятности.

мощностью
множества X ее различных элементов, а ее количество –

логарифмом мощности этого множества.

Если в системе имеется n элементов, то один элемент несет
количество информации I = log2 n.
Комбинаторное определение информации можно понимать
как выбор одного элемента из всего множества, что
приводит к устранению неопределенности.
Это простейшее задание количества информации по форме
совпадает с формулой Р.Хартли, т.е. с формулой статистического
количества информации с равными вероятностями.
По У.Р.Эшби информация не может передаваться в большем
количестве, чем позволяет разнообразие, т.е. число различных
элементов множества.

конечного множества.
Согласно комбинаторной теории количество
информации I∈[0, log2 n].
Нижняя

граница соответствует
одноэлементному мультимножеству, когда
элемент x повторяется n раз, и log2 1=0.

ε.
Например, ε–энтропия подмножества A метрического
пространства (X, d) есть

двоичный логарифм
минимального числа элементов покрытия С множествами
диаметра, не превосходящего 2ε.

структуры.
Чем больше неоднородность структуры, в частности,
чем больше различаются

между собой вершины графа
структуры, тем большую информацию будет нести
данная структура
Топологическое количество информации связывается
с понятием различия вершин графа (степеней вершин).
Например, граф, все вершины которого не различаются
по степени, несет нулевое количество информацию.

Степень вершины графа v∈V есть число ребер,
инцидентных данной вершине

v. Поскольку каждое ребро
инцидентно двум вершинам, в сумму степеней вершин
графа deg каждое ребро вносит двойку.
Теорема Эйлера (первая теорема теории графов)
Сумма степеней вершин графа G равна удвоенному числу
его ребер
Σ deg vi = 2 q

теорией рекурсивных функций.
Пусть для двух объектов А и В

существует алгоритм
получения В из А.
Тогда количество информации есть минимальная длина
алгоритма, который позволяет построить объект В, имея в
своем распоряжении объект А.

сливаются. Информация
понимается как «неопределенность,
уменьшенная путем наложения и
распространения

гибких (гранулярных)
ограничений

I(X)=GC(X)

составляющие информации:
Синтактика – Семантика - Прагматика
Синтактика
Семантика
Прагматика

классической модели, коммуникативный акт состоит в передаче
информации от источника

к приемнику (или адресату), причем эта
информация обычно закодирована и декодируется приемником уже после
получения.
В этой модели основными составляющими являются: источник, получатель,
сообщение, канал связи, кодирование, декодирование, контекст.
Здесь коммуникация сводится к информационному процессу.
При этом информация передается по каналу связи, который может быть
зашумленным. В рамках данной модели основная задача заключается в
передаче данных так, чтобы получить наименьшие помехи в канале связи.
Сам К.Шеннон выделял три уровня коммуникации:
технический, семантический и уровень эффективности (прагматический).
Технические проблемы связаны с точностью передачи информации от
источника к приемнику.
Семантические проблемы касаются интерпретации сообщения адресатом в
сопоставлении с тем значением, которое было отправлено источником.
Проблема эффективности коммуникации отражает успешность изменения
поведения приемника информации под влиянием полученного сообщения.

Контекст
Сообщение
Передатчик Приемник
Контакт
Код
Сообщение – результат взаимодействия
передатчика и приемника, входящих в контакт
посредством кода в рамках некоторого контекста.

информации.
Информация ценна настолько, насколько она способствует
достижению поставленной цели.
Таким образом,

одна и та же информация может иметь
различную ценность, если ее рассматривать для
различных целей.
По А.А.Харкевичу, ценность информации (полезную
информацию)можно выразить через приращение
вероятности достижения цели.
Если до получения информации эта вероятность была р0, а
после получения р1, то ценность информации
определяется в виде
Iu = log2 (р1 / р0),

меняет наши представления.
Будем связывать с представлением некое распределение
(вероятности,

возможности и т.п.). Тогда можно выделить
два вида информации:
Радиальная информация ΔIr только уточняет наше
представление (изменяет его объем), не меняя значения
признака. Медиана распределения остается на месте.
Тангенциальная информация ΔIt меняет наши
представления о значении признака. Медиана
распределения перемещается.

информация связана с высказыванием,
опирается на аналогию со статистическим вариантом

теории ценности.
Аксиомы ценности информации Iu
1. Iu∈[0,1] – ценность информации можно представить в
единичном интервале (нормализованная ценность)
2. Iu = 0 тогда и только тогда, когда высказывание либо
истинно, либо ложно;
3. Iu = 1, если только вероятности ответа на альтернативный
вопрос равны.

информация, которая используется для принятия решения по неизвестным ранее проблемам
Знания

– совокупность сведений, образующих целостное описание некоторого предмета или проблемы (Толковый словарь по ИИ)

2. ЗНАНИЯ ~ (МНЕНИЯ)
Знания – это обоснованное, истинное мнение (убеждение) (Платон)

3. ЗНАНИЯ ~ МЕТАДАННЫЕ
Знания – это данные, рассматриваемые вместе со способами и механизмами их целенаправленного использования (Г.С.Поспелов)
Знания – это хорошо структурированные данные, или данные о данных, или метаданные (Т.А.Гаврилова, В.Ф.Хорошевский)

4. ЗНАНИЯ ~ (ОПЫТ, ПОНИМАНИЕ)
Знания – понимание, приходящее с опытом профессиональной деятельности


5. ЗНАНИЯ ~ (ПОВЕДЕНИЕ, ДЕЯТЕЛЬНОСТЬ)

Знания – продукт деятельности мышления, выступающий в форме понятий, отношений между ними, суждений, рассуждений.
Знания – совокупность способов формирования планов поведения, направленных на реализацию мотивов (А.М. Волков, Ю.В.Микадзе, Г.Н.Солнцева)

МЕТАЗНАНИЯ
(DATA – INFORMATION – KNOWLEDGE – WISDOM)

ДЕЯТЕЛЬНОСТЬ
ПОНИМАНИЕ
ДАННЫЕ


ИНФОРМАЦИЯ
Понимание связей
ЗНАНИЕ

Понимание шаблонов
МЕТАЗНАНЯ
Понимание принципов
Операции
Действия

Деятельность

О ПРОДУКТАХ И УСЛУГАХ
ЗНАНИЯ О ПРОЦЕССАХ И ОБОРУДОВАНИИ
ЗНАНИЯ ОБ ОРГАНИЗАЦИОННЫХ

СТРУКТУРАХ
ЗНАНИЯ О СОТРУДНИКАХ (ПЕРСОНАЛЕ) ПРЕДПРИЯТИЯ
ЗНАНИЯ О КЛИЕНТАХ
ЗНАНИЯ О ПОСТАВЩИКАХ И ПАРТНЕРАХ
ЗНАНИЯ О КОНКУРЕНТАХ

По характеру различаются следующие виды знаний:
ИНДИВИДУАЛЬНЫЕ – КОЛЛЕКТИВНЫЕ
ЭВРИСТИЧЕСКИЕ – АЛГОРИТМИЧЕСКИЕ
ВЕРБАЛИЗУЕМЫЕ (легко передаваемые) –
ИНТУИТИВНО-ОБРАЗНЫЕ (трудно передаваемые)
ЯВНЫЕ (эксплицитные) – НЕЯВНЫЕ (имплицитные)
«ГОРЯЧИЕ» (накопленные в ходе собственной деятельности) – «ХОЛОДНЫЕ» (полученные извне)
ПОВЕРХНОСТНЫЕ (субъективные эвристические правила) – ГЛУБИННЫЕ (теории, формальные модели)

распределения знаний в организации
ЗАКАЗЧИК
(ЧТО-знания)
Гносеологический

аспект организации

ИСПОЛНИТЕЛЬ
(КАК-знания)
Праксеологический
аспект организации

МЕНЕДЖЕР (КООРДИНАТОР)
(КТО, КОГДА, ГДЕ)-ЗНАНИЯ
Онтологический аспект организации

РУКОВОДИТЕЛЬ (СУБОРДИНАТОР)
(ЗАЧЕМ-знания, СКОЛЬКО)-знания
Аксиологический аспект
организации

новая конкурентная стратегия,
связанная с формированием и освоением новых рынков

(рынки знаний),
накоплением интеллектуального капитала и cозданием интеллектуальных
активов.

Теория организаций: Знания как главный ресурс создания,
функционирования и развития предприятий и организаций. Знание –
необходимое условие производства. Управление знаниями – основа
эффективности интеллектуальных производств в сетевых организациях.

Социология и социальная психология: Знания как основа
формирования человеческих (социальных) отношений и как их продукт.

Теория управления: Знания есть объект управления. Системы
управления знаниями (СУЗ).

Информатика и искусственный интеллект:
Корпоративные информационные системы. Инженерия знаний.
Инструментальные средства и технологии разработки СУЗ
(распределенные и объектно-ориентированные базы данных,
хранилища данных, информационные порталы, мобильные офисы)

обеспечивает интегрированный подход к
созданию, сбору, организации, использованию информационных
ресурсов предприятия

и доступу к ним. Эти ресурсы включают
структурированные базы данных, документы и неявные знания
сотрудников.

Управление знаниями - это стратегия предприятия, включающая методы
коммуникаций на предприятии, направленные на обмен знаниями как
ресурсами, получение новых и обновление существующих знаний,
позволяющих сотрудникам своевременно решать конкретные задачи.

Знания, в отличие от других расходуемых ресурсов предприятия,
представляют собой активный ресурс, поскольку при их расходовании могут порождаться новые знания

2. Знания как объект управления характеризуются
сложностью, неоднородностью, динамичностью, а, самое главное,
многочисленными НЕ-факторами (неполнота, противоречивость,
неаддитивность, нелинейность, немонотонность и пр.)

знаний

произведения произвольных
n множеств:
R ⊆ X1 × X2 × …

× Xn.

На практике часто ограничиваются рассмотрением бинарных
отношений.

1. Пусть X и Y – два различных множества. Тогда подмножество
декартова произведения R ⊆ X × Y называется бинарным
отношением в широком смысле или соответствием.

2. Пусть имеем декартово произведение множества X на себя.
Тогда бинарное отношение определяется формулой R ⊆ X × X.

Другая запись бинарного отношения: x r y


1, если x=y
Отношение E (x,y) = называется единичным, т.е. играет роль
0, если x≠y
единицы для операции композиции

E ° R = R ° E = R.

Обратное отношение определяется как R −1 (x,y) = R (y,x), ∀x,y ∈ X

E ⊆ R или R(x,x) = 1, ∀x ∈ X

Слабая

рефлексивность:
R(x,x) ≥ R(x,y), ∀x,y ∈ X

II. Симметричность
R = R −1 или R(x,y) = R(y,x), ∀x,y ∈ X

III. Транзитивность:
R°R ⊆R – положительная
R°R ⊇R – отрицательная

IV. Полнота:
R ∩ R −1 = U или R(x,y) ∨ R(y,x) = 1, ∀x,y ∈ X

I*. Антирефлексивность:
R ∩ E = ∅ или R(x,x) = 0, ∀x ∈ X
Слабая антирефлексивность:
R(x,x) ≤ R(x,y), ∀x,y ∈ X

II*. Антисимметричность:

R ∩ R −1 ⊆ E или R(x,y) ∧ R(y,x) = 0,
∀x,y ∈ X, x≠y
II**. Асимметричность:
R ∩ R −1 = ∅ или R(x,y) ∧ R(y,x) = 0,
∀x,y ∈ X,

отношений с помощью графов выражает следующие их
свойства: 1) направленные (антисимметричные)

или ненаправленные
(симметричные) отношения⇔ориентированные или неориентированные
графы; 2) наличие или отсутствие рефлексивности (петель) ⇔ граф с
циклами или ациклический граф (дерево); 3) одно или большее число
отношений между вершинами ⇔ граф или мультиграф.
Граф есть пара
G = 〈V, А 〉,
где V – множество вершин v, а А ⊂ V × V – множество пар элементов
ai, aj (дуг, ребер) из V.
Здесь дугами называются упорядоченные пары вершин (случай
ориентированного графа), а ребрами – неупорядоченные пары
вершин (случай неориентированного графа). Граф с p вершинами и
q ребрами называется (p,q)-графом.
Геометрически вершины графа изображаются точками, а ребра –
соединяющими их отрезками (cо стрелками в случае дуг).
Ребрам графа можно приписывать знаки (знаковые графы) или числа
(взвешенные графы).

(наглядные)

НАГЛЯДНЫЕ МОДЕЛИ
ЗНАНИЙ


СЕМАНТИЧЕСКИЕ
СЕТИ
ФРЕЙМОВЫЕ
МОДЕЛИ

ОНТОЛОГИИ
СЦЕНАРИИ
ИНТЕЛЛЕКТ-
КАРТЫ
ПУТЕВЫЕ
КАРТЫ
КОГНИТИВНЫЕ
КАРТЫ

представления заявок (заказов, предложений и поставок) в
электронной коммерции.
Приведем пример

фрейма-прототипа для заказа в
Интернет-магазине.
Заказ ={, <Потребитель, …>, <Адрес,…>, <Телефон, …>, <Товар, …>}.
Соответствующий фрейм-экземпляр может иметь вид:
Заказ = {<1283>, <ФИО, Иванов А.Б.>, <Адрес, Москва ул. Садовая д. 3>, <Тел., +7-095-123-45-67>, <Товар, Велосипед Univega HT 510>}

B в случае выполнения условия A. Данная модель
хорошо выражает

эвристические знания, циркулирующие в
организационных сетях

«ЕСЛИ (условие А) ТО (действие B)»
Условие А = ((Факт1 И Факт2) ИЛИ (Факт3))

Пример. ЕСЛИ ((в магазинах стартует распродажа) ИЛИ (в магазинах заметно снижены цены))
ТО (ожидается резкий наплыв покупателей)

средства когнитивного моделирования, которые могут применяться для описания различных ситуаций,

а также для представления знаний о взаимоотношениях между людьми внутри организации и между отдельными организациями

граф:

G = 〈V, A, F〉,
где: V – множество вершин (концептов),
A – множество дуг (связей между концептами);
F = {+, –} – множество знаков дуг (типов связей между концептами).
Здесь знак + выражает положительную связь, а через – обозначается отрицательная связь.
В случае положительной связи усиление причинного концепта (фактора) приводит к усилению концепта-следствия: X↑ ⇒ Y↑,
а при отрицательной связи усиление фактора-причины приводит к ослаблению фактора-следствия: X↑ ⇒ Y↓

механизмов мышления путем преобразования
фрагментов текстового (последовательного) изложения в сетевую
(наглядно-образную) форму.

Интеллект-карта имеет следующие отличительные черты:

Ее структура имеет форму куста
Объект изучения сфокусирован в центре изображения (фокус внимания)
Основные темы, связанные с объектом изучения, расходятся от центра в виде ветвей, которые поясняются ключевыми словами
Вторичные идеи также ветвятся.
Ветви формируют связную узловую структуру

Т.Грубер, Н.Гуарино, Р.Мизогучи, Р.Студер, Т.А.Гаврилова,
А.С.Клещев, А.В.Смирнов, С.В.Смирнов и др.
Онтология

– это явное и формализованное определение структуры
некоторой проблемной области (темы).
Подобное описание всегда опирается на концептуализацию этой
области, которая обычно задается в виде системы исходных
объектов (понятий), отношений между ними и положений (аксиом).
Поэтому онтологию часто понимают как «спецификацию разделяемой
разными людьми концептуализации» или, иначе, отождествляют с
набором сосуществующих концептуальных моделей предметной
области.
По сути, онтологии отражают соглашения о единых способах
построения и использования концептуализации.

(FIPA98 Specifications), под онтологией
понимается «явное описание структуры некоторой проблемной области

(темы)».


Например, в русле обеспечения взаимодействия виртуальных партнеров в сети
Интернет онтология есть иерархия понятий и связей между ними, вместе с
системой ссылок на www-документы, привязанных к этим понятиям (связям).
В онтологии должны выражаться смысловые аспекты коммуникации агентов,
поэтому ее подчас интерпретируют как тезаурус с размеченными
семантическими связями.

В простейшем случае онтология описывает иерархию понятий, связанных
отношениями категоризации. В более сложных случаях в нее добавляются
подходящие аксиомы для выражения других отношений между понятиями и для
того, чтобы ограничить их интерпретацию.

Таким образом, онтология представляет собой базу данных/ знаний,
описывающую факты, которые предполагаются всегда истинными в рамках
определенного сообщества на основе общепринятого смысла используемого
словаря.

как древовидной (сетевой) структуры;
б) отображение достаточно богатого множества отношений,

включающего не
только таксономические отношения, но и отношения, отражающие специфику
предметной области;
в) применение декларативных и процедурных интерпретаций и отношений.

С формальных позиций онтология состоит из словаря терминов, образующих
таксономию, их определений и атрибутов, а также связанных с ними аксиом
и правил вывода.
Таксономическая структура подразумевает иерархическую систему понятий,
связанных между собой отношениями вида (is_a, μ) («быть элементом класса
с некоторой степенью μ»). Отношение is_a позволяет организовать структуру
понятий онтологии в виде дерева.

Обычно формальная модель онтологии представляется в виде тройки
ONT = 〈U, R, Ф〉,
где U – множество понятий предметной области,⏐U⏐≠∅,
R – множество отношений (возможно, взвешенных, нечетких) между
понятиями предметной области;
Ф ={f} – конечное множество функций интерпретации (аксиоматизация),
заданных на понятиях и/или отношениях онтологии ONT, f: Dn→{0,1},
D – область интерпретации.
В общем случае, значения истинности представляют собой числа из интервала [0,1], так
их можно понимать как значения вероятности, возможности или необходимости.

R, Ф〉.

Частные случаи: 1. Оба множества R и Ф пусты.

Тогда онтология ONT
трансформируется в простой словарь:
ONT0 = VOC = 〈 U, { }, { } 〉.
Онтологии-словари имеют ограниченное использование, поскольку в них явно не
рассматривается смысл терминов. Но если используемые в онтологии термины
принадлежат очень узкой области знаний и их смысл уже заранее хорошо согласован в
рамках определенного сообщества, то представление онтологии в виде простого словаря
достаточно эффективно (например, индексы машин поиска информации в Интернет).

2.⏐R⏐= ∅, но ⏐Ф⏐≠ ∅. Тогда каждому понятию из U может быть поставлена в
соответствие функция интерпретации f из Ф.
Пусть U=U1∪U2, где U1 – множество интерпретируемых терминов; U2 –множество
интерпретирующих терминов. Когда функция интерпретации f задается
оператором присваивания значений (U1:=U2, где U1 – имя интерпретации U2), то
онтология трансформируется в пассивный словарь VOCp.
Если же задать хотя бы часть интерпретирующих терминов из множества X2 процедурно,
то переходим к активному словарю VOCа. Элементы подобного словаря никак не связаны
между собой и играют роль ключей входа в онтологию.
3. ⏐R⏐ ≠ ∅, но ⏐Ф⏐= ∅. Теперь получаем тезаурус. В частном случае имеем
таксономию, которая определяется в виде ONT1 = TAX = (X, {(is_a, μ)}, {}).

(is_a);
2) таксономические отношения («класс-подкласс», «класс-
экземпляр);
3) родо-видовые

отношения;
4) партономические (или мереологические) отношения
(«часть–целое»);
5) отношения наследования или генеалогические связи
(«предок-потомок»).

Эти отношения могут быть как четкими, так и нечеткими, например,
нечеткие генеративные отношения «есть некоторый со степенью μ»
(is_a_with_ μ).

классе моделей (языке) представления информации и знаний, например, семантические сети,

унифицированный язык моделирования UML, язык веб-онтологий OWL и пр.
Метаонтология определяет класс моделей и языков представления информации и знаний. С ее помощью устанавливается соответствие между характером используемой информации (уровнем неопределенности) и выбираемым языком ее описания.
Гранулярная метаонтология определяет конкретный набор взаимосвязанных моделей и языков представления информации, каждый из которых ориентирован на работу с качественной, неточной, нечеткой, неполностью определенной информацией.
Сингулярная же метаонтология определяет либо один язык, либо семейство точных языков, ориентированных на работу с количественной, точной информацией.

Поверхностные

знания



УМЕНИЯ И КОМПЕТЕНЦИИ



Простейшие навыки Сложные навыки