Оценка эффективности технологий систематизации и поиска электронной научной

ИАС «Природные ресурсы Карелии»
© Вдовицын В.Т., Лебедев В.А.

Институт прикладных математических

исследований
Карельского научного центра РАН
г. Петрозаводск

RCDL’2011, Воронеж, 19-22 октября 2011 г.

информационно-аналитической системы для поддержки научной, аналитической и управленческой деятельности по

природным ресурсам и окружающей среде Карелии необходимо для координации и проведения междисциплинарных научных исследований, выполняемых институтами КарНЦ РАН в рамках задач инвентаризации природных ресурсов, при оценке состояния окружающей среды и экологических последствий планируемых и проводимых на территории Карелии и сопредельных регионов мероприятий в сфере промышленности, лесного, сельского и рыбного хозяйства.

Для достижения поставленной цели на наш взгляд следует в первую очередь обеспечить автоматизированный сбор, систематизацию и эффективный доступ ученых и специалистов к необходимой научной информации.

Система разрабатывается с применением современных ГИС и Веб-технологий, а также методов онтологического моделирования и включает разнообразную научную информацию по природным ресурсам Карелии, полученную в результате проведения многолетних исследований в КарНЦ РАН.

Карелии»

2011 г.
Проблема рационального использования огромных хранилищ электронной информации в интересах

науки, образования, разработки и развития высокотехнологичных производств остается актуальной.

Традиционные методы информационного поиска, основанные на использовании ключевых слов, обладают рядом недостатков, связанных, например, с многозначностью (polysemous) используемых в запросе терминов, а также недостаточным знанием пользователями терминологии самой предметной области.

Одним из перспективных направлений исследований и разработок в плане повышения эффективности информационного поиска является применение методов онтологического моделирования (ontology-based information retrieval). Такие системы информационного поиска учитывают смысловое содержание терминов запроса, используют онтологии, как для индексации информационных ресурсов, так и для организации семантического поиска.

и индексацию электронных публикаций.

Предметизация публикации осуществляется на основе анализа

ее названия и ключевых слов. В результате выполняется предварительное отнесение публикации к соответствующим рубрикам ГРНТИ.

На этапе индексации текст публикации, с целью выявления имеющейся в их составе терминологии, сопоставляется с фрагментом таксономии терминов, отнесенном к соответствующей рубрике ГРНТИ. При этом происходит уточнение предметизации и формирование индекса публикации.

Воронеж, 19-22 октября 2011 г.
термины в таксономии связаны типами отношений

классификации (род-вид), агрегации (часть-целое) и синонимии. Два первых типа формируют иерархическую структуру таксономии. Синонимия терминов образует отдельную таблицу, записи которой - синонимические гнезда по отношению к доминантному термину.

научных публикаций:
описание результатов экспериментов, наблюдений, мониторинга и технологий;
обобщенное описание

объектов исследований, разработок;
состояние, проблемы и перспективы научных дисциплин, междисциплинарных исследований (общие вопросы по дисциплинам, наукам).
Для каждого типа публикаций разработана обобщенная схема логического условия: < объект эксперимента> AND (<объект его целое> OR <объект его часть> OR <действующий фактор> OR <действие> OR <результат>) AND <границы, ограничения>;
<объект описания> AND (<тема> OR <пусто>);
<дисциплина> AND (<характеристика> OR <пусто>)

представленный в виде правила-продукции ЭС

IF (фитогеография OR фитоценология

OR геоботаника OR растительность OR сообщество OR фитоценоз OR ценофлора)

THEN рубрика ГРНТИ – 34.29.35. Растительность. Фитоценологии;

порядку рубрику ГРНТИ, к которой она отнесена на этапе предметизации;
выделяем

соответствующий фрагмент онтологии для этой рубрики; осуществляем подготовку текста публикации и фрагмента онтологии для индексирования (переводим в текстовый формат, удаляем из текста слова, не несущие смысловую нагрузку);
3. последовательно сравниваем слова текста публикации с терминами выделенного фрагмента онтологии (включая синонимы терминов) и формируем совокупность терминов онтологии, входящих в текст публикации.

В результате индексации массива публикаций формируется база
индексов, которая используется для поиска данных по запросам.

Индекс представляет собой ряд строк (ветвей таксономии), начиная с названия рубрики (корня) и включая все термины таксономии вплоть до найденного термина

на этапе индексации - для каждой публикации и рубрики ГРНТИ осуществляем следующие действия:

формирование запроса пользователем

октября 2011 г.

в отклике на запрос будет выполняется по следующим правилам.

Первый

ранг назначается документам, в которых полный набор терминов запроса встречается в его заголовке и аннотации.

Далее определяется встречаемость набора терминов запроса в тексте документов и вычисляется отношение этого числа к числу страниц текста.

Если это отношение не меньше половины, то документу присваивается второй ранг, а если это отношение меньше 0.5 – третий ранг.

После чего выполняется упорядочивание документов отклика в соответствии с назначенными рангами.

следующие показатели:
ПОЛНОТА означает, что найдены все релевантные запросу публикации, имеющиеся

в массиве (Однако, сплошной просмотр всех публикаций в массиве приводит к существенному увеличению времени поиска; для уменьшения этого времени целесообразно систематизировать массив публикаций так, чтобы поиск выполнялся только в определенной части массива)

ТОЧНОСТЬ означает, что в отклике на запрос присутствуют именно те публикации, которые соответствуют указанным в запросе требованиям пользователя, и в нем отсутствуют публикации из других предметных областей (одним из главных средств борьбы за точность поиска также является систематизация публикаций).

ПЕРТИНЕНТНОСТЬ означает, что отобранные релевантные запросу публикации соответствуют информационным потребностям пользователя, его специальности, области интересов и, в идеальном случае, не содержат публикации из других предметных областей.

информационного поиска
тестовую коллекцию документов (1000 научных публикаций в

области биологических наук);
тестовое множество информационных потребностей пользователя, выражаемых в виде запросов (выбрали 7 запросов);
набор бинарных оценок для каждого найденного документа, характеризующих релевантность или нерелевантность данных документов к запросам (привлекли экспертов).

Для исследования качества предлагаемых методов систематизации и поиска информации в ИАС использовались традиционные метрики: полнота – r = a/(a+c); точность – p = a/(a+b) (где: a – найденные релевантные документы, b – найденные нерелевантные документы, c – ненайденные релевантные документы); пертинентность – P = a1/(a+b), где: a1 – количество пертинентных документов, (a+b) – общее количество документов в отклике на запрос.

в следующей таблице.

2011 г.
1. массив электронных публикаций, в котором осуществляется поиск, предварительно

систематизирован по предметному рубрикатору (в нашем случае по ГРНТИ) – уменьшается время поиска

2. индекс каждой публикации автоматически формируется с использованием таксономии терминов и на наш взгляд более детально характеризует ее содержание по сравнению со списком ключевых слов (пользователь, как правило, указывает в запросе 2-3 ключевых слова, не всегда владеет терминологией предметной области; в нашем случае система АВТОМАТИЧЕСКИ вставляет в запрос «связанные» в рамках онтологии дополнительные ключевые слова)

3. в системе предусмотрена возможность (с использованием таксономии терминов) автоматического уточнения смысла многозначных терминов запроса (например, полисемия терминов устраняется в процессе построения запроса за счет «отсечения» других предметных областей).

сформирована выборка релевантных статей
ПРИМЕР

содержат термина «лекарственные», например, статья «Василек луговой». Однако, там содержатся

термины «желчегонное», «противовоспалительное», «ревматизм»

индекс статьи включены термины предыдущих уровней таксономии, в частности, термин

«лекарственное»

University … Degree of Doctor of Philosophy. 2006.
RCDL’2011, Воронеж,

19-22 октября 2011 г.

Наиболее близкими по теме наших исследований являются подходы, представленные в работах:

Hans-Michael Muller, Eimear E. Kenny, Paul W. Sternber Textpresso: An ontology-based information retrieval and extraction system for biological literature / PLoS Biology 2 (11) (2004).

Д.Е. Пальчунов Решение задачи поиска информации на основе онтологий //Бизнес информатика № 1–2008 г. С. 3–13. и др.

Добров Б.В., Лукашевич Н.В. и др. Разработка лингвистической онтологии по естественным наукам для решения задач информационного поиска //Труды Седьмой Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» – RCDL’2005, Ярославль, Россия, 2005 С. 70–79.

2011 г.
Оценить зависимость показателей качества поиска от «полноты» онтологии и

логических условий предметизации.

Для пополнения хранилищ информации в ИАС предполагается разработать сервис автоматического поиска тематической научной информации в сети Интернет, основанный на применении технологии web crawling, с систематизацией найденной научной информации и пополнением информационных хранилищ системы.

Исследовать возможности технологии систематизации и поиска для решения проблемы интеграции информационной компоненты ИАС с ГИС-компонентой системы (в текстах научных публикаций часто встречаются географические названия …).

ИНДЕКС формируется по разработанной технологии систематизации и поиска электронных публикаций

с использованием ОНТОЛОГИИ ГЕОГРАФИЧЕСКИХ НАЗВАНИЙ РЕГИОНА

! ПРИМЕР онтологии географических названий
!
! Республика Карелия
! Петрозаводск
! Районы
! …
! Кемский
! Города
! Кемь
! Поселки
! Юма
! Шомба
! …
! Реки
! Кемь
! Шомба
! …
! Озера
! Болота

виде прямоугольника);

СИСТЕМА: осуществляет обратное геокодирование (запрос всех имен объектов по

заданным координатам с использованием ТЕЗАУРУСА ГЕОГРАФИЧЕСКИХ НАИМЕНОВАНИЙ);
поиск ПО ГЕОГРАФИЧЕСКИМ ИНДЕКСАМ тех публикаций, в которых присутствуют соответствующие имена объектов;
обращение к поисковой машине ИАС, формирование запроса с автоматическим ДОБАВЛЕНИЕМ дизъюнкции соответствующих имен объектов.

ЭБ-клиент: с помощью поисковой машины ИАС находит по запросу ряд публикаций;
Для каждой публикации СИСТЕМА может (по ГЕОГРАФИЧЕСКОМУ ИНДЕКСУ и с использованием ТЕЗАУРУСА ГЕОГРАФИЧЕСКИХ НАИМЕНОВАНИЙ) автоматически указать соответствующий участок КАРТЫ.

разработке и реализации программного обеспечения
ИАС «Природные ресурсы Карелии»
Н.Б. Луговой,

В.Г. Старковой, М.В. Гушкалову
Демонстрационный прототип системы представлен в сети Интернет – http://ias.krc.karelia.ru
Работа частично поддержана грантами РФФИ № 08-07-00085а, № 09-07-12074 офи_м, а также - the projekt CoReLib saported by the Swedish Institude by grant № 00760-2010

СПАСИБО ЗА ВНИМАНИЕ