Новые информационные технологии

М. Тореза

ЕЯ-системы - Системы обработки связных текстов, в том числе: - Системы

реферирования ЕЯ информации - Системы сравнения (классификации) ЕЯ информации - Системы кластеризаци ЕЯ информации

21

описаний определенных фрагментов действительности
Понимание текста трактуется как извлечение из

него всей существенной с точки зрения системы информации

из одного или многих источников информации
Новости, биржевые котировки, анонсы фильмов

– все это рефераты

Intelligent Text Miner, Oracle Context и Inxight Summarizer осуществляют выделение

фрагментов из исходного документа и соединение их в короткий текст
Краткое же изложение текста предполагает передачу основной мысли текста, и не обязательно теми же словами

составлять от 5 до 30% исходного текста
Необходима гарантия того,

что аннотация действительно является адекватной заменой текста

- Реферат может быть повествовательным, информативным или критическим
- Реферат

может быть общим или ориентированным на специфического пользователя

чтобы создать представление об источниках
Информативный реферат содержит основную или

новую фактическую информацию
Критический реферат (обзор) сообщает суть информации и предлагает мнение о ней

адаптирующихся к требованиям конкретных пользователей, приводят к тому, что настраиваемые

под пользователя рефераты приобретают все большее значение

его характерных фрагментов и
формирование соответствующего вывода

опоры на знания и с опорой на знания
Иначе - статистические

и синтаксические
Еще по другому: метод составления выдержек, и формирование краткого изложения

правило, предложениях)
Выделяются блоки наибольшей лексической и статистической релевантности
Итоговый документ

— просто соединение выбранных фрагментов

Основу аналитического этапа составляет процедура назначения весовых коэффициентов для блоков

текста в соответствии с расположением в оригинале, частотой появления, частотой использования в ключевых предложениях

со специальными параметрами настройки, дает общий вес всего блока текста

краткого изложения информации требуются мощные вычислительные ресурсы для систем обработки

естественных языков, в том числе грамматики и словари для синтаксического разбора и генерации естественно-языковых конструкций. Необходима ориентация на предметную область

языка. Синтаксический разбор входит составной частью в этот метод анализа

структуры всей исходной информации. В качестве таких структур могут быть

использованы формулы логики предикатов, семантическая сеть или набор фреймов

отсечения концептуальных подграфов
Затем информация подвергается дальнейшему агрегированию путем слияния графов

(или шаблонов) или обобщения информации

по существу, концептуальные «выжимки» из текста
Затем на основе шаблонов

синтезируется связный текст реферата

для обработки крупных массивов информации. Текст реферата лишен связности
Метод формирования

кратких изложений выдает более сложные аннотации, которые нередко содержат информацию, дополняющую исходный текст

все ключевые понятия текста вместе с их взаимосвязями (и потому

может считаться статической парадигматической структурой)

цепочку подобных структур по длине текста и формирует синтагматичскую динамическую

прагматическую структуру

связанными некоторыми отношениями
Наилучшим образом эти смысловые структуры могут быть представлены

предикатной структурой предложения

сказанное) – термин логики и языкознания, обозначающий то, что высказывается

(утверждается или отрицается) о субъекте
Предикат – не всякая информация о субъекте, но указание на признак субъекта, его состояние и отношение к другим объектам

– актанты предиката, Ri – отношения предиката, R0 – отношение

«быть субъектом»

- это глагольная конструкция, которая может иметь дополнительно атрибутивные компоненты
Актанты

могут быть представлены или в виде отдельных объектов, или в форме конкретных характеристик предикатора, представленных наречиями

глагол, прилагательное, наречие) достаточно для описания произвольной ситуации внешнего мира,

потому что местоимение и числительное всегда функционально эквивалентные существительному, а другие части речи выполняют служебные функции

текста выделяются содержащиеся в них предикатные структуры, а также отношения

сочинения, и атрибутивные отношения

структуры можно представить в виде последовательности шагов:
Членение предложения на

начальные сегменты
Построение синтаксических групп для каждого сегмента с помощью синтаксических правил
Установление иерархии между сегментами с помощью синтаксических правил

выстраиваются в цепочку, как и предложения текста, в которых они

содержатся. Это размеченный ориентированный граф

системам, а исследователям все более успешно удается объединять статистические методы

и методы, основанные на знаниях

адекватности (и достоверности) или пользы реферата по отношению к оригинальному

тексту
Сейчас известны две методики оценки. Первая – оценка «изнутри», вторая– оценка «извне»

основные идеи оригинала, оценивается гладкость текста
Во втором методе оценивается качество

реферата по тому, как он влияет на завершение той или иной работы, например, позволят ответить на вопросы, относящиеся ко всему содержанию текста

из источников разного типа на этапе анализа, на этапе извлечения

и на этапе синтеза, когда происходит интеграция информации разного типа

к одной из рубрик классификатора
Под кластеризацией корпуса текстов понимается разбиение

его на тематические рубрики

сравнения текстов
Кластеризация – на разбиении семантической сети корпуса текстов на

подсети

его необходимо подготовить к виду, удобному для обработки

текста
список ключевых слов, содержащихся в тексте
список ключевых слов, объединенный в

сеть

анализа сегментируется на слова и предложения
Удаляются общеупотребимые и
рабочие слова
Проводится

морфологический анализ оставшихся слов

не несут смысла в предметной области текста
Они удаляются на основе

частотного анализа

сделать, используя заранее вручную сформированные перечни общеупотребимых слов
Это позволяет устранить

информационный шум

слова заменяются их корневыми основами, которые могут содержать помимо корня

еще и суффикс (суффиксы)

корректируется вручную

языка индексов: полнота и специфичность языка индексов
Полнота это количество

понятий, извлекаемых из текста (полнота описания содержания)
Специфичность – способность точно описать текст (разделять тексты)

на частоте встречаемости слов в тексте

слова в тексте, а r – ранг этого слова (степень

важности слова в тексте). Тогда кривая, связывающая ранг слова с частотой его встречаемости имеет вид гиперболы, что означает, что произведение частоты встречаемости на его ранг есть константа

взвешивания – выявление на частотной гиперболе слов в соответствие с

мысленной гауссианой: центр гауссианы приходится на наиболее весомые слова текста

связан с частотным распределением слов в коллекции документов: чем в

меньшем числе текстов встречается понятие, тем оно более специфично

взвешивания – перенормировка в соответствие со структурой текста
Чем с большим

числом понятий связано слово в данном тексте, тем имеет больший вес

мы будем понимать степень пересечения некоторых признаков текстов
Такими признаками могут

быть индекс текста, или семантическая сеть

right
citizens

мы будем понимать отнесение текста к одной или нескольким рубрикам

классификатора путем сравнения этого текста и текстов рубрик

классификации основаны на предположении, что тексты относятся к тематической рубрике

по отличительным признакам (словам или словосочетаниям – индексу текста)

классификация осуществляется определением степени пересечения индекса анализируемого текста и индексов

рубрик. В этом случае мера сравнения есть просто пересечение

множества текстов (корпуса текстов) на подмножества, которые группируются вокруг определенных

тем. Эти темы могут быть заданы заранее, а могут быть выявлены после того, как произведена группировка текстов

методов, подходов и процедур, разработанных для решения проблемы формирования однородных

классов (кластеров) в произвольной проблемной области

обучающей выборки на подмножества, называемые кластерами, так, чтобы каждый кластер

состоял из объектов, близких по некоторой метрике, а объекты разных кластеров отстояли друг от друга на значительном расстоянии

интерпретируемости найденных кластеров в терминах смысла содержания относящихся к ним

документов

– выявление ключевых понятий с их связями
Формирование тематической структуры текста

Формирование гипертекстового представления

тексту
Формирование реферата, тематического реферата
Кластеризация текстов
Сравнение (классификация) текстов

обработка

Удаление нетекстовой информации
Сегментация на осмысленные фрагменты (предложения)
Удаление стоп-слов, рабочих

и общеупотребимых слов
Морфологическая обработка

частотного портрета текста
Вычисление частоты встречаемости корневых основ в тексте
Вычисление частоты

попарной встречаемости корневых основ в тексте
Формирование первичной ассоциативной сети
Выявление устойчивых словосочетений

весовых характеристик понятий

слов и
общеупотребимых слов
3. морфологический анализ
4. построение частотного портрета
5. перенормировка

square the circle of European Union as the super nation-state

of the nation states of Europe.
95 In order for it not to become a threat perceived by the population in identity terms, the apparently forthcoming idea of European citizenship needs to address the concerns of both traditional and new ethnonational minorities at the state level and underneath.
98 2) what is your opinion about the right to vote and be elected in local elections, that has been granted to citizens of a European Union member state while residing in the territory of any other member state.
95 An American graduate student could set out to study how Spanish citizenship (of Spain, that is) relates to European citizenship.
99 The aim of this paper is also to open a methodological and conceptual reflection -- a goal which originated in my ongoing research on cultural citizenship and the creation of European identity (Delgado, 1997).
95 Latino communities in the United States, and the proposal of European identity made by the European Union Administration during the past five years.

The question of methodology is rarely raised within the field of
citizenship studies. Citizenship seems a well-defined concept. Its
technical and colloquial meaning coincide. As many empirical projects focus
on specific aspects of citizenship in particular regions, outlining the
scope of the project seems the only necessary methodological distinction.
When doing qualitative research, however, we discover that clear words
(such as citizenship and identity) in reality comprise a complex network of
behavior, emotions and history. Such and such person is Spanish, a Turkish
immigrant in Germany, a French Basque, etc. But soon enough we discover
that the limits and relations between these concepts are not so easy to
draw, just as the reality they try to account for is more subtle than what
the labels indicate. We decide that next time we will not ask what
nationality you are but rather, for instance: 1) whether you would relocate
to another European country if you were offered a position; 2) what is your
opinion about the right to vote and be elected in local elections, that has
been granted to citizens of a European Union member state while residing in
the territory of any other member state.

Another example may be useful. An American graduate student could set out
to study how Spanish citizenship (of Spain, that is) relates to European
citizenship. Her first discovery would be that while there is nothing wrong.....

Текст

Реферат

– подтемы