Слайд 1Лекция 2:
Информация в науке: оценка качества, судьба, цитирование
Слайд 2Задачи лекции
Ознакомление с существующими системами оценки научных публикаций.
Ознакомление с факторами,
влияющими на частоту цитирования научных публикаций.
Слайд 3Структура первой части
Наукометрия и цитирование публикаций.
Импакт-фактор.
Сравнение российских и международных журналов
по факторам, определяющим качество статьи.
Publication Forum Rating.
Выбор места публикации.
Слайд 4Учимся писать по-русски
Четкость формулировок чрезвычайно важна при описании как методики
исследований, так и полученных результатов.
Особенно важно стремиться к максимальному
сужению смысловой нагрузки научных терминов.
Слайд 5Лирическое отступление
Что значит имя?
© Айзек Азимов
ЭКОЛОГИЯ
Слайд 6Лирическое отступление
Что значит имя?
© Айзек Азимов
ЭКОЛОГИЯ
Эколо́гия (от др.-греч. οἶκος
- обиталище, жилище, дом, имущество и λόγος - понятие, учение,
наука) — наука об отношениях живых организмов между собой и с окружающей средой.
Слайд 7Лирическое отступление
«Плохая экология и здоровье человека»
«Плохая экология воздуха вредит здоровью
молодого сердца»
«Плохая экология требует аудита»
«Испорченная экология страны»
«Кожевенный завод испортил
экологию Каргополья»
«Зарплаты москвичам, погубленная экология и ситуация, доведённая до забастовки»
Слайд 8Количество статей, содержащих в заголовке либо аннотации слово ecolog* (Web
of Science)
Слайд 9Наукометрия
За последние годы приобрела невиданную ранее популярность.
Одна из задач
– оценка качества информации и оценка успешности отдельных ученых, коллективов
и стран в целом.
Сверхзадача – оптимизация планирования исследований и распределения фондов.
Слайд 10Карта мира с демонстрацией доли каждой страны в общем объеме
публикаций в научных журналах в 2001 году
http://scipeople.livejournal.com/2011/10/26/
Слайд 11Padial AA et al. Weak evidence for determinants of citation
frequency in ecological articles. SCIENTOMETRICS 85: 1-12, 2010
Leimu R, Koricheva J. Does scientific collaboration increase the impact of ecological articles?
BIOSCIENCE 55 (5): 438-443, 2005
Glanzel W. National characteristics in international scientific co-authorship relations.
SCIENTOMETRICS 51: 69, 2001
King DA. The scientific impact of nations.
NATURE 430: 311-316, 2004
Tregenza T. Gender bias in the refereeing process?
TRENDS IN ECOLOGY & EVOLUTION 17: 349, 2002
Примеры наукометрических работ
Слайд 12Критические публикации
Михайлов, О. В. Претензии к индексу цитирования // Химия
и жизнь - XXI век. 2004. N 12. - С.
12.
Ашкинази, Л. А. Жил-был индекс цитирования // Химия и жизнь - XXI век. 2005. N 4. - С. 46-49.
Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). – Москва, МЦНМО. 2011. 72 с. (http://www.mccme.ru/free-books/bibliometric.pdf)
Слайд 13Радикальная точка зрения
«Разве можно оценивать эффективность фундаментальной науки и науки
вообще, по количеству статей в журналах – наших или зарубежных?
Получается - прокукарекал в журнале, а там хоть не рассветай!»
«То же относится и к цитированиям. Кстати, по договоренности сторон можно так накрутить этот индикатор, что будет зашкаливать… ”Ученый” накручивает своему напарнику, а тот – ему».
© Михаил Пашкин, председатель координационного
совета профсоюза сотрудников милиции
(www.echo.msk.ru/blog/pashkin/1160640-echo/)
Слайд 15Взвешенный взгляд на проблему
Для анализа состояния науки и принятия решений
нужны индикаторы.
Один из таких индикаторов - интенсивность коммуникаций.
Способ фиксации
интенсивности коммуникаций - цитирование.
Л. Ашкинази (2005)
Слайд 16Взвешенный взгляд на проблему
Индикатор «цитирование» имеет много недостатков, но он
на сегодня является самым лучшим «по сумме баллов».
Недостатки данного
индикатора преувеличиваются теми, для кого он невыгоден.
Существенная часть недостатков данного индикатора при использовании его для изучения российской науки - следствие уродливых отклонений в ее развитии.
Л. Ашкинази (2005)
Слайд 17Лирическое отступление
«Пустыня – это бездарно! Но она существует. И с
этим приходится считаться.»
И. Ильф, Е. Петров. Золотой теленок
Слайд 18Импакт-фактор
Импа́кт-фа́ктор (ИФ, или IF) — численный показатель цитирования публикаций научного журнала.
Ежегодно рассчитывается Институтом научной информации (англ. Institute for Scientific Information, ISI).
ИФ
(2012) = количество ссылок на статьи, опубликованные в 2010-2011 / количество статей, опубликованных в 2010-2011.
ИФ за 5 лет (2012) = количество ссылок на статьи, опубликованные в 2007-2011 / количество статей, опубликованных в 2007-2011.
Слайд 20Импакт-фактор
В соответствии с ИФ (в основном в других странах, но
в последнее время все больше и в России) оценивают уровень
журналов, качество статей, опубликованных в них, дают финансовую поддержку исследователям и принимают сотрудников на работу.
Слайд 21Импакт-фактор
Например, при подаче заявок на так назы-ваемый «конкурс 220» (Постановление
№ 220 "О мерах по привлечению ведущих учёных в российские
образовательные учреждения высшего профессионального образования») для ведущего ученого необходимо указывать «средневзвешен-ный импакт-фактор изданий, в которых были опубликованы статьи» (за последние пять лет и за весь период научной деятельности).
Слайд 22Квартиль
Квартиль (четверть) Q — это категория научных журналов, которую определяют
библиометрические показатели, отражающие уровень цитируемости, то есть востребованность журнала научным
сообществом.
Журналы по узкой предметной области ранжируются по убыванию. Полученный список делится на 4 равные части.
Слайд 23Квартиль
В результате ранжирования каждый журнал попадает в один из четырёх
квартилей: от Q1 (самый высокий, к которому принадлежат наиболее авторитетные
иностранные журналы) до Q4 (самый низкий).
Система квартилей позволяет наиболее объективно оценить качество — уровень журнала вне зависимости от предметной области.
Слайд 24Количество журналов в базе данных ISI (2011) и их средний
импакт-фактор
*Медиана.
Слайд 25Импакт-факторы журналов РАН, переводимых на английский язык
Слайд 26Сопоставление национальных журналов по ИФ
Слайд 27Лирическое отступление
Перевод российских биологических журналов на английский язык – малополезное
занятие.
Слайд 28Сопоставление российских и международных журналов по наличию данных в статьях
(%)
Козлов, Воробейчик (2012)
Слайд 29Сопоставление российских и международных журналов по полноте изложения материала
Козлов, Воробейчик
(2012)
Слайд 30Сопоставление российских и международных журналов по факторам, связанным с качеством
исследования
Козлов, Воробейчик (2012)
Слайд 31Выводы
Российские журналы в среднем предъявляют более низкие требования к качеству
рукописей, чем международные журналы.
Тем не менее (либо благодаря этому) конкуренция
за публикацию в них довольно высока.
Статьи, опубликованные в российских журналах, цитируются в среднем в 10 раз меньше, чем статьи, опубликованные в международных журналах.
Слайд 32«Накручивание» импакт-фактора
Возможно как результат редакционной политики: рекомендация авторам активно цитировать
ранее опубликованные статьи из того журнала, в который они подают
рукопись.
Судя по всему, такой способ применяется в журналах, издаваемых «Академией Естествознания» (г. Пенза), включая журнал «Успехи современного естествознания».
Слайд 33Выбор места публикации
По крайней мере частично диктуется принципами научной
этики (принцип открытости научных результатов).
Новое знание только тогда становится составным
элементом научной картины мира, когда оно проверено и признано научным сообществом.
Слайд 34Выбор места публикации
Место публикации должно, в идеале, обеспечивать доступ
к работе максимального числа заинтересованных пользователей.
Часто это пожелание подменяют требованием
публикации в наиболее престижных журналах.
На практике доступность публикации определяется:
попаданием в поисковые системы,
языком публикации и
наличием ее полного текста в Интернете.
Выполнение первых двух требований гарантированно обеспечивают международные журналы, попадающие в базу данных ISI.
Слайд 35Судьба статьи зависит
от качества журнала!
Хотя частота цитирования и возрастает
с «качеством» журнала, публикация в престижном журнале не служит гарантией
признания работы.
Leimu & Koricheva (2005)
Импакт-фактор журнала
Кол-во ссылок в год
Слайд 36Судьба статьи зависит
от качества журнала!
(экспериментальная проверка)
Несколько медицинских статей были
одновременно опубликованы в двух разных журналах (в США и в
Европе).
Импакт-фактор журнала, издаваемого в США, был в 5.5 раз выше.
Ссылки на статьи в этом журнале появлялись вдвое чаще, чем ссылки на «статьи-близнецы» в Европейском журнале.
Слайд 37Зарплата автора зависит
от выбора места публикации
Чисто российское изобретение -
показатель результативности научной деятельности (ПРНД).
Официально (т.е. как обязательный для всех
институтов) действовал до конца 2008 г.
После этого решение принималось самостоятельно каждым институтом: кто-то вообще отменил, большинство серьезных институтов оставило, изменив название (например, в ИЭРиЖ УрО РАН – «рейтинговые надбавки»).
Суммы выплат сотрудникам ИЭРиЖ составляют от 0 до 27 тыс. в месяц (медиана - 2 тыс).
В ряде институтов система осталась, но суммы - символические.
Слайд 38Зарплата автора зависит
от выбора места публикации
Введение системы поощрений (в
1999) в ИЭРиЖ привело к росту количества публикаций, в том
числе и в сборниках статей.
Исключение публикаций в сборниках из системы поощрений (в 2010) привело к перераспределению публикаций сотрудников в пользу журналов.
в журналах
в сборниках
© Е. Л. Воробейчик (2014)
Слайд 39Зарплата автора зависит
от наличия публикаций
Система стимулирования и премирования (так
называемый эффективный контракт) сейчас внедрена в САФУ.
В положении по
эффективному контракту есть градация статей в журналах с разным импакт-фактором (Q4-Q1).
Слайд 40Депонированные рукописи
Процедура депонирования рукописей была популярна лет тридцать назад.
Это был
какой-то выход при сложности и длительности публикации просто по техническим
причинам.
Теперь, с новыми технологиями и изобилием разных сборников и журналов депонирование утратило смысл.
Слайд 42Депонированные рукописи
Очень удобно посылать на депонирование любую хрень, которую стыдно
показывать людям. И любая депонированная статья в списке опубликованных работ
будет вызывать вопрос: «А какого черта вместо нормальной публикации этот чудик депонировал статью непонятно какого качества? Уж не пытается ли он раздуть число публикаций, скрывая их крайне низкое качество?» © AceRimmer
(www.aspirantura.spb.ru/forum)
Слайд 43Депонированные рукописи
Практическая недоступность публикации (личный опыт лектора: получение копии из
ВИНИТИ занимает от 2 до 4 месяцев!)
Отсутствие рецензирования и, как
следствие, низкое качество публикации.
Слайд 44Хотите напечатать монографию?
Существует некоторое количество издательств (в том числе и
международных), которые рассылают письма с приглашением издать у них свой
труд в виде монографии.
Эти издательства даже присваивают публикациям международный регистрационный номер (ISBN).
Слайд 47Хотите напечатать монографию?
Издаваемые книги никем не рецензируются, не вычитываются и
не редактируются.
Основная масса продукции издательства - откровенно сомнительного качества.
Поэтому те, кто хоть что-то знает об этом издательстве, к книгам и авторам относятся скептически.
Стоит ли публиковать монографию, если потом будет стыдно включать ее в список опубликованных работ? Ведь есть и другие способы публикации, пусть и более хлопотные.
© Dan (http://forscientists.ru/2011/10/lambert-
academic-publishing/)
Слайд 48Хотите напечатать монографию?
По сути, публикация монографии в издательстве, подобном Lambert
Academic Publishing, ничем не отличается от депонирования рукописей.
Слайд 49Хотите напечатать статью в зарубежном журнале?
Dear Sir/Madam,
Scholarly Journals is a
multidisciplinary peer-reviewed journal published monthly. Scholarly Journals is dedicated to increasing
the depth of the subject across disciplines with the ultimate aim of expanding knowledge of the subject.
We invite you to submit your manuscript(s) to support@scholarly-journals.com for publication. Our objective is to inform authors of the decision on their manuscript(s) within four weeks of submission. Following acceptance, a paper will normally be published in the next issue. Instruction for authors and other details are available on online.
We publish article in the following journals:
Scholarly Journal of Biological Science (ISSN 2315-6147)
Scholarly Journal of Agricultural Science (ISSN 2276-7118)
…
Kindly send us your manuscript for consideration.
Regards,
Editor
Слайд 50Хотите напечатать статью в зарубежном журнале?
Выбирайте журнал самостоятельно, не ориентируясь
на подобные приглашения.
Приглашения, как правило, предполагают плату за публикацию (но
это выясняется на последующих этапах общения с редакцией).
Рецензирование в подобных журналах обычно формальное, иногда фальсифицированное.
Ориентируйтесь на импакт-фактор (только в базе данных Web of Science!), издательство, историю и репутацию журнала.
Слайд 51Это полезно запомнить:
Papers are your legacy to science (Статьи –
Ваше научное наследие).
Failure to publish is a scientific crime (Нежелание
публиковать результаты – преступление перед наукой).
Phil Clapham, 2005
Слайд 52Это полезно запомнить:
Один из индикаторов развития науки - интенсивность коммуникаций.
Способ фиксации интенсивности коммуникаций - цитирование.
Импакт-фактор — численный показатель цитирования публикаций
научного журнала.
Место публикации должно обеспечивать доступ к работе максимального числа заинтересованных пользователей.
Слайд 53Структура второй части
Подсчет количества цитирований.
Факторы, влияющие на частоту цитирования научной
работы.
Частота цитирования как оценка профессиональной деятельности ученого.
Оценка научных достижений страны
по цитируемости публикаций.
Слайд 54Вторичная оценка качества: цитирование
Оценка результативности ученого зависит от количества
статей, позиции в списке соавторов, и импакт-фактора журнала.
Максимальной формализованности подобная
система оценки достигла в Японии и Испании.
Сформировалось бюрократическое “audit society”.
Многие ученые с энтузиазмом приняли правила игры, навязанные бюрократами.
Слайд 55Количество цитирований – иностранный автор
Слайд 56Количество цитирований – иностранный автор
Слайд 57Количество цитирований – иностранный автор
Слайд 58Искомая статься в БД отсутствует.
Количество цитирований – иностранный автор
Слайд 60Количество цитирований – русский автор
Слайд 61Количество цитирований
Количество цитирований и все индексы, основанные на их расчете,
зависят от используемой базы данных.
Чаще всего используется Web of Science.
Слайд 62Что определяет «судьбу» работы?
What determines the citation frequency of
ecological papers?
Roosa Leimu and Julia Koricheva
Trends in Ecology &
Evolution 20 (1) : 28-32
Основной вопрос: Как происходит выбор цитируемых работ, и почему некоторые работы цитируются чаще других?
Слайд 63Связь с доминирующей теорией
Работы, поддерживающие общепринятую гипотезу, цитируются чаще
работ, которые не поддерживают либо отвергают её.
Однако если гипотеза подвергается
сомнению, частота цитирования скептических работ возрастает.
Тенденциозный (иногда неосознанный) подбор ссылок может использоваться для того, чтобы убедить читателя в своей правоте.
Слайд 64«Цена» защиты от фитофагов
Гипотеза предсказывает, что усиление защиты от поедания
животными (шипы, биохимия и т.п.) приводит к ослаблению роста и
размножения растений, то есть между этими величинами наблюдается отрицательная корреляция.
Статья, где сформулирована эта гипотеза, называется «The dilemma of plants - to grow or defend».
Leimu R, Koricheva J. 2004 – Proc R Soc Lond B, 271 (1551): 1961-1966
Слайд 65«Цена» защиты от фитофагов
Leimu R, Koricheva J. 2004 – Proc
R Soc Lond B, 271 (1551): 1961-1966
Журналы с высоким импакт-фактором
избирательно
публиковали статьи в
поддержку популярной гипотезы...
Импакт-фактор
Величина эффекта
Слайд 66Избегайте публикации
«кратких сообщений»!
Более длинные статьи цитируются чаще, чем короткие
(r = 0.136, P = 0.05, N = 216)
Одна
из гипотез – длинные статьи более заметны (что, правда, сомнительно, – редко кто открывает журнал наугад). Альтернатива – они содержат больше информации.
Длина статьи может быть связана с ее качеством, поскольку рецензенты призваны следить за тем, чтобы размер статьи был адекватен ее информационному содержанию.
Слайд 67Индивидуализм и коллективизм
Статьи, подготовленные крупными авторскими коллективами, в среднем цитируются
чаще.
Кол-во ссылок в год
Количество соавторов
Слайд 68Поменять фамилию на Ааронов?
Отклонена гипотеза о преимущественном цитировании авторов, чьи
фамилии стоят ближе к началу алфавита.
Уехать в Америку?!
Статьи англоязычных
авторов цитируются чаще, чем статьи авторов, для которых английский язык не является родным.
Статьи авторов из США цитируются чаще, чем статьи авторов из Европы.
Слайд 69«Неравенство» между авторами из разных стран
Opthof, T. 1997 – Cardiovascular
Research 33: 1-7
Количество цитат на одну статью
США
Финляндия
Япония
Слайд 70«Неравенство» между авторами из разных стран: статьи по экологии и
охране природы (2012)
Среднее количество ссылок
на одну публикацию
Слайд 71Насколько важна кооперация?
Междисциплинарное сотрудничество между институтами повышает частоту цитирования.
Междисциплинарное сотрудничество
внутри института понижает частоту цитирования.
Международное сотрудничество не влияет на частоту
цитирования.
Международное сотрудничество более «выгодно» ученым из США, чем ученым из Европы.
Leimu R, Koricheva J. 2005 – BioScience 55: 438-443
Слайд 72Ошибки при цитировании
(Kotiaho et al. 1999 – Nature 400: 307)
Ошибки
в цитировании достигают 10%, то есть в каждой десятой ссылке
содержатся ошибки.
Ошибки в фамилии автора «занижают» его вклад в науку (оцениваемый по индексу цитирования).
Ошибки в «чужих» фамилиях встречаются в 2-3 раза чаще, чем в «своих».
Преимущественно страдают авторы из не-англоязычных стран.
Слайд 73Как будет «Иванов» по-английски?
Ivanov – 22,473
Ivanoff – 399
Iwanow – 72
Iwanov
– 50
Ivanof – 6
Iwanoff – 4
Ivanow - 4
Слайд 75«Рассеянная» информация: региональные издания, сборники статей, труды конференций
Как правило,
недоступна даже внутри страны.
Не входит в РЖ и базы данных.
Не
цитируется никем и никогда, кроме самого автора.
Преобладание подобных изданий в списке литературы наводит на мысль о том, что автор не уверен в своих результатах и не решается публиковать их там, где их могут увидеть критически настроенные коллеги.
Слайд 76Лирическое отступление
Какова ценность работ, опубликованных в сборниках типа «братская могила»?
Издательская
деятельность вузов и региональных институтов – шаг вперед или два
шага назад?
«Призрачные публикации» как новый феномен российской науки.
Слайд 77Информация в Интернете
Практически все ведущие журналы имеют интернет-архивы.
Часто в
сети размещается дополни-тельная информация, которая не может быть опубликована в
журнале.
Авторы размещают pdf файлы статей.
Намечается переход к «безбумажной» публикации. (zookeys.pensoft.net; http://www.entomologicafennica.org/Volume26/EntFenn2015.htm)
Нет уверенности в надежности электронных изданий.
Слайд 79Практические рекомендации
Избегайте любых сборников.
Избегайте региональных журналов.
Публикация монографии тиражом в 1-99
экз. – пустая трата времени и денег.
Старайтесь (в той мере,
в которой это не противоречит условиям авторских соглашений) выкладывать полные тексты своих работ в Интернете.
Оперативно отвечайте на просьбы прислать Ваши публикации.
Слайд 80Индекс цитирования и оценка профессиональной деятельности ученого
Импакт-фактор был создан
для оценки качества журналов, а не заслуг индивидуальных авторов.
Использование частоты
цитирования для оценки научного успеха отдельных авторов широко обсуждается, и согласованное мнение пока что не выработано.
Слайд 81Основные способы учета
Общее количество ссылок на работы.
Среднее количество ссылок на
статью.
h-index: Ученый имеет index Х если каждая из Х его
работ цитировалась по меньшей мере Х раз, в то время как все оставшиеся работы цитировались менее чем Х раз каждая.
Российский «Показатель результативности научной деятельности» и его аналоги основаны не на цитировании, а на самом факте публикации в журнале с определенным импакт-фактором.
Слайд 82Как учесть «форму» цитирования?
Гениальная работа ХХХ (1940) придала мощный импульс
развитию сельскохозяйственной науки ...
Публикация работы ХХХ (1940) и последующие репрессии
привели к утрате российской генетикой передовых позиций...
Ни один их экспериментальных результатов, изложенных в статье ХХХ (1940), воспроизвести не удалось ...
Слайд 83Работы выдающихся ученых цитируются чаще
Данные относятся к 1961 году
Работы
Нобелевских лауреатов
цитируются в 10 раз чаще, чем
работы остальных авторов.
Работы будущих
Нобелевских
лауреатов цитируются столь же
часто, как работы лауреатов,
уже получивших Нобелевскую премию.
Opthof, T. 1997. Сardiovascular
Research 33: 1-7.
Слайд 84Авторов из США цитируют чаще, чем авторов из ЕС
King DA.
2004. – Nature 430: 311-316
Слайд 85Ранжирование стран по количеству публикаций, входящих в 1% наиболее цитируемых
(1997–2001)
1. США
2. Англия
3. Германия
4. Япония
5. Франция
6. Канада
7. Италия
15. Израиль
16. Россия
17.
Финляндия
18. Австрия
19. Китай
20. Ю. Корея
21. Польша
Слайд 86ISI Highly Cited Scientists:
Ecology / Environment
Слайд 87Связь частоты цитирования с ВНП
Швейцария
США
Дания
Англия
...
11. Финляндия
...
27. Россия
28. Китай
29. Тайвань
30. Индия
31.
Иран
Частота цитирования,
приведенная к ВНП
Слайд 88Ни в одной области знаний качество ... публикаций (статей) не
снизилось так, как в науке … исправить ситуацию можно, если
каждый будет писать меньше работ более высокого качества … Среди современных ученых укоренилось убеждение, что публикация – точнее, множество публикаций, - их неотъемлемое право … публикация статьи из выдающегося события превратилась в рутину, и публикация любого и каждого результата стала нормой … а процесс публикации практически утратил свою прежнюю функцию контроля качества … Keith Stewart Thomson (1984)
Слайд 89«Писатели» должны думать о «читателях» – выбирать доступные издания, не
размениваться на мелкие публикации, не создавать информационный шум.
«Читатели» должны думать
о «писателях» –избегать ошибок при цитировании и тенден-циозного подбора цитируемых источников.
Импакт-фактор был создан для оценки качества журналов, а не заслуг авторов публикаций.
Использование частоты цитирования для оценки научного успеха отдельных авторов широко обсуждается, но согласованное мнение пока что не выработано.
Это полезно запомнить:
Слайд 90Домашнее задание
Ознакомьтесь со статьей Ильина и Смирнова (2000).
Оцените научную ценность
статьи.
Подготовьте как минимум три аргумента в защиту своей оценки.
Эту статью
мы будем обсуждать на следующей лекции.