Слайд 1Надежность
диагностики/диагностических тестов
Слайд 2Определение
Надежность (reliability) – это уровень постоянства повторения одного и того
же результата при многократных измерениях признака в идентичных условиях
Может ли
быть повторен полученный результат при многократном повторении измерения?
Слайд 3Причины низкой надежности диагностики
Расхождение результатов, полученных разными врачами при измерении
одного и того же признака
Применение разных инструментов измерения
Нестабильность измеряемого признака
Расхождение
в результатах повторных измерений признака одним и тем же врачем
Слайд 4Вариация внутри объекта исследования
Слайд 5Вариация между разными исследователями
Два врача/диагностика часто не приходят к одному
и тому же результату
Знание степени до которой два врача согласны
или не согласны друг с другом очень важно в науке и в оценке качества медицинской помощи независимо от того, проводится ли физикальное обследование, лабораторный тест или другое измерение человеческих характеристик
Поэтому при проведении исследования или в практике повышения качества оказания диагностики необходимо знать как изобразить согласие в количественном виде
Слайд 6
Вариация между разными исследователями
Врач №2
Слайд 7Процент согласия
(Percent agreement)
Процент согласия =
х 100%
А
+ E + J
общее количество
измерений
Слайд 8d
Процент согласия =
а
a + b + c
х 100%
Слайд 9
На процент согласия влияет случайное согласие: даже если 2 исследователя
будут использовать разные критерии для разделения людей на больных и
здоровых, в определенном проценте случаев их результаты будут совпадать только лишь благодаря случаю
Слайд 10Каппа статистика
Если мы хотим узнать, насколько хорошо 2 исследователя диагностируют
заболевание или выделяют симптомы, синдромы, признаки, - то нам следует
задать вопрос: Насколько совпадают их заключения без участия случая или шанса? Другими словами: Насколько согласие между 2-мя исследователями превышает их случайное согласие?
Слайд 11Каппа статистика
Каппа =
процент наблюдаемого
согласия
процент случайного
согласия
процент случайного
согласия
100%
–
–
на сколько лучше наблюдаемое
согласие случайного согласия
полное согласие
максимально возможное
согласие при избавлении
от случайного согласия
Слайд 12Смысл Каппа статистики
Каппа выражает величину до которой наблюдаемое согласие превышает
случайное согласие и выглядит в виде пропорции максимального улучшения (без
влияния случая), которого удалось достигнуть двумя или более исследователями при измерении одного и того же феномена.
Слайд 13Гистолог В
Чему равно наблюдаемое согласие между 2-мя гистологами ?
41
3
4
27
41 +27
75
Процент
Слайд 14Чтобы рассчитать случайное согласие...
Представим, что 2 гистолога используют абсолютно разные
диагностические критерии. В этом случае совпадения будут случайными
Гистолог А отнес
60% всех 75-ти образцов ко 2 стадии рака. Если бы гистолог А использовал критерии совершенно отличные от критериев гистолога В, то гистолог А выявлял бы 2 стадию в 60% образцов, которые гистолог В относил ко 2 стадии и в 60% образцов, которые гистолог В относил бы к 3-й стадии.
Слайд 15Гистолог В
26,4
18,6
26,4 + 12,4
75
Процент случайного
согласия
= 51,7%
=
12,4
Слайд 16Каппа статистика
Каппа =
процент наблюдаемого
согласия
процент случайного
согласия
процент случайного
согласия
100%
–
–
Каппа =
90,7%
51,7%
51,7%
100%
–
–
=
0,81%
Слайд 17Каппа статистика
Каппа > 0.75 – высокое согласие
Каппа < 0.4 –
низкое согласие
Каппа от 0.4 до 0.75 – среднее согласие
Слайд 18Хотели бы вы знать еще что-то об этом исследовании?
Методы использованные
в планировании и проведении данного исследования. Это позволит нам понять
что представляют из себя данные в таблице, а так же оценить вероятность ошибки выборки или информационной ошибки
2. Необходимо задавать себе следующие вопросы:
Как была сформирована выборка?
Были ли участники, выбывшие из исследования или приглашенные в исследование, но не принявшие участие в нем? Сколько их было и отличались ли они чем-то от людей, принявших участие в исследовании?
Как ставился диагноз варикозных вен и ИБС?
Имеется ли какая-либо информация о достоверности и надежности примененных диагностических тестов?
Слайд 19В результатах исследования говорится
Во время обследования врачи визуально обследовали и
пальпировали нижние конечности каждого пациента и регистрировали увеличенные узловатые вены.
Врачи записывал в историю варикозные вены слабой и средней степени выраженности ... Между наблюдениями разных врачей имелись различия. Среди 12 врачей (принимавших участие в исследовании) каждый из которых обследовал как минимум 200 военнослужащих ... зарегистрированная распространенность варикозных вен варьировала от 14% (из которых 5% варикозных вен были слабо выражены) до 40% (15% были слабо выражены). За мужчинами наблюдали в течение года - проводили ежегодные обследования (в случае ухода на пенсию наблюдение осуществлялось через рассылку вопросников), - и регистрировали новые случат сердечно-сосудистых смертей ... Все случаи смертей подтверждались группой медицинских экспертов на основе документации, данных ЭКГ и ферментного анализа.
Что вы можете сказать о достоверности и надежности постановки диагноза варикозных вен и ИБС?
Слайд 20В результатах исследования говорится
Мы не можем быть уверены в том,
что различия в зарегистрированной распространенности варикозных вен были только из-за
различий между врачами (interobserver variation) в диагностике варикозных вен, так как между разными подгруппами военных, которых обследовали врачи, на самом деле могли быть различия в распротраненности варикозных вен.
Возможно надежность диагностики была низкой, так как ничего не было сказано о том были ли стандартизованы методы обследования и диагностические критерии или нет.
Авторы статьи в разделе дискуссия сами сделали заключение о том, что диагностика варикозных вен была «субъективной» и «далеко неудовлетворительной».
Если мы делаем заключение что надежность диагностики не была высокой, то отсюда следует что достоверность диагностики так же не могла быть высокой.
Слайд 21В результатах исследования говорится
Так как наличие варикозных вен измерялось в
самом начале исследования, то мисклассификация возможно была недифференцированной. Поэтому чувствительность
и специфичность постановки диагноза варикозных вен была одной и той же среди тех у кого в последствии развилась коронарная смерть и среди тех у кого она не произошла. Таким образом найденная взаимосвязь скорее всего ниже истинной. Хотя на основе этих данных мы не можем быть полностью уверены что мисклассификация была недифференцированной.
Однако достоверность диагностики сердечно-сосудистых заболеваний среди не пенсионеров (которых ежегодно обследовали) и пенсионеров (которых не обследовали, а лишь рассылали вопросники) возможно отличалась, что приводило к дифференцированной мисклассификации.
Диф-я мисклассификация могла привести к отсутствию взаимосвязи, ослабить или увеличить реально существующую взаимосвязь.
Слайд 22Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Покажите различия в наличие варикозных вен той или иной
степени
тяжести между разными рангами военнослужащих с использованием
показателя отношения. Примите рядовых за референс-категорию.
Слайд 23Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Существует слабая взаимосвязь между рангом и варикозными венами.
Слайд 24Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Может ли взаимосвязь между варикозными венами и ССЗ быть
искаженной
конфаундером – рангом?
Слайд 25Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Взаимосвязь между независимой и зависимой переменной может
быть искажена третьей
переменной, которая влияет на зависимую
переменную и связана с независимой переменной (и не является
промежуточным звеном в патогенезе).
Слайд 26Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Ранг может быть возможным конфаундером. Однако чтобы эффект
конфаундинга был
значительным конфаундер должен быть сильно
связанным с другими переменными. В таблице мы видим,
что взаимосвязь между рангом и варикозными венами слабая. Таким
образом если конфаундинг и имеет место быть, то он очень слабый.
Слайд 27Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
В исследовании определили, что взаимосвязь между конфаундером
и рангом статистически
высокого достоверна: р=0.000013. Как такая
находка влияет на вероятность того, что ранг является
конфаундером?
Слайд 28Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Эффект конфаундинга определяется наличием, направлением и силой
взаимосвязи между потенциальным
конфаундером и другими переменными. Слабая взаимосвязь - даже статистически высоко достоверная – не ведет к появлению существенного конфаундинга. В то время как сильная взаимосвязь, даже если она статистически недостоверна, может приводить к конфаундингу.
Слайд 29Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Если бы не было найдено взаимосвязи между варикозными венами
и
рангом, мог бы тогда ранг быть конфаундером?
Слайд 30Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Если ранг является конфаундером, то в каком направлении он
изменил
бы взаимосвязь между варикозными венами и ССЗ?
Слайд 31Распространенность варикозных вен среди военнослужащих в зависимости от выраженности заболевания
по рангу(%)
Какие еще можно предположить конфаундеры во взаимосвязи
варикозные вены-ССЗ?
Слайд 32Верно/неверно
Переменная может быть конфанудером только если она связана с независимой
и зависимой переменной.
Конфаундинг часто приводит к определению
очень сильной взаимосвязи.
Если в
результате исследования взаимосвязь между
фактором и исходом не была определена, то не имеет
смысла искать конфаундер.
Если взаимосвязь между двумя переменными ослабевает или исчезает после контроля третьей переменной, то она является конфаундером.
Верно
Неверно
Неверно
Неверно