Оценка достоверности результатов исследования
advertisement
Слайд 1 Оценка достоверности результатов исследования Авторы: - к.м.н. В.В.Шпилевой (КБ №5 г.о.Тольятти) - И.Н. Клочкова(ОАО «Комсофт») Слайд 2 Цель Вебинара Привлечение внимания практикующих врачей к проблеме оценки достоверности информации о результатах клинических исследований при использовании этой информации в клинической практике Информационный поиск в области доказательной медицины требует от врача соответствующего опыта и использования системного подхода. Для успешного поиска необходимой информации по вопросам доказательной медицины большое значение имеют выбор доступных баз клинических данных (MedLine, Cochrane и др.) и разработка адекватной методологии поиска (по ключевым словам или словосочетаниям, именам авторов и т.д.) все это мы с вами разобрали на наших четырех предыдущих вебинарах-тренингах. Сегодня наша цель – обозначена на слайде: Слайд 3 Задачи Вебинара Рассмотрение различных типов медицинских публикаций с точки зрения их методологического качества Рассмотрение классификации различных источников медицинской информации по типам доказательности и степени достоверности Знакомство с основными критериями для определения степени достоверности найденной клинической информации Освоение терминологии, применяемой при описании результатов клинических исследований На этом вебинаре мы получим первую и необходимую информацию для освоения сложной и обширной темы оценки достоверности клинической информации. Поэтому на данном этапе перед нами стоят следующие задачи: Слайд 4 Технологии ДМ - ключ к использованию самой свежей научной информации Технологии ДМ позволяют не только быстро найти нужные знания, но и оценить, насколько они заслуживают доверия, насколько они доказательны. Технологии ДМ обеспечивают реализацию следующих основных положений ДМ: Медицинская практика может быть существенно улучшена, если станет основываться на результатах высококачественных исследований, соответствующих сформулированной проблеме Врачу необходимо научиться выбирать немногие высококачественные исследования для того, чтобы принимать научно - обоснованные решения Слайд 5 Определение сущности статьи При чтении медицинской статьи в первую очередь постарайтесь ответить себе на три важных вопроса: Для чего было проведено это исследование (на какой клинический вопрос оно отвечает)? Каков тип исследования? Первичное исследование (эксперимент, рандомизированное контролируемое испытание, другое контролируемое клиническое испытание, когортное исследование, исследование «случай— контроль», поперечное исследование, продольное исследование, сообщение о случае или серии случаев) Вторичное исследование (обычный обзор, систематический обзор, мета-анализ, анализ принятия решений, клинические рекомендации, экономический анализ) Соответствует ли дизайн исследования области клинических исследований (лечение, диагноз, скрининг, прогноз, причинность)? Слайд 6 Для чего было проведено это исследование Перед тщательным изучением статьи убедитесь, что тема исследования Вас вообще интересует с точки зрения применения в клинической практике. Во введении статьи должны быть коротко объяснены предпосылки проведения данного исследования, В статье должна быть заявлена гипотеза, которую авторы хотят доказать или опровергнуть. Хотя, гораздо важнее, чтобы из статьи было понятно о силе доказательств, касающихся конкретного вопроса, а не просто о подтверждении или опровержении гипотезы. Слайд 7 Каков тип исследования? Следует установить, какое исследование описано в статье — первичное или вторичное. Первичные исследования приводят данные «из первых рук», от самих исследователей. Во вторичных исследованиях пытаются обобщить сведения и вывести заключения на основе первичных. Для того, чтобы оценить достоверность результатов тех или иных исследований, необходимо владеть определенной терминологией, используемой при описании дизайна исследований, а так же при описании доказательности результатов. Убедиться, что Вы правильно понимаете эти термины Вам поможет глоссарий, расположенный на сайте http://wiki.openhealth.ru/xwiki/bin/view/EBM/Glossary Слайд 8 Дизайн первичного исследования Первичные исследования различаются по своему дизайну, т.е. по организации исследования. Сам по себе ни один дизайн исследования не имеет преимуществ перед другим, т.к. он зависит от поставленных перед исследователями задач. Степень же научной доказательности во многом определяется соответствием дизайна и структуры исследования (особенностей его планирования и проведения). Правильный выбор дизайна определяет успех испытания. Слайд 9 Соответствие дизайна исследования области клинических исследований Определите, какая область затронута в данном клиническом исследовании Затем спросите, использовался ли правильный дизайн исследования для ответа на поставленный клинический вопрос. Ответу на этот вопрос может помочь использование следующей таблицы: Слайд 10 Области клинических вопросов и дизайн исследований Лечение — проверка эффективности лекарственных препаратов, хирургических вмешательств, альтернативных методов лечения и других вмешательств. Предпочтительный дизайн исследования — рандомизированное контролируемое испытание Диагностика — выяснение таких параметров нового диагностического теста, как достоверность (можно ли ему доверять) и надежность (получили бы мы такие же результаты при повторных исследованиях). Предпочтительный дизайн исследования — поперечное исследование, при котором проводят как новый тест, так и тест, служащий «золотым стандартом». Скрининг — выяснение ценности тестов, применяемых к большим группам людей, позволяющих выявить заболевание на ранней (бессимптомной) стадии. Предпочтительный дизайн исследования — поперечное исследование Слайд 11 Области клинических вопросов и дизайн исследований (продолжение) Прогноз — определение того, что может вероятно произойти с пациентом, у которого болезнь диагностировали на ранних стадиях. Предпочтительный дизайн исследования — продольное (лонгитудинальное) когортное исследование. Этиология — определение зависимости между гипотетическим вредоносным фактором и развитием заболевания. Предпочтительный дизайн исследования — когортное исследование или исследование случай— контроль в зависимости от распространенности заболевания ; описания отдельных случаев также могут дать важную информацию Слайд 12 Убывание степени достоверности доказательств в разных исследованиях Степень достоверности исследований Высокая Согласно мнению Шведского совета по методологии оценки в здравоохранении, достоверность доказательств из разных источников не одинакова и убывает в следующем порядке: Рандомизированное контролируемое испытание; Нерандомизированное КИ с одновременным контролем; Нерандомизированное КИ с историческим контролем; Когортное исследование; Исследование типа «случай—контроль»; Перекрестное КИ, поперечное исследование; Результаты наблюдений; Описание отдельных случаев. Слайд 13 Типы вторичных исследований: Обзоры, подразделяющиеся на несистематические, описательно обобщающие результаты первичных исследований; систематические, также обобщающие результаты первичных исследований, но на основе жесткой и заранее определенной методологии; мета-анализы, обобщающие количественные данные нескольких исследований (как минимум двух). Клинические рекомендации. В них сформулированы выводы из первичных исследований, касающиеся требований к действиям врачей. Анализ принятия решений. На основе результатов первичных исследований он позволяет создавать вероятностные подходы к управлению здравоохранением или распределению ресурсов (как для работников здравоохранения, так и для пациентов); строить «дерево» решений, которые принимают врачи, пациенты или администраторы при выборе способов лечения или при распределении ресурсов. Экономический анализ. Используя результаты первичных исследований, он позволяет делать выводы о целесообразности финансирования определенных вмешательств. Слайд 14 Систематический обзор Систематический обзор - это особый вид научного исследования, выполненный по специально разработанной методике, объектом которого являются результаты других, оригинальных научных исследований. В результате взвешенного и беспристрастного анализа и обобщения ранее проведенных исследований в систематическом обзоре делаются выводы об имеющемся или отсутствующем эффекте врачебного вмешательства применительно к четко описанной выборке пациентов, для которой эти данные являются достоверными. Рассмотренные нами ранее источники, такие как Библиотека Кокрановских обзоров (The Cochrane Database of Systematic Reviews) являются источниками получения достоверных высокодоказательных данных Слайд 15 Особенности систематических обзоров В систематических обзорах собираются, критически оцениваются и обобщаются результаты первичных исследований по определенной теме или проблеме При подготовке систематических обзоров используются подходы, уменьшающие возможность систематических и случайных ошибок. Систематические обзоры – это аналитико-синтетические статьи; к ним относятся также экономические анализы, клинические рекомендации, анализы алгоритмов принятия клинических решений. Систематические обзоры помогают врачам быть в курсе современной информации, несмотря на огромное количество медицинских публикаций. В систематических обзорах представляется суммарно достоверный результат. Слайд 16 Мета-анализ Мета-анализ – это статистический синтез количественных результатов нескольких рандомизированных контролируемых испытаний, посвященных одному и тому же вопросу, в результате которого выводится один средневзвешенный показатель. Качественный мета-анализ предполагает изучение всех исследований, посвященных соответствующей проблеме, оценку неоднородности и определение информативности основных результатов путем анализа чувствительности. Основные этапы мета-анализа : 1. 2. 3. 4. 5. 6. 7. Определение основной цели обзора. Определение способов оценки результатов. Систематический информационный поиск. Суммирование количественной информации. Суммирование доказательств с использованием подходящих статистических методов Интерпретация результатов. Слайд 17 Обобщение результатов в мета-анализе Обычно при проведении мета-анализа отдельным исследованиям присваивают определенный вес (более крупные исследования характеризуются при этом большим весом). Таким образом, обобщенный результат отражает средневзвешенное значение результатов индивидуальных исследований. Иногда больший или меньший вес исследования определяется его качеством, тогда исследования самого низкого методологического качества могут иметь нулевой вес и исключаться либо на этапе первичного анализа данных, либо при проведении вторичного анализа, в ходе которого оценивается степень зависимости между разными исходными допущениями и соответствующими результатами (анализ чувствительности) Слайд 18 Разновидности мета-анализа Кумулятивный мета-анализ - даёт возможность продемонстрировать кумулятивную кривую накопления оценок при каждом появлении новых доказательств Проспективный мета-анализ - это попытка разработки метаанализа для планируемых исследований. Проспективно-ретроспективный мета-анализ - гибридный вид мета-анализа, который объединяет получаемые результаты с ранее опубликованными Мета-анализ индивидуальных данных - основанный на внимательном изучении результатов лечения отдельных больных Кумулятивный мета-анализ позволяет построить кумулятивную кривую накопления оценок при появлении новых данных. Проспективный мета-анализ — попытка разработки мета-анализа планируемых испытаний. Такой подход может оказаться приемлемым в областях медицины, где уже существует сложившаяся сеть обмена информацией и совместных программ. На практике вместо проспективного мета-анализа часто применяют проспективноретроспективный мета-анализ, объединяя новые результаты с ранее опубликованными. Мета-анализ индивидуальных данных основан на внимательном изучении результатов лечения отдельных больных. В ближайшем будущем мета-анализ индивидуальных данных, вероятнее всего, будет ограничиваться изучением основных заболеваний, лечение которых требует крупномасштабных централизованных капиталовложений. Слайд 19 Клинические рекомендации Клинические рекомендации - это систематически разработанные утверждения, помогающие врачу принимать правильные решения в определенных клинических обстоятельствах Клинические рекомендации или клинические (практические) руководства разрабатываются научными медицинскими сообществами с учетом высокой степени достоверности результатов клинических испытаний. Таким образом, эти источники информации должны быть высокодоказательными уже по своему определению. Наиболее эффективным подходом к поиску нужной клинической информации следует считать первоначальное рассмотрение даже не систематических обзоров, а клинических рекомендаций, посвященных тактике лечения. Клинические рекомендации или клинические (практические) руководства разрабатываются научными медицинскими сообществами с учетом высокой степени достоверности результатов клинических испытаний, которые ложатся в основу рекомендаций. Таким образом, эти источники информации должны быть высокодоказательными уже по своему определению. Слайд 20 Цели клинических рекомендаций Сделать доказательные стандарты ясными и доступными (однако следует убедиться, что рекомендации действительно основаны на доказательной медицине) Упростить и сделать более объективными процессы принятия клинических решений в клинике и у постели больного Служить критерием для оценки профессиональной деятельности Обеспечить разделение обязанностей Обучить пациентов и врачей лучшим на данный момент способам медицинской помощи Повысить экономическую эффективность медицинских услуг Служить инструментом внешнего контроля Следуя принципам ДМ, и при использовании клинических рекомендаций следует критически оценивать их методологическое качество. Лучшие из них, разрабатываемые на основе практических рекомендаций или анализа принятия решений, включают в себя самые достоверные данные; в таких рекомендациях обязательно учитываются предпочтения и жизненные ценности больных. Цели составления клинических рекомендаций обозначены на слайде. Однако при критическом отношении ко всем источникам медицинской информации следует оценивать методологическое качество и этих руководств для того, чтобы понять их достоинства или недостатки для использования с наибольшей эффективностью в повседневной практике. Слайд 21 Вопросы при оценке достоверности практических рекомендаций Учтены ли в клинических рекомендациях все категории больных с определенным заболеванием, вмешательства и клинические исходы? Существует ли систематический обзор, в котором по каждому рассматриваемому клиническому вопросу обобщается информация о причинно-следственной связи между вмешательствами и клиническими исходами? Был ли определен перечень предпочтений и жизненных ценностей, учитываемых при рассмотрении возможных клинических исходов? Сообщается ли о степени достоверности клинических рекомендаций? Клинические рекомендации предназначены для использования в процессе принятия решений о применении определенных методов лечения или профилактики у больных определенных категорий с учетом возможных последствий. Вне зависимости от того, посвящены ли клинические рекомендации вопросам диагностики, профилактики, лечения или реабилитации, в них должны быть учтены все возможные категории больных, а также все возможно применяемые методы. В частности, должна быть учтена и описана вероятность эффективности вмешательства на различные группы больных: с наименьшим и наибольшим риском развития изучаемого клинического исхода, на предотвращение которого направлено вмешательство. При подготовке клинических рекомендаций должны учитываться не только все соответствующие категории больных и вмешательства, но также все важные последствия применения вмешательств. Данные о влиянии лечения или профилактики на частоту развития осложнений, смертность или качество жизни имеют большое значение для больных и для врача, принимающего клиническое решение, а необходимость эффективного использования ресурсов определяет повышенный интерес к затратам на медицинскую помощь. Рассмотрение экономической составляющей при разработке клинических рекомендаций может повлиять на их содержание, т.е. на выводы их составителей, независимо от того, учитывались ли в первую очередь интересы больных, страхователей, всей системы здравоохранения или конечной целью было решение общих вопросов, таких как влияние разных подходов к ведению больных на продолжительность нетрудоспособности. Поэтому анализ принятия решений, который включает оценку экономической эффективности вмешательств, выделяется в отдельную группу и называется экономическим анализом. В идеале в клинических рекомендациях должны быть описаны критерии включения доказательств, методы их отбора и обобщения, наглядно представлена ключевая информация, а также нужно сообщать результаты РКИ, в которых соотносились вмешательства и клинические исходы. Знание того, в какой степени учтены предпочтения больных, особенно важно. Во многих рекомендациях о предпочтениях больных не упоминается, но предполагается, что разработчики учли основные интересы больных. Хотя об этих интересах сообщается редко, читатель рекомендаций должен знать, какие принципы (независимость больного от стационарной или амбулаторной медицинской помощи; принцип "не навреди"; справедливое распределение ресурсов здравоохранения) были приоритетными при выборе тактики лечения или профилактики. В рекомендациях наиболее высокого методологического качества сообщается, направлены ли они на наиболее полное удовлетворение потребностей больных, финансирующих организаций или общества в целом. В идеале должны быть перечислены основные ценностные принципы, на которых базируются данные рекомендации. Достоверность (обоснованность) клинических рекомендаций определяется множеством факторов, в том числе методологическим качеством первичных исследований, включенных в систематические обзоры или другие публикации по данному клиническому вопросу. В идеале в клинических рекомендациях должны быть указаны уровни (степени обоснованности) каждой конкретной рекомендации. Об уровнях доказательности рекомендаций мы поговорим чуть позже. Слайд 22 Степень достоверности – одно из ключевых понятий доказательной медицины Важным аспектом доказательной медицины является определение степени достоверности информации о результатах исследований, независимо от того, являются ли эти отдельные оригинальное исследование темой отдельных публикаций или они берутся за основу при составлении систематических обзоров и клинических рекомендаций. Слайд 23 Рейтинговая система оценки качества исследования Для оценки качества любого исследования используется рейтинговая система, в которой основное понятие - «уровень доказательности». Обычно выделяют от 3 до 7 уровней доказательности, при этом с возрастанием порядкового номера уровня (обозначаемого римскими цифрами: I, II, и т.д.) качество клинического исследования снижается, а результаты представляются менее достоверными. Удобным механизмом, который позволяет каждому специалисту легко оценить качество каждого клинического исследования и достоверность полученных данных, является предложенная в начале 90-х годов рейтинговая система оценки клинических исследований. Для непосредственной оценки исследования используется понятие «уровень доказательности». Обычно выделяют от 3 до 7 уровней доказательности, при этом с возрастанием порядкового номера уровня (обозначаемого римскими цифрами: I, II, и т.д.) качество клинического исследования снижается, а результаты представляются менее достоверными Слайд 24 Уровни доказательности публикаций I Доказательства получены в результате мета-анализа большого числа хорошо спланированных рандомизированных исследований. Рандомизированные исследования с низким уровнем ложнопозитивных и ложнонегативных ошибок. II Доказательства основаны на результатах не менее одного хорошо спланированного рандомизированного исследования. Рандомизированные исследования с высоким уровнем ложнопозитивных и ложнонегативных ошибок. Доказательства основаны на результатах хорошо спланированных нерандомизированных исследований. Контролируемые исследования III с одной группой больных, исследования с группой исторического контроля и т.д. Доказательства получены в результате нерандомизированных IV исследований. Непрямые сравнительные, описательно корелляционные исследования и исследования клинических случаев. V Доказательства основаны на клинических случаях и примерах. Вот, к примеру, одна из распространенных систем рейтингов уровня доказательности, взятая на странице Европейского общества медицинской онкологии. К уровню I в доказательной медицине принято относить хорошо разработанные, крупные, рандомизированные, двойные-слепые, плацебо-контролируемые исследования. К этому же уровню доказательности принято относить данные, полученные в ходе мета-нализа нескольких рандомизированных, контролируемых исследований. Небольшие рандомизированные и контролируемые исследования (в том случае, когда получить статистически корректные результаты не удалось из-за малого числа больных, включенных в исследование) относят к II уровню доказательности. Когортные (продольные) исследования, ретроспективные исследования типа «случайконтроль», нерандомизированные контролируемые исследования на одной группе пациентов относят к III уровню. К IV уровню доказательности относят сравнительные, корреляционные исследования, проводимые для подтверждения или опровержения гипотезы о статистической связи между несколькими (двумя и более) факторами. И, наконец, публикации, основанные на клинических случаях, отдельных клинических наблюдениях, мнения отдельных авторов или экспертных групп относят к V уровню доказательности. Слайд 25 Доказательная обоснованность практических рекомендаций В системе доказательной медицины отдельные практические рекомендации по диагностике и лечению различных заболеваний также имеют свой рейтинг – степень убедительности рекомендаций (обозначаются латинскими буквами: A, B, C и т.д.). В англоязычной литературе эта система рейтинга рекомендаций определяется как сила рекомендаций (Strength of recommendation). Степень обоснованности понижается от уровня A к каждому следующему уровню. Слайд 26 Степень доказательной обоснованности рекомендаций Степень (сила рекомендаций) Основание для рекомендаций А Доказательство I уровня или устойчивые многочисленные данные II уровня доказательности. В Доказательства II, III или IV уровня, считающиеся в целом устойчивыми данными. С Доказательства II, III, IV уровня, но данные в целом неустойчивые. D Слабые или несистематические эмпирические доказательства. Рекомендации, вытекающие из исследований I уровня, обозначаются, как А, II уровня – В и так далее. Кроме того, к рекомендациям В относятся экстраполяции из исследований I категории доказательности, а рекомендации С строятся как на основании исследований III уровня доказательности, так и на экстраполяции данных исследований I и II уровня. Таким образом, рекомендации уровня А представляются вполне убедительными, так как опираются на веские доказательства. У рекомендаций уровня В убедительность относительно высокая. Для рекомендаций уровня С имеющихся доказательств недостаточно, но и эти рекомендации могут использоваться с учетом определенных обстоятельств. Положения, относимые к уровню D и E, представляются доказанными недостаточно. В разных странах или различными медицинскими сообществами могут быть приняты свои аналогичные рейтинги для признания степени обоснованности рекомендаций. Но принцип их классификации остается примерно таким же. Напомним, что при использовании клинических рекомендаций необходимо уделять внимание тому, указан ли уровень обоснованности каждой конкретной рекомендации согласно принятой для страны или определенного сообщества классификации. Слайд 27 Классификация степени достоверности публикаций Оксфордского Центра Доказательной Медицины A. Высокая достоверность — информация основана на результатах нескольких независимых клинических испытаний (КИ) с совпадением результатов, обобщенных в систематических обзорах. B. Умеренная достоверность — информация основана на результатах по меньшей мере нескольких независимых, близких по целям КИ. C. Ограниченная достоверность — информация основана на результатах одного КИ. D. Строгие научные доказательства отсутствуют (КИ не проводились) — некое утверждение основано на мнении экспертов. Вот один из примеров классификации медицинской информации, рекомендованный Центром доказательной медицины в Оксфорде. Слайд 28 Основное условие использования клинической информации Если Вам не удалось найти ответ на интересующий вопрос в клинических рекомендациях, а также не нашлось систематических обзоров или мета-анализов по необходимой теме, то воспользоваться материалами самостоятельно найденных статей можно только при условии критического отношения к их качеству. Критическое отношение к клинической информации важнейший принцип доказательной медицины Слайд 29 Возникновение ошибок в результатах исследований Важно помнить, что ошибки (дефекты) могут возникать на любой стадии исследований: планирования, организации и проведения. Наличие любого фактора, который влияет на выводы и искажает сравнительную оценку, определяется как систематическая ошибка или смещение. Искажение может быть обусловлено и случайностью. Может присутствовать одновременно и случайность и смещение. Снизить погрешность смещения можно правильной организацией исследования, а минимизировать наличие случайных ошибок - корректным статистическим анализом данных. Слайд 30 Важность раздела «Методы исследования» Для оценки достоверности исследования необходимо наиболее критично проанализировать раздел "Методы исследования", чтобы убедиться в отсутствии смещений (систематических ошибок), т.е. что структура исследования адекватна методологическим стандартам качества При анализе раздела «методы» надо попытаться ответить на ряд следующих вопросов: Слайд 31 Вопросы для оценки степени достоверности результатов исследования 1. Четко ли описан способ формирования групп (включения и исключения) пациентов? 2. Насколько сходны были группы сравнения (легкие и тяжелые случаи, прогноз, лечившиеся и не лечившиеся, с поражениями разной формы, с сопутствующими заболеваниями)? 3. Задавались ли при планировании исследования статистические вопросы? 4. Есть ли сопоставление с "золотым стандартом" для данного заболевания, с самым надежным на сегодняшний день методом диагностики или вмешательства? 5. Проведено ли это сопоставление слепым методом? 6. Оценена ли надежность интерпретации результатов слепым методом? 7. Правильно ли выбраны статистические методы для обработки результатов, в том числе для оценки достоверности различий между группами сравнения? Правильно ли интерпретировались результаты статистической обработки данных? Далее подробнее рассмотрим каждый из этих вопросов Слайд 32 Способ формирования групп В статье должен быть указан принцип отбора пациентов в исследуемую группу и в группу контроля, какова была исходная совокупность, описаны критерии включения и исключения пациентов Должны быть указаны причины, по которым больные выбывали в процессе проведения испытаний и четко описаны достоверные отличия по какому – либо признаку выбывающих пациентов от оставшихся до конца испытания, т.к. искажение результата может быть тем сильнее, чем больше этих отличий и чем больше выбывших из испытания пациентов Слайд 33 Однородность групп сравнения Независимо от дизайна исследования (РКИ, нерандомизированное сравнительное испытание, когортное исследование или исследование «случай—контроль»), группы сравнения должны быть идентичны по составу пациентов (по степени тяжести, по прогнозу, по тому, получал или не получал пациент лечение до начала исследования, по наличию сопутствующих патологий) Участники исследования должны получать одни и те же инструкции, иметь сходные контакты с медицинским персоналом и проходить обследование одинаковое количество раз с использованием одних и тех же показателей исходов. Различаться должны только исследуемые факторы (методы диагностики, вмешательства, профилактические мероприятия и т.д. Слайд 34 Статистические вопросы при планировании исследования Не специалистам в области статистики необходимо при рассмотрении исследования задаться самыми основными вопросами: Достаточен ли размер выборки Достаточна ли продолжительность наблюдения Насколько полно велось наблюдение Другими словами - является ли исследование достаточно крупным и продолжительным и тщательным для того, чтобы результаты вызывали доверие? Слайд 35 Достаточен ли размер выборки? При хорошо методологически организованном испытании сначала производится подсчет достаточного размера выборки, который потребуется, чтобы с умеренной, высокой или очень высокой вероятностью определить истинное различие между группами. Правдоподобие определения истинной разницы известно как «мощность» исследования. В ряде статей приведен подсчет величины выборки или указывается . «мощность» исследования. Желательно, чтобы она составляла от 80 до 90%. Если такие данные в статье не приведены, то следует руководствоваться правилом: чем больше размер выборки, тем более вероятно, что после рандомизации прогноз в сравниваемых группах будет одинаковым, следовательно, тем более достоверным описываемый эффект или его отсутствие от вмешательства в основной и контрольной группах. Слайд 36 Достаточна ли длительность наблюдения? В статье должно быть сообщено о длительности наблюдения и желательно, чтобы длительность проведения была обоснована для данного испытания. Исследование должно быть достаточно продолжительным для того, чтобы эффект вмешательства отразился на показателе исхода. Результат будет недостоверным, если продолжительность наблюдения недостаточна (тогда клинический исход не успевает развиться) или, напротив, чрезмерна (так, при использовании в качестве критерия оценки смертности нужно помнить, что через 100 лет все участники исследования уже умрут). При методологически качественном исследовании время проведения испытания должно быть обосновано исходя из контролируемого вмешательства и времени его отражения на показателе исхода и закрепления результата. Например, исследование по влиянию нового анальгетика на интенсивность болей в послеоперационном периоде требует продолжительности как минимум 48 ч и далее. Длительность наблюдения при исследовании влияния пищевых добавок, назначаемых в дошкольные годы, на рост человека во взрослом периоде, должна измеряться десятилетиями. Даже если вмешательство показало значительное различие между группами, например через 6 месяцев после его проведения, это различие может быть неустойчивым и требовать дальнейшего наблюдения. Результат будет недостоверным, если продолжительность наблюдения недостаточна (тогда клинический исход не успевает развиться) или, напротив, чрезмерна (так, при использовании в качестве критерия оценки смертности нужно помнить, что через 100 лет все участники исследования уже умрут). Слайд 37 Полнота наблюдения В идеале по завершении исследования должно быть известно о наличии или отсутствии изучаемого клинического исхода у каждого участника. Однако иногда больные выбывают из исследования до его завершения. Чем больше доля таких больных, тем менее достоверными будут результаты, поскольку прогноз у больных, выбывших из исследования, часто отличается от прогноза у тех, кто наблюдался до его завершения. Больные могут выбывать из исследования по разным причинам: изначально не правильное включение в группы при неправильно установленном диагнозе или по другим критериям, в связи со смертью или развитием побочных эффектов (и в экспериментальной, и в контрольной группе), либо, напротив, в связи с существенным улучшением состояния (после чего испытуемые просто не приходят на повторное обследование), в связи с исключением по клиническим показаниям: беременность, сопутствующее заболевание, а так же в связи с отказом или невозможностью дальнейшего участия пациента. Слайд 38 Различия выбывших пациентов Необходимо отдельно учесть количество умерших пациентов, чтобы не отнести их неправильно к группе выбывших из исследования. Необходимо оценить вероятность наличия выраженных различий в частоте возникновения изучаемого клинического исхода у тех больных в основной и контрольной группах, которые не наблюдались до конца исследования. Вероятность таких различий уменьшается, но не становится равной нулю, если в статье представлена информация, подтверждающая одинаковое исходное распределение важных прогностических факторов (таких как возраст и тяжесть состояния) у больных, выбывших из обеих групп. Слайд 39 Определение снижения достоверности Таким образом, наблюдение не за всеми участниками исследования может снизить достоверность полученных результатов. Если наихудшее предположение о клинических исходах у выбывших больных не влияет на окончательные результаты, доля таких больных не имеет решающего значения; в противном случае достоверность результатов снижается. Степень снижения достоверности зависит от вероятности развития неблагоприятного клинического исхода у больных, выбывших из основной группы, и от вероятности развития благоприятного клинического исхода у больных, выбывших из контрольной группы. Если данные о выбывших пациентах не опубликованы в контексте их прогноза, и не учтены в результатах клинического исхода, то исследования с низкой полнотой наблюдения (скажем, менее 70% участников) обычно считаются недостоверными. Слайд 40 Сопоставление с «золотым стандартом» Необходимо проанализировать правомерность сравниваемых методов вмешательства или диагностики: Действительно ли выбранный для сравнения метод вмешательства или диагностики является самым надежным на сегодняшний день и может ли он рассматриваться как стандартный? Насколько точно был использован «золотой стандарт» в ходе исследования? Если для лечения или диагностики данного состояния не существует метода, принятого в качестве «золотого стандарта», то должны быть четко описаны комбинации оценочных критериев При сравнении экспериментального метода лечения или диагностики с другим применяемым вмешательством, следует убедиться в том, что референтный метод (т.е. метод, выбранный для сравнения) является самым надежным на сегодняшний день и может ли он быть использован как «золотой стандарт» лечения или диагностики данного состояния. Если взятый для сравнения метод сам по себе не удовлетворителен, то не стоит тратить время на то, чтобы разобраться насколько в сравнении с ним лучше исследуемый метод. Если метод для сравнения был выбран правильно, то необходимо убедиться, что он был использован в точности с рекомендациями по его применению. Если речь идет о проверке диагностических методов, то необходимо, чтобы каждый из участников подвергся сравнению результатов и контролируемого метода и методу, признанному «золотым стандартом». Только в этом случае результаты будут достоверно сопоставимы. Для многих заболеваний не существует «золотого стандарта» лечения и диагностики. Именно для этих состояний ученые наиболее активно ищут новые технологии. В таких случаях чаще всего разрабатывается комбинация оценочных критериев, которая и должна быть описана в публикации о результатах исследования. Слайд 41 Применение слепого метода сопоставления При правильной организации исследования оценка результатов как изучаемого вмешательства так и оценка результатов в группе сравнения или результатов референтного теста должна быть выполнена «вслепую» - так, чтобы специалист, интерпретирующий результаты обследования не имел даже намека на ожидаемый результат. В противном случае происходят непреднамеренные ошибки типа «смещение к предполагаемому результату» Особенно важно проводить слепое клиническое испытание в случаях, когда велика роль сопутствующего лечения. Необходимо, чтобы оно проводилось абсолютно одинаково всем больным в обеих группах. Таким образом возникает двойное «ослепление». Слайд 42 Применение слепого метода при оценке результатов При методологически правильном проведении исследования его результаты оцениваются повторно теми же или другими специалистами при условии, что оценивающие не имеют никаких данных о пациентах, а имеют только объективные результаты обследований и методы их обработки. Слайд 43 Оценка воспроизводимости результатов диагностического теста Ценность любого диагностического теста зависит от возможности получения аналогичного результата в случае применения этого теста у больных со сходными характеристиками. Низкая воспроизводимость результатов теста может быть обусловлена особенностями его выполнения или различием в интерпретации полученных данных В идеале в любой статье, посвященной характеристикам диагностического теста, должна оцениваться воспроизводимость его результатов (с внесением поправок на влияние фактора случайности). Это особенно важно в тех случаях, когда при проведении теста или интерпретации его результатов требуется высокая квалификация специалистов. Слайд 44 Диапазон нормальных значений и «точка разделения» здоровых и больных Если исследуемый диагностический тест дает количественные значения, а не результат да/нет, то должен быть указан и диапазон значений, которые считаются нормальными или аномальными. Точкой разделения называют величину показателя, который служит границей, разделяющей здоровых и больных. Выбор точки разделения нормы и болезни дает возможность оценить чувствительность, специфичность и прогностическую ценность положительных и отрицательных результатов теста Слайд 45 Тактика применения теста Обратите внимание на то, насколько подробно описана тактика применения теста, для того, чтобы его можно было правильно использовать. Например, условия подготовки пациента, хранения и транспортировки проб и т.п. Неясность в подобных «простых» мелочах может сделать выполнение теста невозможным. А значит, и изучение данного исследования бесполезным с практической точки зрения. Следует определить какова полезность теста, т.е. каковы преимущества пациентов, которым установлен диагноз? Каковы последствия для пациентов с ложноположительным или ложноотрицательным диагнозом? Слайд 46 Осложнения и побочные явления При принятии решения необходимо оценить соотношение риска и пользы О пригодности того или иного вмешательства можно говорить, когда польза от его применения превышает риск развития осложнений В идеале для подтверждения причинной зависимости вмешательства и возникновения нежелательного эффекта необходимо провести индивидуальное хорошо спланированное исследование с большой статистической мощностью. Слайд 47 Структура организации исследования лекарственных препаратов Исследования I фазы: направлены на изучение механизма действия препарата и выявление ранних тяжелых побочных эффектов; обычно проводятся на здоровых добровольцах. Исследования II фазы: направлены на получение предварительных данных об эффективности препарата; включают больных с соответствующими заболеваниями. Исследования III фазы: рандомизированные контролируемые испытания, проводимые для точного определения размера эффекта препарата. Исследования IV фазы (постмаркетинговые обсервационные исследования): проводятся после доказательства эффективности препарата и поступления его на фармацевтический рынок; обычно целью таких исследований служит изучение частоты развития редких побочных эффектов больных с соответствующими заболеваниями. Структура исследования лекарственных препаратор предполагает прохождение четырех фаз исследований, каждое из которых должно быть обладать высоким методологическим качеством для того, чтобы иметь высокую степень достоверности результатов На слайде приведена структура организации исследований лекарственных препаратов, обеспечивающая высокую достоверность результатов. Слайд 48 О рекламе фармацевтических компаний Если вы практикующий врач (т.е. назначаете лекарственные средства), в вас заинтересована фармацевтическая промышленность. Часть своего многомиллионного ежегодного рекламного бюджета она тратит, пытаясь повлиять на вас и на пациентов, которые узнав о новых методах лечения требуют именно их назначения. При изучении материалов фармацевтической компании о новом лекарственном средстве, вспомните основы методологии научного исследования (следует обратить особое внимание на информацию о методах и статистическом анализе, использованных в испытаниях данного средства) . Представители фармацевтических компаний сообщают не так уж много неправды, как могли бы (маркетинг лекарственных препаратов превратился в очень изощренную науку). Тем не менее известна их потрясающая способность культивировать незнание основ эпидемиологии и дизайна клинических испытаний, когда их это устраивает Слайд 49 Вопросы при чтении материалов фармацевтических компаний Опубликованы ли эти материалы в независимых рецензируемых журналах? Включают ли эти материалы высококачественные исследования (систематические обзоры, мета-анализы или двойные слепые рандомизированные контролируемые клинические испытания) по сравнению данного препарата с его конкурентом, назначенным в оптимальной дозе? Отвечают ли испытания или обзоры на четко поставленный, важный клинический вопрос, отражающий значимую для пациента проблему? Предоставляют ли они сведения по безопасности, переносимости, эффективности и цене? Слайд 50 Вопросы при чтении материалов фармацевтических компаний (продолжение) Приведено ли в каждом испытании или мета-анализе состояние, которое нужно лечить, описание выборки, вмешательства, которые нужно сравнивать, исходы, которые нужно оценивать? Предоставляют ли данные материалы прямые доказательства того, что этот препарат поможет моим пациентам жить более долгой, более здоровой, более продуктивной, без симптомов жизнью? Если использовались суррогатные исходы, каковы доказательства того, что они надежны, воспроизводимы, чувствительны, специфичны, являются ли истинными предикторами болезни и быстро отражают эффективность лечения? Указывают ли результаты (и как) на то, что эффективность лечения отличается, отмечались ли различия в типах и частоте побочных реакций? Выражены ли результаты в терминах числа больных, которых необходимо лечить и являются ли они клинически и статистически значимыми? Вопросы клинической значимости результатов и оценки возможностей их применения в практической работе будут рассмотрены в следующем web-инаре Слайд 51 Резюме по теме А пока делаем вывод о том, что каждое исследование можно и нужно оценить с позиций : методологического качества — степень, в которой дизайн исследования предотвращает систематические ошибки (смещения) точности — мера вероятности случайных ошибок (обычно отражается шириной доверительного интервала вокруг результата) внешней валидности — меры обобщаемости результатов или применимости к конкретной популяции