Predictability  of the binary genetic tests RUS 2013

Description
Predictability  of the binary genetic tests RUS 2013

Please download to get full document.

View again

of 14
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.
Information
Category:

News & Politics

Publish on:

Views: 0 | Pages: 14

Extension: PDF | Download: 0

Share
Transcript
  ` элгчеся гее TOM XI № 1 2013ISSN 1811–0932  Биоинформатика УДК 57.087.1  А. В. Рубанович©  1 , Н. Н. Хромов-Борисов 2-4 1 ФГБУН «Институт общей гене-тики им. Н. И. Вавилова РАН», Москва; 2 ГБОУ ВПО «Санкт-Петербург-ский государственный медицинс-кий университет им. акад. И. П. Павлова Минздрава РФ»; 3 ФГУ «Российский научно-ис-следовательский институт гемато-логии и трансфузиологии Феде-рального медико-биологического агентства», Санкт-Петербург; 4 ФГБУ «Российский научно-иссле- довательский институт травмато-логии и ортопедии им. Р. Р. Вредена Минздрава РФ», Санкт-Петербург Представлен свод формул `  для показателей распознающей и предсказательной способностей бинарных генетических тестов. Охарактеризована их зависимость от распространенности заболевания и частоты встречаемости генети-ческого маркера. Показано, что при отношении шансов OR  < 2,2 маркер обладает заведомо низкой прогностической эффективностью во всех смыслах при любых частотах заболевания и маркера. Маркер может быть хорошим классифика-тором, если OR  > 5,4, но лишь при  условии, что его популяционная час-тота достаточно высока (  p  M  > 0,3). Приведены формулы, позволяющие в исследованиях типа «случаи–кон-троли» получать косвенные оценки абсолютных и относительных рисков носительства маркера.Ключевые слова: `  генетические ассоциативные исследования; отноше-ние шансов; AUC; предсказательный генетический тест. ТеореТический анализ показаТелей предсказаТельной эффекТивносТи бинарных генеТических ТесТов Поступила в редакцию 03.08.2012Принята к публикации 10.01.2012 ВВедение Повсеместное распространение исследований статистических связей между генотипом и предрасположенностью к широко распространенным за-болеваниям породило острую дискуссию о методах оценки прогностической эффективности маркеров, выявляемых в результате этих работ (Poste, 2011; Kraemer et al., 2011; Pepe et al., 2010; Kraft et al., 2009; Jakobsdottir et al., 2009; Tan et al., 2004). В большинстве случаев авторы сходятся во мнении о том, что высокие значения показателей сопряженности маркера с призна-ками не гарантируют возможности использования этого маркера для прогно-за фенотипического проявления генотипа. В частности, многие авторы под-черкивают, что статистически высоко значимая сопряженность заболевания с генетическим маркером является необходимым, но не достаточным услови-ем возможности использовать такой маркер для предсказания предрасполо- женности к заболеванию. Так, например, многочисленные гены, выявляемые при широкогеномном сканировании как сопряженные с раком предстатель-ной железы, лишь на несколько процентов увеличивают предсказательную эффективность традиционных биомаркеров (PSA, Gleason score) (см., напри-мер, Aly et al., 2011 и редакторский комментарий Bjartell, 2011).В этой связи нами было предпринято теоретическое исследование ситу-аций, возникающих при попытках описания статистических связей «гено-тип — бинарный признак». В первую очередь нас интересовал вопрос: какие значения OR  (отношения шансов) могут обнадежить исследователя? При ка-ких OR  на основе выявленной генетической ассоциации может быть создан эффективный биомаркер предрасположенности к заболеванию? Мы пока- жем, что ответы на эти вопросы существенно зависят от распространенности заболевания и частоты встречаемости маркера. Цель публикации — всес-торонне исследовать функциональную зависимость стандартных показателей эффективности теста от трех независимых параметров: OR,  популяционная частота маркера (  p  M ) и распространенность заболевания (  p  D ). ОбзОр пОказателей эффектиВнОсти бинарнОгО теста Количество предложенных мер сопряженности качественных признаков  давно превышает все разумные пределы. В работе (Tan et al., 2004) пере-числен 21 показатель ассоциирования, характеризующий таблицу сопряжен-ности из 4 чисел. Столь же многообразны попытки упорядочить возможные индексы и меры сопряженности. В недавней работе (Bossuyt, 2010) предла-гается следующая классификация: 1) показатели точности (error-based) — чувствительность, специфичность и производные от них; 2) показатели информативности (information-based) — абсолютные риски при положитель-ных и отрицательных результатах тестирования и отношения правдоподобий; 3) показатели сопряженности (association-based) — отношение шансов OR ,   Биоинформатика 78 ` элгчеся гее TOM XI № 1 2013ISSN 1811–0932относительные риски и показатель «каппа» Коуэна. Эта классификация выглядит не слишком естествен-ной. Фактически к показателям точности отнесены все оценки, связанные с исследованиями типа «случаи — контроли», а к показателям информативности отнесены оценки, характерные для когортных исследований. Абсо-лютные риски отнесены к показателям информативнос-ти, а их отношение (относительный риск) к показателям сопряженности. Кроме того, при OR  >> 1 показатель «каппа» и относительные риски могут быть сколь угодно малы, а высокое отношение правдоподобий не гаранти-рует высокий уровень абсолютных рисков.Мы будем придерживаться следующей нехитрой классификации: 1) тотальные показатели, т. е. зави-сящие от всей таблицы сопряженности; 2) условные показатели, при вычислении которых используют-ся либо только строки, либо только столбцы таблицы сопряженности. Во втором случае мы будем всячески подчеркивать симметричность ситуации — каждому показателю по строчкам соответствует аналогичный показатель по столбцам. Фактически это единствен-ный способ не запутаться в многообразии возможных  характеристик теста. Кроме того, подобная классифи-кация продиктована структурой данных в «генетике предрасположенностей». Генетики редко имеют воз-можность провести популяционное исследование гено-типов и вычислить вероятность совмещения генетичес-кого маркера и заболевания. Обычно удается оценить лишь условные вероятности носительства маркера при наличии заболевания (исследования по схеме «случаи–контроль»), либо вероятности развития заболевания при условии носительства маркера (когортные иссле- дования с целевым выбором носителей маркера). Эти  два варианта соответствуют вычислениям условных по-казателей по столбцам либо по строкам.Пусть совместное распределение вероятностей встречаемости маркера М  и заболевания D  задано в виде стандартной таблицы (матрицы) сопряженности 2 × 2      ),(),( ),(),(  D M  P  D M  P   D M  P  D M  P   P    (1)с нормировкой  1),(),(),(),(    D M  P  D M  P  D M  P  D M  P  .Здесь мы предполагаем, что бинарные случайные величины М  и D  принимают значения: M },{  M  M    и  D   },{  D D  . Под маркером  м понимается «предраспо-лагающий» генотип (аллель, гаплотип), сопряженный с заболеванием  D . Под имеется в виду совокупность альтернативных генетических вариантов.  D  означает от-сутствие заболевания.Введем обозначения для маргинальных сумм: ),(),(  D M  P  D M  P  p  D    — распространенность забо-левания, и ),(),(  D M  P  D M  P  p  M     — популяционная частота мар-кера. Легко проверяемое тождество  P  (  M,D )  – p  M  p  D =P  ( ,  D )  – (1  – p  M )(1  – p  D ) = p  M (1  – p  D )  – P  (  M,  D ) обусловливает возможность представления исходной матрицы  р   в виде:          1 111 )1)(1()1( )1(  D M  M  D  D M  D M   p p p p  p p p p  P  , (2) В этой сумме первая матрица соответствует случаю независимых случайных величин М  и D ,   а вторая — до-бавка, возникающая за счет их взаимодействия. Далее мы будем рассматривать исключительно случай ∆   ≥  0 (положительная связь между маркером и заболева-нием). Случай ∆  < 0 соответствует замене  M  M   .Величина ∆ =  P  (  M, D ) –  p  M  p  D   является одной из воз-можных (но редко используемых) мер сопряженности М  и D .  Определения наиболее распространенных показателей статистической сопряженности перечислены в таблице 1. Тотальные показатели сопряженности OR ),(),( ),(),(  D M  P  D M  P   D M  P  D M  P   ACC   ),(),(  D M  P  D M  P    ∆  D M   p p D M  P    ),( r   )1()1(/  M  M  D D  p p p p   C  2  ))1()1(/(  M  D D M   p p p p     Условные показатели сопряженности Истинные позитивыИстинные негативыОтношение рисковРазность рисковПо столбцам  )|(  D M  P SE    )|(  D M  P SP     LR = SE/  ( 1 − SP  )  SE + SP − 1 По строчкам  )|(  M  D P  PPV    )|(  M  D P  NPV     RR = PPV/  ( 1 −  NPV  )  PPV + NPV − 1 SE  (Sensitivity) — чувствительность, т. е. вероятность наличия маркера у субъекта с болезнью; SP   (Specificity) — специ-фичность, т. е. вероятность отсутствия маркера у субъекта без болезни;  LR  (Likelihood Ratio) — отношение правдоподобий;  RR  (Risk Ratio) — отношение рисков;  PPV   (Positive Predictive Value) — предсказательная ценность наличия маркера, т. е. ве-роятность наличия болезни у субъекта с маркером;  NPV   (Negative Predictive Value) — предсказательная ценность отсутствия маркера, т. е. вероятность отсутствия болезни у субъекта без маркера. тблц 1 Показатели сопряженности маркера (М) и заболевания (D) для матрицы сопряженности  р  79 ` элгчеся гее   TOM XI № 1 2013ISSN 1811–0932  Биоинформатика тльые пзел ссцвя К их числу относятся отношение шансов ( OR ), точ-ность (  ACC  ), коэффициент корреляции ( r  ) и показатель «каппа» Коуэна (Cohen’s kappa —   κ  С  ) (Cohen, 1960).Очевидное преимущество показателя OR  состоит в его универсальности в смысле применимости к любой схеме исследований (случаи — контроли, когортные исследования). Остальные тотальные показатели могут непосредственно оцениваться лишь в популяционных исследованиях (без целевого выбора «только больные» или только «носители маркера»).Интуитивно привлекательным для понимания явля-ется показатель  ACC (другое название —  FC  , Fraction Correct (Mitchell, 2009a, b)), который определяется как  доля случаев правильного срабатывания теста (след мат-рицы  р  ). Строго говоря,  ACC не является показателем сопряженности, поскольку  аСС   > 0 при OR  = 1. Более того, при  p  M ≈    p  D << 1 величина  ACC   слабо зависит от OR  и близка к 1 даже в отсутствие статистической взаимо-связи.В показателях r   и κ   фактически используется разность  ∆ = P(M, D) − p  M  p  D . Тем не менее, коэффициент корре-ляции r   в генетических исследованиях предрасположен-ности практически не фигурирует, т. к. непосредственно оценивается лишь в популяционных исследованиях. Ве-личина r   в первую очередь отражает линейность взаимо-связи M  и D ,  т. е. близость матрицы  р   к диагональному виду. При этом в отличие от OR  коэффициент корреля-ции может не регистрировать ситуации (быть близким к нулю), в которых носительство маркера является лишь необходимым (либо только достаточным) условием забо-левания.Показатель κ  C   часто используют для проверки согла-сия между двумя способами диагностики или между мне-ниями двух диагностов. При этом считается, что согла-сие хорошее при 0,6 ≤   κ  C    ≤  0,8 и отличное при 0,8 ≤   κ  C    ≤  1,0 (Landis, Koch, 1977). На практике показатель κ  C   близок к коэффициенту корреляции, но всегда κ  C    ≤   r   с равенст-вом при  p  M   = p  D . Точнее C  M  D D M  D M  M  DC   p p p p p p p pr              )1()1()1()1(21 . Услвые пзел ссцвя Условные показатели (нижняя часть табл. 1) мож-но вычислять по столбцам либо по строчкам матрицы сопряженности в зависимости от схемы исследования. Обычно используют условные вероятности появления истинно позитивных и истинно негативных результатов тестирования. В исследованиях по схеме «случаи–кон-троли» по столбцам можно непосредственно оценить чувствительность ( SE ) и специфичность ( SP  ) теста. При проведении когортных исследований непосредственной оценке поддаются двойственные показатели по строкам: предсказательная ценность для положительных (  PPV  ) и отрицательных (  NPV  ) результатов диагностическо-го теста (positive/negative predictive value). Для каждой пары показателей можно определить относительные риски (  LR  и  RR ), которые всегда меньше OR . Двойствен-ность определения условных показателей обусловливает выполнение тождеств:  D M  D M   p p RROR LROR p PPV  pSE  PPV SE   .Ясно, что OR >  RR >  LR   при  p  M > p  D , и OR >  LR >  RR  при  p  M < p  D .Показатель  LR  называют отношением правдоподобий и часто обозначают как  LR + , имея в виду выполнение тож- дества, которое позволяет интерпретировать  LR +  как отношение апостериорных шансов заболеть после получения ин-формации о носительстве маркера к априорным шансам заболевания до получения такой информации. При этом вводится аналогичный показатель для отрицательных результатов тестирования: )1/())(1(1  D D  p p  M  D| P  )/  M  P(D| OR LRSP SE  LR    .Мы будем рассматривать лишь  LR   ≡    LR +  в виду его  двойственности к условному показателю  RR   (относи-тельный риск).Среднюю эффективность теста часто характеризуют разностью абсолютных рисков: )1()|()|(  SP SE  D M  P  D M  P    (в исследованиях «случаи–контроли»), )1()|()|(  NPV  PPV  M  D P  M  D P    (в когортных исследованиях).Легко видеть, что показатели средней эффективнос-ти являются коэффициентами наклона соответствующих линий регрессии:  D M  D M  D D D M  br  p p p p D M  P  SP SE  | )1(),(1        (3)  M  D M  D M  M  D M  br  p p p p D M  P   NPV  PPV  | )1(),(1        , где, )1(  M  M  M   p p      , )1(  M  M  M   p p      , b  M|D  и b  D |  M   — наклоны линий регрессии M  на D и  D  на M ,  соответс-твенно. Имеются в виду регрессии, которые вычисляются после перекодировки: 1,;0,    D M  D M  .Очевидно, что показатель b  D|M,  являясь коэффициен-том наклона регрессии D   на M   и разностью абсолютных рисков, характеризует среднюю диагностическую эф-фективность маркера, т. е. возможность предсказывать индивидуальную предрасположенность к заболеванию )1/())|(1/()|( )|()|(1  D D  p p M  D P  M  D P   D M  P  D M  P SP SE  LR     Биоинформатика 80 ` элгчеся гее TOM XI № 1 2013ISSN 1811–0932по результатам тестирования на носительство маркера. В отношении показателя b  M |  D  в следующем разделе бу- дет показано, что в некотором смысле этот показатель  характеризует возможности маркера решать классифи-кационные задачи. Ничего другого и не следовало ожи- дать: показатель b  M |  D,  являясь коэффициентом наклона регрессии M   на D ,  характеризует способность теста от-личать выборки больных от выборок здоровых.Ясно, что коэффициент корреляции является сред-ним геометрическим условных показателей эффектив-ности теста: )1)(1(    NPV  PPV SP SE r  .Отметим также, что величины  b  M |  D  и b  D |  M  часто назы-вают индексом Юдена (Youden, 1950) и суммарным пред-сказательным индексом (  PSI  , predictive summary index) (Linn, Grunau, 2006) соответственно. ВерОятнОстные интерпретации пОказателей эффектиВнОсти теста Показатели  PPV и  NPV   (а также производный от них показатель  RR ) имеют очевидную и практически важ-ную интерпретацию — это условные вероятности раз-вития заболевания при носительстве или отсутствии маркера. Прогностическая ценность двойственных по-казателей по столбцам ( SE и SP  ) представляется менее очевидной. В этой связи рассмотрим несколько воз-можных вероятностных интерпретаций показателей, связанных с 1 |    SP SE b  D M  .При анализе эффективности количественных мар-керов успешно используется зависимость SE  от 1 — SP   (ROC-кривая). Площадь под этой кривой (  AUC —  Area Under Curve) равна вероятности того, что у случайно выбранного субъекта с болезнью значение мерного при-знака будет выше, чем у случайно выбранного субъекта без данной болезни (Fawcett, 2006). Для бинарного мар-кера ROC-кривая является кусочно-линейной (рис. 1), при этом соответствующая площадь равна 2)1(21 | SP SE b AUC   D M   .Отметим также, что в работах, посвященных алгорит-мам поиска межлокусных взаимодействий, показатель ( SE +  SP  )/2 называют «балансовой точностью» (balanced accuracy,  BA ) (см., например, Winham et al., 2010).В отношении показателя ( SE + SP  )/2 справедливо следующее Увеждее 1.  Пусть при тестировании одного больного и одного здорового индивидуума иденти-фикация больного осуществляется следующим об-разом: больным объявляется носитель маркера, если результаты тестирования не совпадают, и больной выбирается случайно при совпадении результатов тестирования. Тогда вероятность правильной иденти-фикации больного равна  AUC = ( SE +  SP  )/2.  Дзельсв.  Искомая вероятность равна )|()|( 21 1,2  D M  P  D M  P  P    )|()|( 21  D M  P  D M  P     )|()|(1  D M  P  D M  P    21)|()|(0  SE  D M  P  D M  P      =  )1( 21)1(  SE SP SE SP     .2121 SP SE SP    Утверждение доказано. Таким образом, величина 5,0/)5,0( |    AUC b  D M   равна относительной добавке к вероятности 0,5 (случайное угадывание). В ROC-ана-лизе принято считать, что маркер является хорошим классификатором при  AUC > 0,7 и безусловно плохим при  AUC < 0,6 (Swets, 1988).Утверждение 1 допускает следующее обобще-ние, которое предлагает интерпретацию показателя  LR = SE  /(1 − SP  ). Увеждее 2.  Пусть в группе из n  человек име-ются один больной и ( n − 1) здоровых индивидуумов. Для обнаружения больного тестируются все члены группы, и если среди них обнаруживаются k  носителей маркера, то выбор больного среди них осуществляется случайным образом с вероятность 1/ k . Тогда вероятность правильной идентификации больного при тестировании группы равна n LRn LRSP  LR P  nnn    ~)1( 11, .Иными словами, применение теста к группе из n  лиц  увеличивает вероятность обнаружения больного в  LR  раз по сравнению со случайным угадыванием (которое возможно с вероятностью 1/ n ).  Дзельсв.  Искомая вероятность равна Рис. 1.  «ROC-кривая» в случае бинарного теста. Площадь выде- ленной фигуры равна 2/)(2/)1( |  SP SE b AUC   D M     81 ` элгчеся гее   TOM XI № 1 2013ISSN 1811–0932  Биоинформатика )1(1  11,     SP SE n P   nn )1(11  1110      SP SP C k SE   k k nk  nnk  )1(1)1(1  1    SP nSP SE SP SE n nn )1(11  11        SP SP SE SP n nn   )1(1  1     LRSP  LRn n  .Утверждение доказано. При n = 2 имеем формулу из Утверждения 1.Широкое распространение получили показатели обратные к  D M  b |   и  M  D |  в качестве оценок среднего чис-ла тестов, проведенных до первого правильного сра-батывания маркера. Этот подход заимствован из ра-бот, оценивающих эффективность терапевтических методов, которые, как правило, являются когорт-ными исследованиями (в качестве маркера  м высту-пает терапия т  ). В этих работах часто используется показатель 11|  ))|()|((     T  D P T  D P b NNT  T  D , ко-торый оценивает минимальную численность группы прошедших терапию, при которой число излеченных на одного больше, чем в такой же контрольной группе (Number Needed to Treat — число подлежащих воз- действию). По аналогии для оценки эффективности использования маркеров различными авторами были предложены (см., Anonymous, 1996 и обсуждение: на-пример, Mitchell, 2009 a, b):число подлежащих диагностированию (Number • Needed to Diagnose) для исследований по схеме «случаи—контроль» ))|()|((  11|      D M  P  D M  P b NND  D M  11  SP SE  ;число субъектов, необходимое для предсказания • (Number Needed to Predict) для когортных иссле- дований ))|()|((  11|      M  D P  M  D P b NNP   M  D 11   NPV  PPV  .При этом величину  NND  часто интерпретируют как среднюю численность выборки, которую необ- ходимо протестировать, для обнаружения одного больного (Mitchell, 2009 a, b). Другие авторы пола-гают, что  NND  — это среднее число тестирований  до момента любого правильного срабатывания теста (правильная идентификация больного или здорового) (Linn, Grunau, 2006). Нам представляется, что обе интерпретации ошибочны. Контрпример дает матри-ца  р   вида        999900990110  6  P   .В этом случае SE = 0,01  и SP   = 1   (все носители мар-кера больны). Тогда  NDD = 100 , хотя для обнаружения больного при помощи маркера нужно в среднем про-вести 1/  p  M   = 10 6   тестов. При этом доля случаев правиль-ного срабатывания теста практически равна единице (  ACC =  0,999901 ) .В отношении показателя 1|    D M  b NND  можно ут-верждать лишь следующее. Пусть в единицу времени на носительство маркера проверяются один больной и один здоровый человек. Тогда среднее время ожидания события «число носителей маркера среди больных боль-ше, чем среди здоровых» равно 1|   D M  b   =  ( SE + SP − 1) −1 . При этом вероятность того, что в выборке больных число но-сителей маркера всегда больше, чем в выборке здоровых равна SE + SP −   1. Аналогично, при рассмотрении растущей выборки носителей маркера среднее время ожидания события «число больных среди носителей маркера выше, чем среди свободных от маркера» равно 11|  )1(     NPV  PPV b NNP   M  D . заВисимОсть пОказателей эффектиВнОсти От распрОстраненнОсти забОлеВания и пОпуляциОннОй частОты маркера Современные базы данных позволяют получать априорную информацию о частотах встречаемости возможных генов-маркеров (  p  M  )  наряду с данными о распространенности изучаемого заболевания (  p  D ) . В поисковых ассоциативных исследованиях прогности-ческая эффективность генетического теста будет сущес-твенно зависеть от популяционной частоты выбранного  для исследования маркера. В этой связи необходимо четко представлять характер зависимости всех пока-зателей эффективности теста от  p  M   и  p  D   при различных  уровнях ассоциирования (значениях OR ).В этом разделе мы приведем сводку формул, опи-сывающих зависимость показателей эффективности бинарного теста от трех независимых параметров: OR ,    p  M   и  p  D . Начнем с вычисления ключевого показателя  D M   p p D M  P     ),( .   Величина  ∆  вычисляется из опре- деления OR : ))1()()1(( ))1)(1)(((     D M  M  D  D M  D M   p p p p  p p p p OR  ,откуда
Related Search
Similar documents
View more...
We Need Your Support
Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

Thanks to everyone for your continued support.

No, Thanks