ارزیابی رویدادها توسط کمیتههای داوری (ACs) در کارآزماییهای تصادفیسازی و کنترلشده (RCTs؛ Randomised Controlled Trials) چندگانه توصیه میشود. با این حال، مفید بودن آن مورد سئوال است.
هدف از این مطالعه مروری نظاممند مقایسه موارد زیر است: 1) برآوردهای اثر درمانی از حوادث بالینی ذهنی ارزیابیشده توسط ارزیابان در محل در مقایسه با کمیته ارزیابان و 2) برآوردهای اثر درمانی، مطابق با وضعیت پنهانسازی (کورسازی) ارزیاب در محل و فرآیند استفاده شده برای انتخاب حوادث برای داوری.
ما پایگاه کارآزماییهای بالینی ثبتشده کاکرین (CENTRAL؛ Cochrane Central Register of Controlled Trials)؛ PubMed؛ EMBASE؛ PsycINFO؛ CINAHL و Google Scholar؛ (25 آگوست به عنوان آخرین بهروزرسانی) را با استفاده از ترکیبی از عبارات برای بازیابی RCTها و عباراتی که به طور معمول برای توصیف کمیتههای داوری استفاده میشوند، جستوجو کردیم.
ما تمام گزارشهای مربوط به RCTها و RCTهای منتشرشده و انتخابشده را در مطالعات مروری و متاآنالیزهایی (meta-analysis) انتخاب کردیم که پیامد ذهنی یکسانی که هم توسط ارزیاب در محل و هم توسط کمیته ارزیابان، ارزیابی شده بود را گزارش کردند.
ما نسبت شانس (OR) مربوط به ارزیابی در محل و نسبت شانس متناظر مربوط به ارزیابی کمیته ارزیابان را استخراج کردیم و نسبت نسبتهای شانس (ROR) را محاسبه کردیم. نسبت نسبتهای شانس بیشتر از 1 نشان میدهد که ارزیابان در محل برآوردهای اثر بزرگتری در حمایت از درمان تجربی نسبت به کمیته ارزیابان تولید میکنند.
دادههای به دست آمده از 47 کارآزمایی تصادفیسازی و کنترلشده (275078 بیمار) در این متاآنالیز استفاده شد. ما 11 RCT را به دلیل وجود دادههای ناقص مربوط به پیامد بهمنظور محاسبه نسبت شانس برای ارزیابی در محل و ارزیابی توسط کمیته ارزیابان، از مطالعه حذف کردیم. به طور متوسط، هیچ تفاوتی بین ارزیابی برآوردهای اثر درمان بین ارزیابان در محل و کمیته ارزیابان وجود نداشت (ROR ترکیبشده: 1.00؛ 95% فاصله اطمینان (CI): 0.97 تا 1.04؛ 0% = I2؛ 47 RCT). زمانی که ارزیابان در محل آن کورسازی شده بودند، ROR ترکیبشده برابر با 1.00 بود (95% فاصله اطمینان (CI)؛ 0.96 تا 1.04؛ 0% = I2؛ 35 RCT). زمانی که کمیته ارزیابان، حوادث را مستقل از ارزیابان کورسازی نشده در محل ارزیابی کردند، برابر با 0.76 بود (95% فاصله اطمینان (CI)؛ 0.48 تا 1.12؛ 0% = I2؛ 2 RCT) و زمانی که کمیته ارزیابان، وقایع شناسایی شده توسط ارزیابان کورسازی نشده در محل را ارزیابی کردند، برابر با 1.11 بود (95% فاصله اطمینان (CI)؛ 0.96 تا 1.27؛ 0% = I2؛ 10 RCT). با این حال، برهمکنش معنیداری از نظر آماری بین این زیر گروهها وجود داشت (0.03 = P).
به طور متوسط، بین برآوردهای اثر درمان برای رویدادهای پیامد ذهنی ارزیابی شده توسط ارزیابان در محل با آنچه که توسط کمیته ارزیابان ارزیابی شد، تفاوتی وجود نداشت. نتایج تجزیه و تحلیلهای زیرگروه، نشان دهنده برهمکنش مطابق با وضعیت کورسازی شده ارزیابان در محل و فرآیند استفاده شده برای ارسال دادهها به کمیته ارزیابان، بود. این نتایج نشان میدهد زمانی که ارزیابان در محل کورسازی نشده باشند و همچنین خطر ردهبندی نادرست بالا باشد، استفاده از کمیته ارزیابان ممکن است مهمتر باشد. علاوه بر این، برای بررسی تأثیر روشهای مختلفی که در انتخاب حوادث به منظور قضاوت استفاده میشود، تحقیقات بیشتری لازم است.