هل يجب أن تصدق نتائج الدراسات العلمية؟ وفي خضم المخاوف الحالية بشأن ثقة عامة الناس في العلم، تعود الحجج القديمة إلى الظهور على نحو قد يؤدي إلى زرع الارتباك.
باعتباري خبيرًا إحصائيًا شارك في الأبحاث لسنوات عديدة، فأنا أعرف مدى الاهتمام الذي يتم بذله في تصميم دراسة جيدة قادرة على التوصل إلى نتائج ذات معنى. إن فهم نتائج دراسة معينة وما لا تقوله يمكن أن يساعدك على التدقيق في ما تراه في الأخبار أو على وسائل التواصل الاجتماعي.
اسمحوا لي أن أرشدكم خلال العملية العلمية، من التحقيق إلى النشر. تعتمد نتائج البحث التي تسمع عنها بشكل حاسم على الطريقة التي يقوم بها العلماء بصياغة الأسئلة التي يبحثون عنها.
المنهج العلمي والفرضية الصفرية
يستخدم الباحثون في جميع أنواع المجالات المنهج العلمي للتحقيق في الأسئلة التي تهمهم.
أولاً، يقوم العالم بصياغة ادعاء جديد – ما يسمى بالفرضية. على سبيل المثال، هل وجود بعض الطفرات الجينية في جينات BRCA يرتبط بزيادة خطر الإصابة بسرطان الثدي؟ ثم يقومون بجمع البيانات ذات الصلة بالفرضية ويقررون، بناءً على البيانات، ما إذا كان هذا الادعاء الأولي صحيحًا أم لا.
من البديهي الاعتقاد بأن هذا القرار ثنائي تمامًا، أي أن الباحث يقرر أن الفرضية إما صحيحة أو خاطئة. لكن بالطبع، مجرد اتخاذك قرارًا ما لا يعني أنك على حق.
إذا كان الادعاء كاذبًا بالفعل ولكن الباحثين قرروا، بناءً على الأدلة، أنه صحيح – إيجابية كاذبة – فإنهم يرتكبون ما يسمى بالخطأ من النوع الأول. إذا كان الادعاء صحيحًا بالفعل ولكن الباحث فشل في رؤية ذلك – نتيجة سلبية كاذبة – فإنهم يرتكبون خطأ من النوع الثاني.
علاوة على ذلك، في العالم الحقيقي، يصبح الأمر أكثر فوضوية بعض الشيء. من الصعب حقًا اتخاذ قرار بشأن صحة أو زيف الادعاء بناءً على ما تمت ملاحظته فقط.
لهذا السبب، يستخدم معظم العلماء ما يسمى بإطار اختبار أهمية الفرضية الصفرية. وإليك كيفية العمل: يذكر أحد الباحثين أولاً “فرضية العدم”، وهو أمر يتعارض مع ما يريد إثباته. على سبيل المثال، في مثالنا، الفرضية الصفرية هي أن الطفرات الجينية BRCA لا ترتبط بزيادة حدوث سرطان الثدي.
لا يزال العالم يجمع البيانات ويتخذ القرار، لكن القرار لا يتعلق بما إذا كان الصفر صحيحًا أم لا. وبدلاً من ذلك، يقرر الباحث ما إذا كان هناك ما يكفي من الأدلة لرفض فرضية العدم أم لا.
ما الذي يعنيه رفض القيمة الفارغة وما لا يعنيه
فهم هذا التمييز أمر بالغ الأهمية. إن رفض العدم يعادل في الممارسة العملية التصرف كما لو كان كاذبًا – في المثال، رفض العدم يعني الادعاء بأن أولئك الذين لديهم بعض طفرات جين BRCA لديهم خطر أعلى للإصابة بسرطان الثدي. إلى جانب الأدلة الأخرى، مثل حجم الخطر المتزايد، يمكن لهذه النتيجة أن تبرر التوصية بالفحص المبكر لسرطان الثدي للأشخاص الذين لديهم طفرات BRCA المحددة.
لكن الفشل في رفض فرضية العدم لا يعني أنها صحيحة – في هذه الحالة، لا يعني ذلك عدم وجود ارتباط بين طفرات BRCA وسرطان الثدي. بل إن مثل هذه النتيجة غير حاسمة؛ لا توجد أدلة كافية للادعاء بوجود ارتباط. النتيجة السلبية – أدلة غير كافية لقول أن العدم خطأ – لا تدعو بالضرورة الباحث إلى الاعتقاد بأن العدم صحيح.
وذلك لأن اختبار أهمية الفرضية الصفرية تم إعداده للتحكم في خطأ النوع 1 (إيجابي كاذب) عند مستوى محدد مسبقًا من قبل الباحث ولكن على حساب التحكم بشكل أقل في خطأ النوع 2 (سلبي كاذب).
فرص الباحث في رفض العدم بشكل صحيح إذا كان هناك خطر متزايد يمكن أن تعتمد على كمية البيانات المتوفرة لديهم، ومدى تعقيد تصميم الدراسة، والأهم من ذلك، مدى ضخامة التأثير الفعلي. من الأسهل بكثير رفض القيمة الفارغة إذا كانت طفرات BRCA تزيد بالفعل من خطر الإصابة بالسرطان عدة مرات مما لو كان الخطر مرتفعًا قليلاً فقط. يمكن أن ينتهي الأمر بالباحث إلى نتيجة ليست ذات دلالة إحصائية ولكن لا يمكنه استبعاد احتمال زيادة المخاطر التي تكون صغيرة جدًا بحيث يتعذر على الدراسة اكتشافها.
ما هي النتائج التي يتم نشرها في كثير من الأحيان
بمجرد حصولهم على نتائجهم، ويرغب الباحثون في نشر أعمالهم، فإنهم عادةً ما يفعلون ذلك من خلال النشر الخاضع لمراجعة النظراء. يأخذ ناشرو الدوريات بعين الاعتبار كتابة الباحث لدراستهم، ويرسلونها إلى علماء آخرين لمراجعتها، ثم يقررون ما إذا كانوا سينشرونها أم لا.
في هذه العملية، يميل الناشرون إلى تفضيل الدراسات التي رفضت فرضيتهم الصفرية على تلك التي فشلت في رفضها. وهذا ما يسمى تحيز النشر الإيجابي.
من الطبيعي أن يفضل الناشرون الدراسات التي تدعم الادعاءات الجديدة لأنها تحمل بشكل موضوعي معلومات أكثر من الدراسات التي فشلت في رفض فرضيتهم الصفرية. تريد المجلات نشر شيء جديد وجدير بالملاحظة.
تشير العديد من المصادر إلى هذه الظاهرة باعتبارها “علمًا سيئًا”، ولكن هل هي كذلك بالفعل؟ تذكر أن الإطار المستخدم لاتخاذ القرارات بشأن الادعاءات العلمية لا يكون قادرًا عمدًا إلا على رفض فرضية العدم – وبعبارة أخرى، دعم الادعاء – أو إعلان نتائج غير حاسمة بدلاً من ذلك.
لم يتم تصميم الإطار ليكون قادرًا على إثبات الفرضية الصفرية. ومع ذلك، يمكن للباحثين عكس تصميم البحث العلمي بحيث يصبح الادعاء السابق هو الفرضية الصفرية في دراسة جديدة تحتوي على بيانات جديدة.
على سبيل المثال، بدلاً من الفرضية الصفرية التي تقول بعدم وجود ارتباط بين طفرات BRCA وسرطان الثدي، تصبح الفرضية الصفرية هي أن زيادة خطر الإصابة بسرطان الثدي من طفرات BRCA تساوي أو تزيد عن بعض القيمة التي يستقر عليها الباحث قبل جمع بيانات جديدة.
إن رفض القيمة الفارغة هذه المرة يعني أن الخطر المتزايد أصغر من تلك القيمة المحددة، وبالتالي دعم المطالبة المتوافقة مع ما كان في السابق فرضية العدم على البيانات السابقة. في المثال، رفض القيمة الفارغة يعني أن تأثير جينات BRCA صغير بدرجة كافية بحيث لا يكاد يذكر من حيث الإصابة بسرطان الثدي.
من المهم جدًا بالنسبة للباحث أن ينظم دراسته بحيث يتماشى ما يهتم بإثباته مع رفض العدم. من الطبيعي أن يكون الناشرون أقل ميلاً للنظر في الدراسات التي فشلت في رفض فرضيتهم الصفرية، ليس لأنهم لا يريدون نشر دراسات تدعم العبارات السلبية ولكن لأن اختبار أهمية الفرضية الصفرية لا يدعم في الواقع العبارات السلبية. إن الفشل في رفض القيمة الفارغة يعني أن نتائجك غير حاسمة – وربما تبدو أقل أهمية في النشر.
ما يفعله تحيز النشر الإيجابي
إذن، ما الذي تفعله ممارسة تفضيل نشر الدراسات التي ترفض فرضيتها الصفرية؟
في حين أننا لا نستطيع أن نعرف على وجه اليقين، يمكننا أن نرى كيف يحدث هذا في ظل ظروف مختلفة. يمكنك استكشاف السيناريوهات في هذا التطبيق الذي قمت بإنشائه.
إذا كان العلماء يتصرفون بحسن نية، باستخدام اختبار أهمية الفرضية الصفرية بشكل مناسب، فقد يتبين أن تحيز النشر الإيجابي من جانب ناشري المجلات العلمية سيزيد من نسبة الاكتشافات الحقيقية في صفحاتهم أكثر بكثير مما سيزيد من نسبة الإيجابيات الكاذبة.
إذا لم يمارس المحررون أي تحيز إيجابي في النشر، فستمتلئ المجلات بالكامل تقريبًا بالدراسات ذات النتائج غير الحاسمة.
وبطبيعة الحال، إذا لم يتصرف العلماء بحسن نية وكان اهتمامهم فقط هو الحصول على النشر مع تجاهل الاستخدام السليم للاختبارات الإحصائية، فقد يؤدي ذلك إلى ارتفاع معدلات الإيجابية الكاذبة أو أعلى من معدل الاكتشافات الحقيقية. لكن هذا الاحتمال صحيح حتى بدون تحيز النشر الإيجابي.
تم إعادة نشر هذا المقال من The Conversation، وهي منظمة إخبارية مستقلة غير ربحية تقدم لك حقائق وتحليلات جديرة بالثقة لمساعدتك على فهم عالمنا المعقد. كتب بواسطة: مارك لوي راموس، ولاية بنسلفانيا
اقرأ المزيد:
لا يعمل مارك لوي راموس لدى أي شركة أو مؤسسة أو يستشيرها أو يمتلك أسهمًا فيها أو يتلقى تمويلًا منها قد تستفيد من هذه المقالة، ولم يكشف عن أي انتماءات ذات صلة بعد تعيينه الأكاديمي.