واحد بهداشت مرکز پژوهش‌های علمی و فناوری دانشجویان علوم پزشکی تهران

Forwarded from Evidence

▫️وقتی هوش مصنوعی تعیین می‌کند چه پژوهشی دیده شود

به تازگی مقاله‌ای تحت عنوان زیر در مجله Nature منتشر شده است:

AI chatbots are already biasing research — we must establish guidelines for their use now (Link)

در این مقاله آمده است که در سال‌های اخیر توجه زیادی به این شده که هوش مصنوعی چطور به پژوهشگران در نوشتن مقاله کمک می‌کند. اما کمتر به این پرداخته‌ایم که این ابزارها چگونه بر انتخاب منابع و مقالاتی که می‌خوانیم و به آن‌ها استناد می‌کنیم تأثیر می‌گذارند.

هوش مصنوعی برای پاسخ دادن به سوالات، حجم زیادی از مطالب اینترنت را جمع‌آوری می‌کند، اما در مقابل کاربران، خیلی کمتر به سایت ناشران اصلی هدایت می‌شوند. مثلاً در سال 2025 شرکت OpenAI برای اینکه فقط یک نفر را به سایت ناشر بفرستد، خودش حدود 1500 صفحه مطلب از آن ناشر را مصرف کرده بود؛ در حالی‌که قبلاً این مقدار فقط 250 صفحه بود. شرکت Anthropic حتی بیشتر از این هم پیش رفت: به ازای هر بازدیدی که به سایت ناشر می‌داد، نزدیک به 60 هزار صفحه از مطالب او را استفاده می‌کرد. حتی گوگل هم با قابلیت AI Overviews ترافیک ناشران را سه برابر کمتر کرد. این یعنی بخش بزرگی از مخاطبان، مستقیم به جواب آماده AI دسترسی پیدا می‌کنند و دیگر به سایت مقالات اصلی سر نمی‌زنند.

اما مشکل اصلی، توهم‌های هوش مصنوعی (hallucinations) نیست، بلکه سوگیری پنهان در اطلاعات واقعی است. تحقیقات نشان داده که وقتی از AI خواسته می‌شود پژوهشگرانی را به‌عنوان داور پیشنهاد کند، بیشتر افراد غربی و سفیدپوست معرفی می‌شوند و پژوهشگران آسیایی یا کمتر شناخته‌شده نادیده گرفته می‌شوند.

در زمینه‌ی معرفی مقالات هم همین اتفاق می‌افتد: بیش از 60 درصد منابعی که AI پیشنهاد می‌کند جزو 1 درصد مقالات پر استناد هستند. این یعنی Matthew effect (اثر متیو: مشهورها مشهورتر می‌شوند) به شکل افراطی تشدید می‌شود و تحقیقات تازه یا کمتر دیده‌شده پشت پرده می‌مانند.

سیاست‌های علمی تاکنون بیشتر روی اخلاق نوشتن با کمک AI متمرکز بوده‌اند (مثلاً شفافیت و اصالت متن). در حالی که تهدید اصلی در اینجاست که AI دارد تصمیم می‌گیرد چه مقالاتی دیده و استناد شوند. پژوهشگران اغلب خروجی AI را بدون سوال می‌پذیرند و این باعث می‌شود مسیرهای تحقیقاتی محدود و یک‌سویه شوند.

راهکارهای پیشنهادی نویسنده:

1. پژوهش جدی درباره عملکرد AI در محیط آکادمیک: بررسی سوگیری‌ها، شناسایی خطرهایی مثل پرامپت‌های پنهان مخرب (prompt injection).

2. آموزش پژوهشگران: یاد بگیرند که از AI به‌عنوان ابزار کمکی استفاده کنند، نه مرجع نهایی. مثلاً به‌جای پرسیدن "مقالات مهم حوزه X"، بپرسند "چه انتقادهایی به نظریه X وجود دارد؟".

3. آموزش نهادهای ارزیاب و داوران: با توجه به اینکه در پروپوزال‌های پژوهشی، روزبه‌روز از مرورهای متون تهیه‌ شده با کمک AI استفاده زیادی می‌شود، داوران باید آموزش ببینند تا نشانه‌های نفوذ AI را تشخیص دهند؛ مثل تکیه بیش‌ از حد بر چند مقاله پر استناد و نادیده گرفتن پژوهش‌های متنوع یا مخالف.

به اعتقاد نویسنده، همان‌طور که برای نوشتن با AI قوانین گذاشته‌ایم، باید برای یافتن علم با AI هم چارچوب مشخص کنیم. فرصت محدود است و سیاست‌های امروز، آینده‌ی علم را تعیین خواهد کرد.

#AI
#bias
#research


🆔 @irevidence

www.tgoop.com/SSRC_Behdasht/1705

633 viewsHamed Soleimani, Sep 17 at 13:19

▫️وقتی هوش مصنوعی تعیین می‌کند چه پژوهشی دیده شود

به تازگی مقاله‌ای تحت عنوان زیر در مجله Nature منتشر شده است:

AI chatbots are already biasing research — we must establish guidelines for their use now (Link)

در این مقاله آمده است که در سال‌های اخیر توجه زیادی به این شده که هوش مصنوعی چطور به پژوهشگران در نوشتن مقاله کمک می‌کند. اما کمتر به این پرداخته‌ایم که این ابزارها چگونه بر انتخاب منابع و مقالاتی که می‌خوانیم و به آن‌ها استناد می‌کنیم تأثیر می‌گذارند.

هوش مصنوعی برای پاسخ دادن به سوالات، حجم زیادی از مطالب اینترنت را جمع‌آوری می‌کند، اما در مقابل کاربران، خیلی کمتر به سایت ناشران اصلی هدایت می‌شوند. مثلاً در سال 2025 شرکت OpenAI برای اینکه فقط یک نفر را به سایت ناشر بفرستد، خودش حدود 1500 صفحه مطلب از آن ناشر را مصرف کرده بود؛ در حالی‌که قبلاً این مقدار فقط 250 صفحه بود. شرکت Anthropic حتی بیشتر از این هم پیش رفت: به ازای هر بازدیدی که به سایت ناشر می‌داد، نزدیک به 60 هزار صفحه از مطالب او را استفاده می‌کرد. حتی گوگل هم با قابلیت AI Overviews ترافیک ناشران را سه برابر کمتر کرد. این یعنی بخش بزرگی از مخاطبان، مستقیم به جواب آماده AI دسترسی پیدا می‌کنند و دیگر به سایت مقالات اصلی سر نمی‌زنند.

اما مشکل اصلی، توهم‌های هوش مصنوعی (hallucinations) نیست، بلکه سوگیری پنهان در اطلاعات واقعی است. تحقیقات نشان داده که وقتی از AI خواسته می‌شود پژوهشگرانی را به‌عنوان داور پیشنهاد کند، بیشتر افراد غربی و سفیدپوست معرفی می‌شوند و پژوهشگران آسیایی یا کمتر شناخته‌شده نادیده گرفته می‌شوند.

در زمینه‌ی معرفی مقالات هم همین اتفاق می‌افتد: بیش از 60 درصد منابعی که AI پیشنهاد می‌کند جزو 1 درصد مقالات پر استناد هستند. این یعنی Matthew effect (اثر متیو: مشهورها مشهورتر می‌شوند) به شکل افراطی تشدید می‌شود و تحقیقات تازه یا کمتر دیده‌شده پشت پرده می‌مانند.

سیاست‌های علمی تاکنون بیشتر روی اخلاق نوشتن با کمک AI متمرکز بوده‌اند (مثلاً شفافیت و اصالت متن). در حالی که تهدید اصلی در اینجاست که AI دارد تصمیم می‌گیرد چه مقالاتی دیده و استناد شوند. پژوهشگران اغلب خروجی AI را بدون سوال می‌پذیرند و این باعث می‌شود مسیرهای تحقیقاتی محدود و یک‌سویه شوند.

راهکارهای پیشنهادی نویسنده:

1. پژوهش جدی درباره عملکرد AI در محیط آکادمیک: بررسی سوگیری‌ها، شناسایی خطرهایی مثل پرامپت‌های پنهان مخرب (prompt injection).

2. آموزش پژوهشگران: یاد بگیرند که از AI به‌عنوان ابزار کمکی استفاده کنند، نه مرجع نهایی. مثلاً به‌جای پرسیدن "مقالات مهم حوزه X"، بپرسند "چه انتقادهایی به نظریه X وجود دارد؟".

3. آموزش نهادهای ارزیاب و داوران: با توجه به اینکه در پروپوزال‌های پژوهشی، روزبه‌روز از مرورهای متون تهیه‌ شده با کمک AI استفاده زیادی می‌شود، داوران باید آموزش ببینند تا نشانه‌های نفوذ AI را تشخیص دهند؛ مثل تکیه بیش‌ از حد بر چند مقاله پر استناد و نادیده گرفتن پژوهش‌های متنوع یا مخالف.

به اعتقاد نویسنده، همان‌طور که برای نوشتن با AI قوانین گذاشته‌ایم، باید برای یافتن علم با AI هم چارچوب مشخص کنیم. فرصت محدود است و سیاست‌های امروز، آینده‌ی علم را تعیین خواهد کرد.

#AI
#bias
#research


🆔 @irevidence

BY واحد بهداشت مرکز پژوهش‌های علمی و فناوری دانشجویان علوم پزشکی تهران