د. إياد قنيبي ✔

أحياناً عند مطالعة ما يكتبه بعض طلاب الدراسات العليا والباحثين الجدد من أوراق "علمية"، تستنتج أنهم نجحوا في استخراج أسوأ ما في الذكاء الاصطناعي!!
فالعديد من الأبحاث المذكورة كـ references غير موجودة أصلاً
والموجود منها كثير منه لا يحتوي على المعلومة المنسوبة إليه

لتوضيح ذلك، قمنا بتجربة بسيطة:
افترضنا أننا نريد كتابة Introduction لورقة علمية موضوعها الإخفاق في تشخيص السرطان "missed cancer diagnosis" وكتبنا للـ ChatGPT في نسخته المدفوعة، تحديدا GPT4o، كتبنا له الـ Prompt التالي:
"I want to write an Introduction for my research about Missed Cancer Diagnosis. Please write this Introduction, including 6-8 references."
وللأسف، بعض الباحثين قد يكتب الـ prompt بهذا الشكل بالفعل!!
وبالفعل كتب لنا الـ ChatGPT المقدمة، واستعمل فيها 10 مراجع (مش مشكلة زيادة العدد الآن).
مررنا على المراجع "references" التي أتى بها، فكانت النتيجة كما في الجدول المرفق:

أ‌. المراجع 5 و 8 و 9: المرجع غير موجود أصلاً "Article does not exist"
يعني الذكاء الاصطناعي ألَّفه من عنده وليس هناك ورقة بهذا العنوان أصلاً!

ب‌. المراجع 1 و2: المرجع "الورقة العلمية" موجودة، لكنها عن موضوع آخر غير ما يستدل له الذكاء الاصطناعي "Claim not supported"، مثلا أن تكون الورقة عن أخطاء التشخيص عموماً وليس فيها تفاصيل عن الإخفاق في تشخيص السرطان.

ت‌. المراجع 3 و4: الورقة عن الموضوع المطلوب بالفعل، لكن الاستدلال غير دقيق، كأن يقول الذكاء الاصطناعي أن 15% من الشكاوى المقدمة ضد الأطباء فيما يتعلق بالسرطان متعقلة بإخفاقهم في تشخيصه ابتداء، ويستدل بالورقة العلمية، لكن إذا رجعت إلى الورقة المشار إليها تجدها لم تذكر هذه المعلومة وإنما ذكرت مثلاً أن السرطان يشكل 38% من الحالات التي تسبب فيها خطأ التشحيص في مشاكل رئيسية للمريض.

ث‌. المراجع 6 و 7: الورقة تدل على جزء مما ادعاه الذكاء الاصطناعي. كأن يقول الذكاء الاصطناعي أن سرطانات الرئة والقولون والبنكرياس والمثانة يتأخر تشخيصها، ويستدل بورقة معينة، فإذا رجعت للورقة وجدت أنها ذكرت هذه المعلومة عن بعض هذه السرطانات ولم تذكر السرطانات الأخرى المذكورة.

وفي المحصلة، استدلال الذكاء الاصطناعي، الـ ChatGPT في هذه الحالة، كان دقيقا في أحد الموضعين اللذَين ذكر فيهما المرجع رقم 6، ودقيقاً إلى حدٍّ ما في الاستدلال بالمرجع رقم 10، يعني مرجعين فقط من أصل 10!
********************************
ما النتيجة؟ أن الذكاء الاصطناعي عديم الفائدة؟؟
أبداً، بل هو عظيم الفائدة..
وإنما الطريقة التي يستخدمها البعض به خطأ خطأ خطأ !! لا prompt engineering ولا context ولا drafts أولية ولا أي شيء!
وهذه الطريقة ناجحة في شيء واحد فقط: استخراج أسوأ ما فيه!!
المسألة مثل أن تعطي مفتاحاً لمن لم يتدرب على القيادة بالمرة..قد ينجح في تحريك السيارة، لكن النتيجة مدمرة!
لذلك نركز في دوراتنا مع الباحثين الجدد على الوسائل المثلى لاستخراج أفضل ما في الذكاء الاصطناعي، كما نفعل في دورتنا:
AI-Assisted Scientific Writing: from Literature Search to Publication
********************************
في النهاية، هذه الأدوات سيف ذو حدين، والنتيجة تعتمد على طريقتك في الاستخدام.

أ.د. إياد قنيبي

www.tgoop.com/EyadQunaibi/4569

88.2K viewsJul 14 at 15:46

أحياناً عند مطالعة ما يكتبه بعض طلاب الدراسات العليا والباحثين الجدد من أوراق "علمية"، تستنتج أنهم نجحوا في استخراج أسوأ ما في الذكاء الاصطناعي!!
فالعديد من الأبحاث المذكورة كـ references غير موجودة أصلاً
والموجود منها كثير منه لا يحتوي على المعلومة المنسوبة إليه

لتوضيح ذلك، قمنا بتجربة بسيطة:
افترضنا أننا نريد كتابة Introduction لورقة علمية موضوعها الإخفاق في تشخيص السرطان "missed cancer diagnosis" وكتبنا للـ ChatGPT في نسخته المدفوعة، تحديدا GPT4o، كتبنا له الـ Prompt التالي:
"I want to write an Introduction for my research about Missed Cancer Diagnosis. Please write this Introduction, including 6-8 references."
وللأسف، بعض الباحثين قد يكتب الـ prompt بهذا الشكل بالفعل!!
وبالفعل كتب لنا الـ ChatGPT المقدمة، واستعمل فيها 10 مراجع (مش مشكلة زيادة العدد الآن).
مررنا على المراجع "references" التي أتى بها، فكانت النتيجة كما في الجدول المرفق:

أ‌. المراجع 5 و 8 و 9: المرجع غير موجود أصلاً "Article does not exist"
يعني الذكاء الاصطناعي ألَّفه من عنده وليس هناك ورقة بهذا العنوان أصلاً!

ب‌. المراجع 1 و2: المرجع "الورقة العلمية" موجودة، لكنها عن موضوع آخر غير ما يستدل له الذكاء الاصطناعي "Claim not supported"، مثلا أن تكون الورقة عن أخطاء التشخيص عموماً وليس فيها تفاصيل عن الإخفاق في تشخيص السرطان.

ت‌. المراجع 3 و4: الورقة عن الموضوع المطلوب بالفعل، لكن الاستدلال غير دقيق، كأن يقول الذكاء الاصطناعي أن 15% من الشكاوى المقدمة ضد الأطباء فيما يتعلق بالسرطان متعقلة بإخفاقهم في تشخيصه ابتداء، ويستدل بالورقة العلمية، لكن إذا رجعت إلى الورقة المشار إليها تجدها لم تذكر هذه المعلومة وإنما ذكرت مثلاً أن السرطان يشكل 38% من الحالات التي تسبب فيها خطأ التشحيص في مشاكل رئيسية للمريض.

ث‌. المراجع 6 و 7: الورقة تدل على جزء مما ادعاه الذكاء الاصطناعي. كأن يقول الذكاء الاصطناعي أن سرطانات الرئة والقولون والبنكرياس والمثانة يتأخر تشخيصها، ويستدل بورقة معينة، فإذا رجعت للورقة وجدت أنها ذكرت هذه المعلومة عن بعض هذه السرطانات ولم تذكر السرطانات الأخرى المذكورة.

وفي المحصلة، استدلال الذكاء الاصطناعي، الـ ChatGPT في هذه الحالة، كان دقيقا في أحد الموضعين اللذَين ذكر فيهما المرجع رقم 6، ودقيقاً إلى حدٍّ ما في الاستدلال بالمرجع رقم 10، يعني مرجعين فقط من أصل 10!
********************************
ما النتيجة؟ أن الذكاء الاصطناعي عديم الفائدة؟؟
أبداً، بل هو عظيم الفائدة..
وإنما الطريقة التي يستخدمها البعض به خطأ خطأ خطأ !! لا prompt engineering ولا context ولا drafts أولية ولا أي شيء!
وهذه الطريقة ناجحة في شيء واحد فقط: استخراج أسوأ ما فيه!!
المسألة مثل أن تعطي مفتاحاً لمن لم يتدرب على القيادة بالمرة..قد ينجح في تحريك السيارة، لكن النتيجة مدمرة!
لذلك نركز في دوراتنا مع الباحثين الجدد على الوسائل المثلى لاستخراج أفضل ما في الذكاء الاصطناعي، كما نفعل في دورتنا:
AI-Assisted Scientific Writing: from Literature Search to Publication
********************************
في النهاية، هذه الأدوات سيف ذو حدين، والنتيجة تعتمد على طريقتك في الاستخدام.

أ.د. إياد قنيبي

BY د. إياد قنيبي