پایگاه استنادی جهان اسلام در مقابل گزارش مغرضانه ایران ۲۰۴۰ دانشگاه استنفورد آمریکا، با ارائه مستندات علمی و مورد اتفاق صاحبنظران به این ابهامات پاسخ داد.
به گزارش پایگاه خبری تحلیلی فناوری و نوآوری؛ متعاقب انتشار گزارش مغرضانه ایران ۲۰۴۰ توسط دانشگاه استنفورد آمریکا که در این گزارش با استناد به آمار و مستندات غیر مستند و مغرضانه تلاش شده است پیشرفتهای علمی کشورمان به ویژه پیشرفتهای دو دهه اخیر کشورمان مخدوش و کم ارزش جلوه داده شود؛ پایگاه استنادی علوم جهان اسلام در مقابل این تلاش با ارائه مستندات علمی و مورد اتفاق صاحبنظران به این ابهامات پاسخ داده که این پاسخ از نظرتان میگذرد:
پروژه «ایران ۲۰۴۰ دانشگاه استنفورد» در سال ۲۰۱۶ در دانشگاه استنفورد آغاز گردیده است. بر اساس اطلاعات مندرج در وبسایت مربوطه، پروژه «ایران ۲۰۴۰ دانشگاه استنفورد» تلاشی دانشگاهی با هدف ترویج مطالعات کلاننگر اقتصادی و فنی در حوزهی توسعهی پایدار و بلندمدت ایران است. دستاندرکاران این پروژه معتقدند این پروژه دانشگاهی بر اساس تحلیل دادههای کمی و با استفاده از نگاهی آیندهنگرانه، به بررسی روندهای حاکم بر ایران در حوزههای جمعیتشناسی، اقتصاد، انرژی، آب، کشاورزی و سیستمهای مالی میپردازد. دسترسی به گزارشهای این پروژه رایگان است و آیندهپژوهان و دیگر علاقهمندان به بررسی روندهای حاکم بر آیندهی ایران میتوانند از این گزارشها استفاده کنند.
در زمستان ۱۳۹۷ گزارشی توسط برخی مجریان این پروژه با عنوان «خروجی علمی ایران: کمیت، کیفیت و فساد» منتشر شده که در آن به بررسی کمیت و کیفیت تولیدات علمی ایران پرداخته شده است. در این گزارش که دادههای آن از پایگاه استنادی اسکوپوس در بازه زمانی ۱۹۹۷ تا ۲۰۱۸ استخراج شده است تحلیلهایی آمده است که بعضاً پیشرفتها و دستاوردهای علمی کشور را در این بازه زمانی ۲۰ ساله به چالش کشیده و بهنوعی آنها را کمرنگ و کماهمیت جلوه داده است.
از این رو باتوجه به کاستیها و ضعفهای موجود بر روی بخشهای مرتبط بر حوزه علمسنجی این پروژه، نکاتی چند که مورد غفلت نویسندگان آن واقع شده که در این متن سعی شده بهطور خلاصه این موارد بیان و نقد شوند:
الف) بحث کمیت و کیفیت تولیدات علمی جمهوری اسلامی ایران
در این گزارش آمده است که تولید مقاله در ایران طی این دو دهه از یکهزار مقاله در سال ۱۹۹۷ به ۵۰ هزار مقاله در سال ۲۰۱۸ رسیده است و میزان انتشار سالانه مقالات ایران طی بازهی زمانی یادشده، ۵۰ برابر شده و سهم ایران به ۲، ۶ درصد تولیدات جهانی رسیده است و لیکن «کیفیت تولیدات علمی ایران، در طول زمان در بسیاری از زمینهها تغییرات قابل توجهی را نشان نمیدهد». همچنین ادعا شده است که در آمارهای برونداد علمی ایران صرفاً توجه به کمیت و تعداد میشود و از کیفیت خبری نیست.
آنچه که در گزارش حاضر مورد غفلت واقع شده است بررسی وضعیت کیفی از منظر مقالات پراستناد (Highly cited papers) و مقالات داغ (Hot papers) و نیز مقالات برتر (Top papers) میباشد. مقالات برتر (و یا یک درصد برتر) سهم مهمی از علم روز بوده که جهت توسعه علمی در سطح بینالمللی را نشان میدهد و درواقع به دو دسته مقالات پراستناد و مقالات داغ تقسیم میشود. طلایهداران علم مؤسسه کلاریویت آنالیتیکس (ESI) معتبرترین مجلات بینالمللی را به ۲۲ رشته موضوعی تقسیم کرده و بر حسب تعداد استنادهای دریافت شده، مقالات پراستناد را معرفی میکنند. این شامل یک درصد از مقالات دنیا در طول ده سال گذشته میشود، اما مقالات داغ، مقالات تنها یک دهم درصد از مقالات برتر در دو سال اخیر را تشکیل میدهند و باید در نظر داشت که انتشار این دسته از مقالات ساده نیست.
آمار موجود در طلایهداران علم مؤسسه کلاریویت آنالیتیکس (ESI) حاکی از آن است که پژوهشگران کشور در چند سال اخیر باتوجه و تأکید بر کیفیت توانستهاند سهم کشور از مقالات یک درصد برتر دنیا را به موازات رشد تولید علم کشور افزایش دهند.
به نظر میرسد علت این غفلت مجریان پروژه ۲۰۴۰ استفاده صرف از دادههای پایگاه اسکوپوس است که در آن شاخصهایی نظیر مقالات داغ و برتر و یا حتی پژوهشگران برتر وجود ندارد. بهطورخاص یکی از محورهای گزارش، موضوع «توجه به بزرگنمایی کمیت و غفلت از کیفیت در انتشار مقالات ایران است» که البته در این مورد نیز بیش از اندازه سیاهنمایی شده چرا که دادهها و آمارهای موجود در مورد مقالات برتر ایرانی بهویژه آنچه که در پایگاه بینالمللی مؤسسه کلاریویت آنالیتیکس (Analytics Clarivate) آمده، همچون مقالات پراستناد، مقالات داغ و پژوهشگران برتر حکایت از رشد روزافزون کیفیت مقالات و انتشارات ایرانی در سالهای اخیر دارد.
طبق دادههای این پایگاه در حال حاضر در مجموع تعداد ۱۹۵۲ مقالهی برتر (Top papers) و ۱۰۴ مقالهی داغ توسط پژوهشگران ایرانی منتشر شده که این تعداد ۳، ۲ درصد کل مقالات داغ دنیا بوده است. در همین راستا شاخص هرش (H-index) جمهوری اسلامی ایران که بهعنوان یکی از معیارهای کیفی در ارزیابی تولیدات علمی موردتوجه قرار میگیرد در ۲۰ سال گذشته از ۹۶ به ۲۸۴ افزایش یافته است و این به معنای ارتقای کیفیت و اثربخشی جایگاه علمی کشور نیز بوده است.
بهطور خاص در جدول ۱ مقایسه کمی از میزان مدارک انتشار یافته، مقالات داغ و مقالات پراستناد در سال ۲۰۱۸ به ترتیب در دنیا، کشورهای اسلامی (۵۷ کشور)، منطقه خاورمیانه (۱۷ کشور) و ایران نشان داده شده که این اطلاعات در تاریخ ۲۴ اردیبهشت ۹۸ از پایگاه بینالمللی کلاریویت آنالیتیکس و محصولات آن استخراج شده است:
جدول ۱: جایگاه ایران از نظر تعداد مدارک انتشاریافته در جهان، منطقه و کشورهای اسلامی در سال ۲۰۱۸
کشور / منطقه | تعداد مدارک | مقالات داغ | مقالات پراستناد |
تولید علم جهان | ۲۹۱۷۷۵۵ | ۱۶۳۹ | ۱۶۹۴۸ |
تولید علم منطقه خاورمیانه (۱۷ کشور) | ۱۷۹۲۴۳ | ۱۸۴ | ۱۴۰۹ |
تولید علم کشورهای اسلامی (۵۷ کشور) | ۲۵۶۴۱۷ | ۱۷۸ | ۱۴۳۱ |
تولید علم ایران | ۵۳۹۱۸ | ۶۸ | ۴۵۲ |
همانطور که در جدول ۱ مشاهده میشود میزان
مدرک علمی انتشاریافته و ثبت شده در این پایگاه به ترتیب در دنیا، منطقه
خاورمیانه، کشورهای اسلامی و ایران به ترتیب برابر با ۲۹۱۷۷۵۵، ۱۷۹۲۴۳،
۲۵۶۴۱۷ و ۵۳۹۱۸ مدرک علمی بوده است و همچنین تعداد مقالات داغ و پراستناد
در ستونهای سوم و چهارم جدول نشان داده شده است.
همانطور که مشاهده
میشود تعداد مقالات علمی پراستناد دنیا، منطقه خاورمیانه، جهان اسلام و
ایران در سال ۲۰۱۸ به ترتیب برابر با ۱۶۹۴۸، ۱۴۰۹، ۱۴۳۱ و ۴۵۲ مدرک بوده و
نیز تعداد مقالات داغ دنیا، منطقه خاورمیانه، جهان اسلام و ایران به ترتیب
برابر با ۱۶۹۳، ۱۸۴، ۱۷۸ و ۶۸ مدرک بوده است. باتوجه به این آمار، رتبه و
سهم ایران از نظر تعداد انتشار مدارک، مقالات داغ و مقالات پراستناد در
جهان، منطقه و جهان اسلام در جدول ۲ نشان داده شده است:
در ادامه از جدول ۲ ملاحظه میشود که براساس
تعداد مدرک ثبت شده در سال ۲۰۱۸ ایران با سهم ۸۵/۱ درصد در دنیا رتبه ۱۶،
با سهم ۲۱ درصد در جهان اسلام رتبه اول و نیز با سهم ۳۰ درصد کل علم در
منطقه خاورمیانه رتبه اول را دارد (شکل ۱). بهعبارت دیگر حدود ۳۰ درصد از
حجم مدارک علمی انتشار یافته در خاورمیانه در سال ۲۰۱۸ توسط پژوهشگران
جمهوری اسلامی ایران تولید شده است.
جدول ۲: جایگاه و سهم ایران از نظر تعداد انتشار مدارک، مقالات داغ و مقالات پراستناد در جهان، منطقه و جهان اسلام (۲۰۱۸)
دنیا | جهان اسلام (۵۷ کشور) | خاورمیانه (۱۷) | |
رتبه ایران (تولید علم) | ۱۶ | ۱ | ۱ |
رتبه ایران مقالات داغ | ۱۶ | ۲ | ۲ |
رتبه ایران مقالات پراستناد | ۱۹ | ۲ | ۲ |
سهم ایران از تولید علم (درصد) | ۸۵.۱ | ۲۱ | ۳۰ |
سهم ایران از مقالات داغ (درصد) | ۴ | ۳۸ | ۳۷ |
سهم ایران از مقالات پراستناد (درصد) | ۷.۲ | ۶.۳۱ | ۳۲ |
این در حالی است که از منظر کیفی در دو شاخص مقالات داغ و نیز مقالات پراستناد وضعیت ایران نیز مناسبتر است. بهطوری که ۴ درصد مقالات داغ دنیا و نیز ۳۸ درصد مقالات داغ جهان اسلام و ۳۷ درصد مقالات داغ منطقه خاورمیانه توسط پژوهشگران ایرانی تولید میشود (شکل ۲). همچنین سهم ایران در تولید مقالات پراستناد در دنیا ۲، ۷ درصد، جهان اسلام ۳۱، ۶ درصد و منطقه خاورمیانه ۳۲ درصد است. این امر نشان میدهد که پژوهشگران جمهوری اسلامی ایران بهخصوص در چند سال اخیر توجه ویژهای به کیفیت مقالات و نتایج پژوهشی خود دارند.
همچنین بر اساس دادههای پایگاه مؤسسه کلاریویت آنالیتیکس کشورمان توانسته از نظر میزان استنادات دریافتی در سالهای اخیر به جایگاه اول در میان کشورهای اسلامی و منطقه و رتبه ۲۱ در بین دیگر کشورهای جهان دست پیدا کند.
بررسی پایگاه InCite این مؤسسه حاکی از آن است که در بازه زمانی ۵ ساله اخیر (۲۰۱۸-۲۰۱۴)، جمهوری اسلامی ایران با ۹۹۴۸۷۸ استناد توانسته از نظر رتبه پیش از کشورهای لهستان، روسیه، تایوان، سنگاپور، اتریش، هنگ کنگ، فنلاند و رژیم اشغالگر قدس قرار گیرد.
در همین بازه در زمینه همکاریهای علمی بینالمللی، کشور جمهوری اسلامی ایران با ۴۷۷۸۶ مورد همکاری بینالمللی، جایگاه ۳۳ را بین تمامی کشورهای جهان کسب کرده است و در میان کشورهای اسلامی جایگاه دوم را کسب نموده است.
از نظر میزان انتشار مقالات و مدارک علمی دانشمندان ایرانی در مجلات با کیفیت چارک اول (Q۱)، بررسی دادههای پایگاه InCite نشان میدهد ایران در سال ۲۰۱۳ با ۶۹۱۵ مدرک، دارای رتبه سی و دوم بوده است اما در سال ۲۰۱۷ با ۱۱۴۶۷ مقاله منتشر شده در مجلات Q۱ به جایگاه بیست و پنجم دنیا ارتقا یافته است.
همچنین آمار مربوط به دوره پنج ساله اخیر (۲۰۱۸-۲۰۱۴)، نشان میدهد که پژوهشگران ایرانی با انتشار ۳۶۶۸۳ مقاله در مجلات Q۱ به جایگاه ۲۹ دنیا و در میان کشورهای اسلامی در جایگاه دوم قرار گرفتهاند. به علاوه شاخص دیگری که میتواند مدنظر قرار گیرد تعداد مدارک منتشر شده ایرانی در مجلات دارای ضریب تأثیر (JIF) بینالمللی است.
در این راستا پژوهشگران ایرانی با انتشار ۱۳۴۲۰۰ مدرک در پنج سال اخیر (۲۰۱۸-۲۰۱۴) رتبه نوزدهم در جهان و دوم در بین کشورهای اسلامی کسب کردهاند.
در حوزه فناوریهای نوین جایگاه جمهوری
اسلامی ایران و پیشرفتهای حاصله به هیچ وجه قابلانکار نیست چیزی که
نویسندگان گزارش پروژه ۲۰۴۰ هیچ اشارهای به آن نکردهاند؛ به طور خاص
جایگاه دنیا، جهان اسلام و منطقه خاورمیانه در انتشار مدارک در حوزه فناوری
نانو در جدول۳ آمده است:
جدول ۳: جایگاه و سهم ایران از نظر تعداد مدارک، مقالات داغ و مقالات پراستناد دنیا، منطقه و جهان اسلام در حوزه فناوری نانو (۲۰۱۸)
کشور منطقه | حوزه موضوعی | تعداد مدارک | مقالات داغ | مقالات پر استناد | رتبه ایران |
تولید علم جهان | فناوری نانو | ۱۷۱۲۰۰ | ۲۴۷ | ۲۲۷۸ | ۴ |
ولید علم منطقه خاورمیانه | فناوری نانو | ۱۸۴۴۱ | ۴۹ | ۳۲۷ | ۱ |
تولید علم کشورهای اسلامی | فناوری نانو | ۲۳۱۷۶ | ۵۰ | ۳۴۲ | ۱ |
تولید علم ایران | فناوری نانو | ۹۲۵۹ | ۲۶ | ۱۶۹ | n/a |
همان طور که ملاحظه میشود از نظر تعداد مدارک ثبت شده در حوزه فناوری نانو، سال ۲۰۱۸ ایران با انتشار ۹۲۵۹ مقاله با سهم ۵، ۴ درصد دنیا در رتبه ۴ و در جهان اسلام و نیز منطقه خاورمیانه رتبه اول را دارد و کشورهای چین با ۴۰ درصد، آمریکا با ۱۴ درصد، هند با ۹ درصد در رتبههای اول الی سوم قرار دارند.
بر همین اساس ۴۰ درصد مدارک علمی کل کشورهای اسلامی در حوزه فناوری نانو و نیز ۵۰ درصد تولید علم در این حوزه موضوعی در منطقه خاورمیانه توسط پژوهشگران جمهوری اسلامی ایران تولید میشود (شکل ۳).
این در حالی است که از منظر کیفی در دو شاخص مقالات داغ و نیز مقالات پراستناد، وضعیت ایران نیز مناسبتر است. به طوری که ۱۰، ۵ درصد مقالات داغ دنیا و نیز ۵۲ درصد مقالات داغ جهان اسلام و ۵۳ درصد مقالات داغ منطقه خاورمیانه در حوزه فناوری نانو توسط جمهوری اسلامی ایران تولید میشود.
همچنین سهم ایران در تولید مقالات پراستناد در حوزه فناوری نانو در دنیا ۷، ۴ درصد، جهان اسلام ۴۹ درصد و منطقه خاورمیانه ۵۲ درصد است. این امر نشان میدهد که در حوزه فناوری نانو در هر دو شاخص کمی و کیفی بیش از ۵۰ درصد فعالیتهای پژوهشی جهان اسلام و نیز منطقه خاورمیانه توسط پژوهشگران جمهوری اسلامی ایران تولید میشود.
ضمناً بر اساس آخرین اطلاعات موجود بیش از ۲۷۶ محصول از ۱۴۳ نوع مختلف در حوزه فناوری نانو توسط ۱۳۰ شرکت در ایران تولید شده است. (Statnano.com)
ب) روششناسی مورد استفاده در گزارش «پروژه ایران ۲۰۴۰ دانشگاه استنفورد»
اشکال دیگری که بر این گزارش و تحلیلهای ارائه شده وجود دارد، بحث روششناسی آن است. از آن جایی که نتایج و تحلیلهای این گزارش صرفاً براساس دادههای پایگاه Scopus میباشد، بالطبع از جامعیت کافی برای اظهارنظر و نتیجهگیری درخصوص بروندادهای علمی، بهخصوص شاخصهای کیفی این فعالیتها، برخوردار نمیباشد.
چرا که، به همان صورتی که قبلاً نیز اشاره شد در این پایگاه در مقایسه با پایگاه کلاریویت آنالایتیکس (ISI سابق) ابزارهای تحلیلی نظیر بررسی آماری مقالات پراستناد، مقالات داغ و مقالات یک درصد برتر، دانشمندان برتر و… وجود ندارد.
این امکانات و ابزارها که معمولاً توسط متخصصان حوزه علم سنجی مورد استفاده قرار میگیرد به-ویژه آنجا که بحث کیفیت فعالیتها و بروندادهای علمی مطرح است، در پایگاه Scopus وجود نداشته و از این نظر میتواند باعث ارائه گزارشهای ناقص و خطاهای احتمالی بالا شود. به طور خاص براساس گزارش مستخرج از مؤسسه کلاریویت آنالایتیکس (HCR)، تعداد دانشمندان برتر (پراستناد) جمهوری اسلامی ایران از ۷ نفر در سال ۲۰۱۸ به ۱۶ نفر در سال ۲۰۱۹ افزایش یافته است. (https://hcr.clarivate.com)
از دیگر کاستیهای روش شناسی این گزارش، عدم لحاظ نمودن بروندادهای علمی کشور که در مجلات فارسی زبان و یا دیگر زبانها در داخل کشور منتشر میشوند است؛ دادههای این دسته از تولیدات علمی در پایگاه بین المللی ISC موجود و قابل احصا میباشد. برهمین اساس حجم انبوهی از تلاشهای محققان ایران نادیده و مورد غفلت واقع شده است.
این مورد به ویژه در حوزههای علوم انسانی، علوم اجتماعی و هنر و معماری که روند چاپ مقاله در آنها غالباً در مجلات داخلی است، نمود بیشتری دارد.
ج) عدم وجود رابطه منطقی بین دادههای مورد تحلیل و استنتاجها
در این گزارش ادعا میشود که از سال ۲۰۰۵ دولت با هدف به تعویق انداختن ورود نیروهای جوان به بازار کار ظرفیت دانشگاهها را افزایش داده و این ظرفیت تقریباً دو برابر شده است.
با این حال برای این ادعا در مورد سیاست گذاری دولت در حوزه آموزش عالی هیچ منبع موثقی ارائه نشده است. به طریق مشابه طرح برخی مسائل دیگر بدون ذکر منبع نظیر:
- ادعای کالایی سازی آموزش عالی بدون ذکر منبع و ارائه شواهد لازم برای چنین نتیجه-گیری.
- ادعای تبدیل انتشار مقاله در ایران به خودی خود به یک هدف بدون ذکر منبع و شواهد.
- ادعای علاقه مندی دانشجویان به اخذ پذیرش در دانشگاههای خارجی با تلاش برای انتشار مقاله به منظور مهاجرت.
این مسأله طوری وانمود شده که انگار تلاش برای انتشار مقاله به منطور اخذ پذیرش از دانشگاههای خارجی تنها برای دانشجویان ایرانی صادق است در حالی که این امر یکی از مهمترین شاخصهای مهم برای اخذ پذیرش از دانشگاههای خارجی توسط دانشجویان کشورهای دیگر نیز میباشد.
- ادعای بی تفاوتی مسئولان نسبت به تخلفات علمی کشور بدون ذکر منبع و شواهد.
تمام موارد فوق نشان میدهد که نویسندگان قبل از انتشار این گزارش قضاوت خود را در مسأله مورد بحث نموده به طوری که در بخشهایی از نتایج نهایی گزارش، ارتباط مستقیمی با متن اصلی گزارش ملاحظه نمیشود.
د) ارزشگذاری اغراقآمیز واژهها بدون رعایت رویکرد بیطرفانه علمی
در نتیجهگیری نهایی گزارش، عبارات مورد استفاده مشحون از ارزشگذاریهای غیرعلمی اغراقآمیز و ناموثق بوده که بدون رعایت رویکرد بیطرفانه علمی به صورت مستمر در بخشهای مختلف گزارش ذکر شده است.
استفاده از عباراتی نظیر فساد (Corruption)، تعابیری ناگوار (Dire consequences)، توهم توسعه (Delusion of development)، سو رفتار (Misconduct)، رفتار جعلی (Fraudulent behavior)، مقالات ساختگی (Fabricated papers)، وعده¬های سخاوتمندانه (Generous promises)، حباب انتشار (Bubble publicuation) و هزینههای گزاف (Massive costs) از این دسته است.
نتیجه گیری:
باتوجه به بررسیها و مطالب ذکر شده، نتایج زیر حاصل شده است:
۱- برخی ابعاد گزارش از جمله افزایش تعداد مراکز آموزش عالی و ایجاد انبوه دانشگاه¬های انتفاعی و غیرانتفاعی و در نتیجه تجاری¬سازی آموزش عالی و در کل کمی¬نگری به این حوزه، واقعیت تلخی است که در بازه زمانی مشخص در کشور اتفاق افتاده و قابل انکار نیست.
۲- مسأله دیگر وجود تخلفهای علمی و ایجاد مراکز به اصطلاح مشاوره برای ارائه خدمات متنوع و برای دانشجویان تحصیلات تکمیلی (تهیه رساله و پایاننامه و مقالات علمی) و در نتیجه رشد بیرویه سرقت ادبی بومی و انواع دیگر تخلفهای علمی بوده که یکی از آفات طبیعی و ناشی از توجه به کمیگرایی است.
با این حال برخلاف ادعای نویسندگان گزارش، سیاستگذاران آموزش عالی نسبت به این امر بی تفاوت نبوده و وزارت علوم، تحقیقات و فناوری لایحه مقابله با تخلفات علمی را در سال ۹۴ (۲۰۱۵) به تصویب مجلس رسانیده و به دانشگاه¬ها ابلاغ شده و در حال حاضر با این پدیده غیراخلاقی برخورد می شود.
۳- نکته قابل توجه گرایش و جبههگیری منفی نویسندگان این گزارش (که متأسفانه همگی فارغالتحصیل کارشناسی و کارشناسی ارشد دانشگاههای خوب کشور هستند) بوده بهطوری که ادبیات گزارش برمبنای سیاهنمایی از کلیه فعالیتهای علمی کشور در ۲۰ سال اخیر بوده است.
این در حالی است که یقیناً پذیرش این عزیزان در دانشگاههای خارج از کشور مرهون همین فعالیت علمی و انتشار مقالاتی بوده که اکنون مورد نکوهش آنها قرار گرفته است.
درخصوص مطالب ذکر شده در گزارش، لازم است تأکید شود که قطعاً هر کارشناس آشنا به آموزش عالی میتواند صحت برخی مطالب را تأیید نموده و نیازی به تحقیق و تعریف پروژه برای اثبات این کار وجود ندارد.
با این حال در بخش بررسی وضعیت کمی و کیفی مدارک علمی انتشار یافته توسط پژوهشگران ایران، همانطور که در بندهای الف و ب اشاره شده اشکالات عمدهای وجود دارد ازجمله:
۱- فقدان تحلیلی جامع از دادههای کیفی مقالات کشور به دلیل متدولوژی مورد استفاده در پروژه ازجمله عدم تحلیل انتشار مقالات در مجلات معتبر دنیا (مقالات چارک اول (Q۱)، مقالات پراستناد و داغ) بهخصوص در چند سال اخیر.
۲- عدم وجود عملکرد علمی حدود پنجاه درصد پژوهشگران کشور در حوزههای علوم انسانی، اجتماعی و هنر در پایگاه Scopus و درنتیجه در گزارش مربوطه (البته مدارک علمی و مقالات این دسته از پژوهشگران در نشریات داخلی کشور و پایگاه داده ISC منعکس میگردد که مورد استناد این گزارش قرار نگرفته است)
۳- عدم توجه به سایر پیشرفتهای ۲۰ ساله اخیر کشور در حوزه علم و فناوری به۲خصوص ارتقای علوم نوین نظیر فناوری نانو، بایو، هوافضا و غیره
۴- حضور چشمگیر دانشگاه ۲ ها و مراکز آموزش عالی کشور در نظامهای رتبهبندی بینالمللی در دهه اخیر به۲طور خاص در نظام رتبهبندی تایمز که در سال ۲۰۱۹ حدود ۲۸ دانشگاه کشور در این رتبه¬بندی حضور داشتند و ۴ دانشگاه کشور در بین ۱۰۰ دانشگاه برتر آسیا قرار گرفته بودند در حالی که قبل از سال ۲۰۱۳ تنها یک دانشگاه کشور در این نظام رتبه¬بندی حضور داشت و در سال حاضر در منطقه و کشورهای اسلامی، ایران بیشترین حضور دانشگاه را دارد.
این امر در سایر نظامهای رتبهبندی از قبیل کیو اس (https://www.topuniversities,com) و لایدن (http://www.leidenranking.com) و شانگ¬های وجود داشته و البته در هیچ بخشی از گزارش به این موضوع اشاره نشده است.
به طور کلی فقدان بهکارگیری متخصین علم سنجی در اجرا و راهبری این پروژه، باعث میشود که تحلیلهای انجام شده در حوزه علمسنجی از جامعیت کافی برای اظهارنظر و نتیجهگیری درخصوص فعالیتها و بروندادهای علمی کل کشور و همچنین وضعیت کمی و کیفی این فعالیتها، برخوردار نبوده و قابل اعتنا نباشد.