برخی از متخصصان این حوزه معتقدند که در صورت توسعه کنترلنشده سیستمهای بسیار پیشرفته، خطرات بالقوهای متوجه بشر خواهد شد؛ خطراتی که از سوءاستفادههای سایبری و نظامی گرفته تا از دست رفتن توانایی انسان برای کنترل سامانههای هوشمند را در بر میگیرد. نکته قابل توجه این است که در بسیاری از صنایع حساس، از جمله انرژی هستهای، استانداردهای ایمنی به گونهای طراحی شدهاند که احتمال وقوع یک حادثه فاجعهبار به کمترین میزان ممکن برسد. اما در حوزه هوش مصنوعی هنوز اجماع جهانی درباره چارچوبهای ایمنی و نظارتی شکل نگرفته است.
همزمان پیشبینی میشود حجم سرمایهگذاری جهانی در هوش مصنوعی در دهههای آینده به سطحی برسد که از بزرگترین پروژههای علمی و نظامی تاریخ نیز فراتر رود. همین موضوع باعث شده بحث درباره پیامدهای بلندمدت این فناوری بیش از گذشته مورد توجه قرار گیرد.
یکی از مهمترین نگرانیهای مطرحشده، مفهوم «خودبهبوددهی بازگشتی» است؛ وضعیتی که در آن یک سیستم هوش مصنوعی بتواند بدون دخالت مستقیم انسان، نسخههای پیشرفتهتر خود را طراحی و تولید کند. در صورت تحقق چنین سناریویی، برخی نظریهپردازان از احتمال ظهور «ابرهوش» سخن میگویند؛ سامانهای که تواناییهای شناختی آن بهمراتب فراتر از انسان باشد.
در چنین شرایطی، بسیاری از کارشناسان بر ضرورت همکاری بینالمللی تأکید میکنند. از نگاه آنان، رقابت قدرتهای بزرگ فناوری باید با تدوین قواعد مشترک برای مدیریت ریسکها همراه باشد؛ قواعدی که بتواند از سوءاستفاده از هوش مصنوعی در حوزههایی مانند حملات سایبری، جنگافزارهای پیشرفته و تهدیدات امنیتی جلوگیری کند.
شاید مهمترین پرسش پیش روی بشر این نباشد که آیا هوش مصنوعی قدرتمندتر خواهد شد یا نه؛ بلکه این باشد که آیا انسانها میتوانند پیش از رسیدن به آن نقطه، سازوکارهای لازم برای همزیستی ایمن با هوشهایی فراتر از خود را ایجاد کنند یا خیر.
