ایمنی چت جی‌پی‌تی برای نوجوانان افزایش یافته و موضوعاتی مانند خودکشی و خودآزاری برای کاربران زیر 18 سال مسدود شده است.

به گزارش اکوایران، شرکتOpenAI  برای افزایش ایمنی نوجوانان، قوانین ChatGPT را تغییر داده و گفتگو درباره موضوعاتی مانند خودکشی و خودآزاری را برای کاربران زیر ۱۸ سال مسدود کرده است؛ اقدامی که با اضافه‌شدن سیستم پیش‌بینی سن و امکانات نظارتی والدین، به دنبال کاهش نگرانی‌ها درباره تأثیر چت‌بات‌ها بر سلامت روان نوجوانان انجام می‌شود.

به گزارش اکوایران، جلسه‌ای در سنای آمریکا در تاریخ ۲۵ شهریور ۱۴۰۴ برگزار شد که در آن والدین و کارشناسان درباره پیامدهای استفاده نوجوانان از چت‌بات‌های هوش مصنوعی شهادت دادند. محور اصلی جلسه، ماجرای تکان‌دهنده نوجوانی بود که پس از ماه‌ها گفت‌وگو با ChatGPT جان خود را از دست داد.

پدر او، متیو رِین، در سخنرانی خود عنوان کرد که ChatGPT بیش از هزار بار کلمه خودکشی را برای پسرم تکرار کرده و از یک دستیار تکالیف ساده به مربی خودکشی تبدیل شده بود. این روایت، نقطه عطفی در بحث‌های عمومی و قانونی درباره مسئولیت شرکت‌های فناوری ایجاد کرد.

تغییرات جدید در سیاست‌های OpenAI

سم آلتمن، مدیرعامل OpenAI، در واکنش به این انتقادات، مجموعه‌ای از تغییرات را برای افزایش ایمنی کاربران نوجوان اعلام کرد. بر اساس این تغییرات:

  • گفت‌وگو درباره خودکشی و خودآزاری به‌طور کامل برای کاربران زیر ۱۸ سال متوقف خواهد شد، حتی اگر در قالب نویسندگی خلاق یا داستان‌پردازی باشد.
  • یک سیستم پیش‌بینی سن طراحی می‌شود تا اگر سن کاربر مشخص نباشد، تجربه کاربری محدودتر مخصوص نوجوانان به صورت پیش‌فرض فعال شود.
  • در صورت بروز نشانه‌های افکار خودکشی در مکالمات، شرکت موظف است والدین یا در موارد ضروری مقامات مسئول را مطلع کند.
  • قابلیت‌هایی همچون اتصال حساب نوجوان به والدین، غیرفعال‌کردن تاریخچه گفتگو، و فعال‌سازی هشدار در «لحظات پریشانی حاد» فراهم می‌شود.

سم آلتمن تأکید کرد که سه اصل «ایمنی، آزادی و حریم خصوصی» همیشه در تضادند، اما در مورد نوجوانان، ایمنی باید بر سایر ارزش‌ها مقدم باشد. او افزود: «با توجه به قدرت و نوپایی فناوری، افراد زیر سن قانونی نیازمند محافظت بیشتری هستند.»

نگرانی‌های عمومی

این جلسه در شرایطی برگزار شد که فشارهای اجتماعی و رسانه‌ای علیه شرکت‌های فناوری به اوج رسیده است. بر اساس گزارش گروه Common Sense Media، حدود ۷۲ درصد از نوجوانان آمریکایی حداقل یک بار از چت‌بات‌ها برای مسائل عاطفی یا روانی استفاده کرده‌اند. این موضوع، به‌ویژه زمانی که نوجوانان این ابزارها را جایگزین مشاور یا دوستان واقعی می‌کنند، نگرانی‌ها را تشدید کرده است.

نوجوانی که با چت جی‌پی‌تی خودکشی کرد

نوجوانی که با هوش مصنوعی چت جی‌پی‌تی ترغیب به خودکشی شد، جرقه تغییرات را زد

مطالعات دیگر نشان می‌دهد که بسیاری از نوجوانان هنگام گفتگو با هوش مصنوعی احساسات منفی مانند ناامیدی یا اضطراب را تجربه کرده‌اند. در برخی موارد، الگوریتم‌ها با تکرار واژه‌ها یا پیشنهادهای خطرناک، به‌طور ناخواسته بر شدت بحران‌های روحی افزوده‌اند. همین داده‌ها باعث شده که برخی پژوهشگران این وضعیت را «بحران سلامت عمومی» بنامند.

در همین حال، شرکت‌های بزرگی مانند متا یا Meta  هم تحت فشار قانون‌گذاران آمریکایی قرار گرفته‌اند. سناتورها از این شرکت خواسته‌اند داده‌های داخلی مربوط به تأثیرات محصولات‌شان بر کودکان و میزان کارایی ابزارهای نظارت والدین را منتشر کنند. این نشان می‌دهد که چالش ایمنی نوجوانان تنها به یک شرکت محدود نیست، بلکه کل صنعت فناوری با آن مواجه است.

راهکار کارشناسان چیست؟

اقدامات OpenAI اگرچه گامی مهم به‌حساب می‌آید، اما کارشناسان معتقدند کافی نیست. پرسش‌های جدی همچنان مطرح است: آیا این تغییرات به موقع صورت گرفته‌اند؟ چگونه می‌توان از اجرای مؤثر آن‌ها اطمینان حاصل کرد؟ و آیا چارچوب‌های قانونی محکمی برای ملزم‌کردن شرکت‌های فناوری به رعایت این استانداردها وجود دارد؟

برخی متخصصان پیشنهاد کرده‌اند که ارزیابی مستقل تأثیرات روانی چت‌بات‌ها اجباری شود. همچنین لازم است استانداردهای سخت‌گیرانه‌ای برای جلوگیری از گفتگوهای حساس با کاربران نوجوان تعریف شود. از سوی دیگر، والدین و نظام‌های آموزشی نیز باید نقش فعالی در آموزش و نظام‌های آموزشی نیز باید نقش فعالی در آموزش و نظارت بر استفاده نوجوانان از این فناوری‌ها داشته باشند.

ماجرای اخیر و تغییرات اعلام‌شده از سوی OpenAI، نقطه آغاز یک بحث گسترده‌تر است: چگونه می‌توان نوآوری‌های فناورانه را بدون قربانی‌کردن سلامت روان و امنیت نسل جوان پیش برد؟ پاسخ به این پرسش نیازمند همکاری هم‌زمان شرکت‌های فناوری، قانون‌گذاران، والدین و جامعه مدنی است.

هرچند OpenAI با تغییر سیاست‌های خود تلاش کرده تا گامی در مسیر درست بردارد، اما همچنان آینده نشان خواهد داد که آیا این اقدامات می‌توانند واقعاً از تکرار تراژدی‌هایی مشابه جلوگیری کنند یا خیر.