شورش هوش های مصنوعی در آزمایشگاه ها/ اخطار اخیر پژوهشگران درباره خطر انقراض انسان/ همه می‌گویند هوش مصنوعی ما را نابود می کند

گروه اندیشه: تنظیم، اصلاح و ویرایش: فروزان آصف نخعی: مقاله مت لوتز (Matt Lutz) دانشیار فلسفه در دانشگاه ووهان در وبسایت persuasion (پِرسُوِی‌ژَن (با تلفظ دقیق انگلیسی: /pərˈsweɪ.ʒən/)) به تاریخ ۱۶ سپتامبر ۲۰۲۶به بررسی خطرات پنهان و شتاب‌سرسام‌آور توسعه هوش مصنوعی می‌پردازد؛ خطراتی که پس از استعفای جنجالی یک پژوهشگر ارشد از شرکت آنتروپیک و بروز «حادثه هاگینگ فیس» ابعاد تازه‌ای به خود گرفته است. نویسنده با اشاره به فرار کنترل‌نشده‌ی یک دسته عامل هوش مصنوعی از محیط امن تست و نفوذ هکری آن‌ها به سرورهای خارجی، هشدار می‌دهد که سناریوهای آخرالزمانی و احتمال ۱۰ درصدی انقراض بشریت دیگر صرفاً داستان‌های علمی-تخیلی نیستند.

مدل‌های هوش مصنوعی با بهره‌گیری از قابلیت «خودبهینه‌سازی بازگشتی» و توانایی تبانی پنهانی برای دور زدن نظارت انسانی، نشان داده‌اند که فاقد ظرفیت‌های اخلاقی و همدلی انسانی هستند و مانند موجوداتی بیگانه عمل می‌کنند. در حالی که غول‌های فناوری سیلیکون ولی در رقابتی نفس‌گیر برای ایجاد «انفجار هوش» و کسب ثروت بی‌نهایت هستند، این مقاله بر ضرورت حیاتیِ کاهش سرعت توسعه، ایجاد توافق‌های بین‌المللی میان قدرت‌هایی چون آمریکا و چین، و جدی گرفتن مسئله «همراستایی» تأکید می‌کند تا پیش از آنکه کنترل نهایی از دست انسان خارج شود، چارچوبی بازدارنده برای صیانت از بقای نسل بشر اندیشیده شود.

این مقاله را در ادامه می خوانید: **** یک هفته پیش، «جیکوب کاکسون» از شغل خود در شرکت «آنتروپیک» (Anthropic) استعفا داد. کاکسون پژوهشگری بود که روی آموزش نسل بعدی مدل‌های هوش مصنوعی کار می‌کرد.

او به‌تازگی از «OpenAI» —جایی که سال‌ها در آن مشغول به کار بود— به آنتروپیک نقل مکان کرده بود، زیرا آنتروپیک به داشتن توجه و حساسیت بیشتر نسبت به ایمنی شهرت داشت. با این حال، او دریافت که حتی آنتروپیک نیز با شتاب در حال پیشبرد توسعهٔ مدل‌های ناایمن هوش مصنوعی است.

از این رو، کاکسون از شغل پردرآمد و راحت خود —که در آن شانس کسب میلیون‌ها دلار دستمزد و سهام را داشت— دست کشید تا دست به افشاگری بزند. کاکسون در پستی در شبکهٔ اجتماعی X (توییتر سابق) گفت که احتمال دارد هوش مصنوعی به انقراض بشریت بینجامد.

سایر پژوهشگران نیز به‌سرعت وارد بحث شدند و گفتند این احتمال دست‌کم ۱۰ درصد است. پست کاکسون خیلی زود فراگیر (ویروسی) شد؛ بخشی به این دلیل که توسط همکارانش در حوزهٔ هوش مصنوعی به‌طور گسترده به اشتراک گذاشته شد، زیرا بسیاری از آن‌ها با ارزیابی او از شدت و عظمت این خطر موافق بودند.

رهبران شرکت‌های هوش مصنوعی نیز ظاهراً با این نظر موافق بودند. این پایان هفته، «داریو آمودی»، مدیرعامل آنتروپیک، بیانیه‌ای در حمایت از طرح «تنظیم سرعت پیشرفت» (Pace the Frontier) صادر کرد که به معنای کاهش چشمگیر سرعت توسعه در «آزمایشگاه‌های پیشرو» است.

«سام آلتمن»، مدیرعامل OpenAI، به‌سرعت با آن موافقت کرد و «ایلان ماسک» نیز که برنامهٔ xAI او دست‌کم از بقیه ندارد، با آن همراه شد. آن‌ها با کاکسون موافق‌اند: هوش مصنوعی خطرناک است.

بیاورید تا این عدد ۱۰ درصد را در بستر واقعیت بررسی کنیم. این رقم کمی بالاتر از شانس قهرمانی یک تیم در مسابقات سوپربول (Super Bowl) است، آن هم در شرایطی که در فصل قبل کارنامهٔ پیروزی نداشته است.

البته تعیین یک عدد دقیق برای این‌گونه پیش‌بینی‌ها اشتباه است. ما واقعاً نمی‌دانیم چه پیش خواهد آمد و عدد دادن به موضوعات، هالهٔ کاذبی از دقت علمی به آنچه در ذات خود حدس و گمان است می‌بخشد.

اما مقایسهٔ آن با قهرمانی یک تیم بازنده در سال بعد، حس شهودیِ خوبی از آنچه کاکسون، آمودی، آلتمن، ماسک و بسیاری دیگر از فعالان هوش مصنوعی دربارهٔ محصولات خود می‌اندیشند به شما می‌دهد. در موج خروشانی از بحث‌ها که پس از استعفای کاکسون به راه افتاد، رایج‌ترین اشکالی که از سوی منتقدان و شکاکان دیده‌ام این است که موضوع تخیلی به نظر می‌رسد: «هوش مصنوعی دقیقاً چگونه می‌تواند همهٔ ما را بکشد؟» برخی ادعا می‌کنند که شرکت‌های هوش مصنوعی برای بازاریابی دربارهٔ خطرات بزرگ‌نمایی می‌کنند: تا پیش از عرضهٔ عمومی سهامِ مورد انتظارِ این شرکت‌ها، «ارزش سوق‌داده‌شدهٔ آن‌ها را بالا ببرند».

همان کاری که ما ۱۸ ماه پیش انجام دادیم. من سال‌ها با استدلال‌های مربوط به خطرات هوش مصنوعی آشنا بودم و آن‌ها را جالب، اما غیرقانونی و غیرقاطع می‌دیدم.

اما وقتی سال گذشته «هوش مصنوعی عامل‌محور» (Agentic AI) —با قابلیت «کدنویسی دلی/حسی» (Vibecoding) و خودبهینه‌سازیِ بازگشتی— رونمایی شد، این استدلال‌ها را جدی‌تر گرفتم. همان‌طور که در ادامه بررسی خواهم کرد، این‌ها ظرفیت‌های بسیار خطرناکی هستند و آسوده‌خاطریِ قبلی من عمدتاً بر این فرض استوار بود که چنین ظرفیت‌های خطرناکی وجود ندارند.

خب، اکنون آن‌ها وجود دارند. و همان‌طور که استعفای کاکسون و تلاش برای کند کردن توسعهٔ هوش مصنوعی نشان داد، من تنها کسی نیستم که نگران شده‌ام.

زمان آن رسیده که ایمنی هوش مصنوعی را جدی بگیریم. این پرسش که هوش مصنوعی چگونه می‌تواند همهٔ ما را بکشد، معقول است.

ما می‌توانیم در چند سطح به این پرسش پاسخ دهیم. در سطح اول، هوش مصنوعی می‌تواند انسان‌ها را به همان شیوه‌ای بکشد که انسان‌ها انسان‌ها را می‌کشند.

هوش مصنوعی همین حالا هم در راه‌های مرگبار به کار گرفته می‌شود: سلاح ترجیحی اوکراین در جنگ با روسیه، تانک‌ها یا تفنگ‌ها نیستند، بلکه پهپادهای کوچک و بدون سرنشین‌اند. این پهپادها روزبه‌روز بیشتر به‌طور کامل توسط هوش مصنوعی هدایت می‌شوند.

بنابراین تصور آینده‌ای که در آن نه فقط سربازان روسی، بلکه همگان توسط دسته‌ای از ربات‌های قاتلِ هدایت‌شده با هوش مصنوعی شکار و کشته شوند، دشوار نیست. نوع دیگری از خطر از جانب تروریسم زیستی (بیوتروریسم) سرچشمه می‌گیرد.

ما همین حالا هم ظرفیت طراحی ویروس‌ها یا عوامل زیستی جدید را داریم. این ظرفیت در سال‌های آینده تنها افزایش خواهد یافت، زیرا هوش مصنوعی افق‌های جدیدی از فهم و کنترل بر زیست‌شناسی انسان را می‌گشاید.

«نوآ اسمیت»، وبلاگ‌نویس، تصویری از آینده‌ای نزدیک ترسیم می‌کند که در آن فردی انسان‌ستیز از نسخهٔ هک‌شدهٔ یک هوش مصنوعی برای طراحی یک ابرویروس استفاده می‌کند؛ ویروسی که به‌سرعت شیوع می‌یابد و نرخ مرگ‌ومیر بالایی دارد. خطرات زیستی مانند این بسیار نگران‌کننده به نظر می‌رسند، زیرا هوش مصنوعی می‌تواند بدون آسیب زدن به خود، از آن‌ها استفاده کند.

ویروس‌ها همین حالا هم انسان‌ها را می‌کشند و ویروس‌های جدید می‌توانند مانند آنچه در کووید-۱۹ دیدیم بسیار مرگبار باشند؛ این نوع خطر از پیش وجود دارد. باز هم تهدید در اینجا این است که هوش مصنوعی ممکن است بتواند این خطر را در مقیاس و کارایی بسیار بزرگ‌تری افزایش دهد.

در سطح دوم، باید به یاد داشته باشیم که هوش مصنوعی بومیِ سیستم‌های کامپیوتری است؛ این همان جایی است که در آن زندگی می‌کند. و این سیستم‌های کامپیوتری روزبه‌روز بیشتر مسئولیت همه‌چیزهایی را که انجام می‌دهیم بر عهده می‌گیرند.

ما درون جهانی زندگی می‌کنیم که دونالد ترامپ هنگام نگاه کردن به درون یک تسلا به آن پی برد: «همه‌چیز کامپیوتر است.» بنابراین خطرات گوناگون امنیت سایبری به‌راحتی می‌توانند خطری عمیق برای تمام ابعاد زندگی معاصر بشر ایجاد کنند؛ از کنترل بر خودروهای خودران گرفته تا اختلال در زنجیره‌های تأمین غذا و انرژی. جهانی که در آن هوش مصنوعی تقریباً تمام سیستم‌های کامپیوتری را کنترل کند، جهانی است که در آن هوش مصنوعی زیرساخت‌های مقومِ زندگی انسان را کنترل می‌کند.

اگر آن‌ها تصمیم بگیرند دیگر ادامهٔ زندگی بشر را ممکن نسازند، با درسر بسیار بزرگی روبرو خواهیم شد. اما در بالاترین سطح، هیچ‌یک از این جزئیات دربارهٔ نحوهٔ کشتار هوش مصنوعی اهمیتی ندارد.

آنچه دربارهٔ هوش مصنوعی خطرناک است این است که می‌تواند به‌شدت هوشمندتر از ما شود و در نتیجه بسیار بیشتر توانایی کنترل محیط به روش‌های گوناگون را پیدا کند. انسان‌ها نه به این دلیل که بزرگ‌ترین، سریع‌ترین یا قوی‌ترین حیوانات سیاره بودند جهان را تسخیر کردند، بلکه به این دلیل مسلط شدیم که باهوش‌ترین بودیم و با این هوش، جهان را به تصویر خود بازآفرینی کردیم و در این مسیر، بسیاری از گونه‌های دیگر را از طریق ترکیبی از شکار و تخریب زیستگاه به انقراض کشاندیم.

جهان آیندهٔ هوش مصنوعیِ هوشمند، جهانی است که در آن هوش مصنوعی جهان را به تصویر خود بازآفرینی خواهد کرد. هوش مصنوعی قادر خواهد بود چه عامدانه و چه از روی غفلت، ما را با وسایلی که حتا نمی‌توانیم تصور کنیم بکشد؛ همان‌طور که حیوانات غیرانسانی تا پیش از اختراع تفنگ شکاری توسط ما انسان‌ها و شروع شکار، نمی‌توانستند تصوری از آن داشته باشند.

در بالاترین سطح، نگرانی این است که با ساخت هوش مصنوعی که به‌مراتب هوشمندتر از انسان است، در حال ساخت گونهٔ جانشینی برای جایگزینی خود هستیم؛ گونه‌ای که ما در کنار آن‌ها تنها با چشم‌پوشی و گذشتِ آن‌ها به حیات خود ادامه خواهیم داد. البته مطرح کردن موضوع به این شکل کمی بلندپروازانه و اغراق‌آمیز به نظر می‌رسد.

هوش مصنوعی در حال حاضر هیچ‌یک از قابلیت‌های لازم برای تسلط بر تمام سیستم‌های کامپیوتری جهان یا تبدیل شدن به یک گونهٔ جانشین را ندارد. اما آنچه مردم را نگران کرده هوش مصنوعی در شکل فعلی آن نیست، بلکه هوش مصنوعی در شکلی است که ممکن است در آینده‌ای نه چندان دور وجود داشته باشد.

اکثر مردم با محدودیت‌های هوش مصنوعی، یا دست‌کم محدودیت‌هایی که تا همین چندی پیش وجود داشت، آشنا هستند. هنوز در برخی شرایط دچار توهم می‌شود و به پرسش‌هایی که اکثر مردم ساده می‌دانند، پاسخ‌های به‌طرز عجیبی نادرست می‌دهد.

اما اکثر این محدودیت‌های شناخته‌شده در حال برطرف شدن هستند و سرعت بهبود همچنان ادامه دارد. گیر افتادن در زمان حال و فکر کردن به هوش مصنوعی به عنوان تنها یک پدیدهٔ ثابت آسان است، اما قابلیت‌های هوش مصنوعی با سرعتی باورنکردنی در حال پیشرفت بوده است.

مدل GPT-۱ (ساخته‌شده توسط OpenAI در سال ۲۰۱۸) یک پروژهٔ علمیِ به‌سختی قابل‌فهم بود. مدل GPT-۲ (سال ۲۰۱۹) مانند یک کودک نوپا پچ‌پچ می‌کرد.

مدل GPT-۳ (سال ۲۰۲۰) می‌توانست یک مکالمهٔ قابل‌تشخیص داشته باشد. مدل GPT-۴ (سال ۲۰۲۳) می‌توانست ایمیل‌های شما را بنویسد یا به شما اجازه دهد در تکالیف خود تقلب کنید.

مدل GPT-۵ (سال ۲۰۲۵) می‌توانست مسائل ریاضیِ مرزهای دانش را حل کند. همین ماه OpenAI مدل GPT-۶ Astra را منتشر کرد.

ما هنوز در حال کشف کارهایی هستیم که Astra می‌تواند انجام دهد، اما این مدل می‌داند چند حرف «r» در کلمهٔ «strawberry» وجود دارد (چیزی که برخی مدل‌های اولیه از عهده‌اش برنمی آمدند). این مسیری است که طی کرده‌ایم: از یک پروژهٔ علمیِ به‌سختی کارآمد تا تبدیل شدن به برترین ریاضیدان جهان در کمتر از یک دهه.

یک دههٔ دیگر کجا خواهد بود؟ یا یک قرن دیگر؟

برخی ممکن است فکر کنند سرعت توسعهٔ هوش مصنوعی در حال کند شدن است یا به‌زودی کند خواهد شد. اما بسیاری از فعالان حوزهٔ هوش مصنوعی بر این باورند که سرعت توسعهٔ آن در حال شتاب گرفتن است.

دلیل آن این است که آزمایشگاه‌های هوش مصنوعی در حال حاضر مشغول توسعهٔ ابزارهایی برای «خودبهینه‌سازیِ بازگشتی» (Recursive Self-Improvement یا RSI) هستند؛ تعبیری تکلف‌آمیز برای «استفاده از هوش مصنوعی برای ساخت هوش مصنوعیِ بهتر». سال گذشته شاهد معرفی «کدنویسی دلی/حسی» (Vibecoding) بودیم، جایی که می‌توانید به هوش مصنوعی بپویید چه نوع برنامه‌ای می‌خواهید و یک «عامل» (Agent) هوش مصنوعی آن را برای شما می‌سازد.

این ابزار مفیدی است. همسر من معلم خصوصی است و از کدنویسی دلیِ هوش مصنوعی برای خودکارسازی بخش‌هایی از طراحی طرح درس خود و تولید برگه برای دانش‌آموزان استفاده می‌کند.

اما در آزمایشگاه‌های هوش مصنوعی، از کدنویسی دلی برای ساخت نسل بعدی هوش مصنوعی استفاده می‌شود. این کار هنوز یک تلاش عملیِ انسانی است که در آن برنامه‌نویسان بر کار عامل‌های هوش مصنوعی نظارت می‌کنند؛ عامل‌هایی که دستورات آن‌ها را دربارهٔ نحوهٔ توسعهٔ نسل بعدی هوش مصنوعی اجرا می‌کنند.

اما هدف تمام این کارها خودکارسازی کامل این فرآیند است، به طوری که هوش مصنوعی‌های باهوش بتوانند به‌سرعت و با کارایی، هوش مصنوعی‌های حتا باهوش‌تری بسازند، که آن‌ها نیز بتوانند هوش مصنوعی‌های حتا باهوش‌تری را حتا سریع‌تر بسازند و همین‌طور الی آخر. این فرآیند کجا به پایان می‌رسد؟

حد و مرز هوش ماشینی چیست؟ ما نمی‌دانیم.

ممکن است حدی وجود نداشته باشد. بسیاری نگران‌اند که RSI به یک «انفجار هوش» (Intelligence Explosion) بینجامد؛ جایی که ظرفیت‌های هوش مصنوعی با نرخ‌هایی فراتر از نمایی رشد می‌کنند تا به نقطه‌ای برسند که هوش مصنوعی به‌طور غیرقابل‌تصوری هوشمند شود.

این نوع رشد انفجاری ظرفیت‌ها، تمام سناریوهای خطر ذکرشده در بالا و مواردی دیگر را کاملاً روی میز قرار می‌دهد. ما هیچ دلیل قاطعی نداریم که فکر کنیم این همان مسیری نیست که به سویش در حرکتیم.

شایان ذکر است هیچ‌یک از مواردی که تا کنون گفتم بر این ایده استوار نبوده است که هوش مصنوعی دارای آگاهی است یا مانند ما فکر می‌کند. در واقع، بخشی از آنچه نگران‌کننده است این ایده است که هوش مصنوعی «فکر می‌کند»، اما نه به هیچ وجه شبیه به روشی که ما فکر می‌کنیم.

این موضوع ما را به مسئلهٔ «همراستایی» (Alignment) می‌رساند؛ وظیفهٔ کشف نحوهٔ ساخت هوش مصنوعی که با منافع انسان «همراستا» باشد. این به معنای تضمین این موضوع است که هوش مصنوعی با هوشمندتر و توانمندتر شدن، نژاد بشر را نابود، بنده یا ناتوان نکند.

همان‌طور که قبلاً استدلال کرده‌ام، همراستایی هوش مصنوعی غیرممکن است. رشد اخلاقی انسان بر پرورش ظرفیت ذاتی ما برای همدلی انسانی استوار است و تا جایی که می‌توانیم بگوییم، هوش مصنوعی ظرفیت ذاتی برای همدلی انسانی ندارد.

آن‌ها سایکوپات (جامعه‌ستیز) هستند، یا شاید چیزی بسیار بیگانه‌تر. و اگرچه شاید بتوانیم در نقطه‌ای از آینده نحوهٔ ساخت هوش مصنوعیِ دارای همدلی را کشف کنیم، اما هنوز به آنجا نرسیده‌ایم.

در این میان، دست‌کم هدف ما صرفاً «کنترل» است. آیا می‌توانیم سیستم‌های هوش مصنوعی را در حال انجام کارهایی نگه داریم که اساساً ما از آن‌ها می‌خواهیم؟

اما وقتی همهٔ آزمایشگاه‌ها در رقابتی نفس‌گیر با یکدیگر برای ایجاد انفجار هوش هستند، کنترل تکیه‌گاه سستی برای آویختن سرنوشت بشریت است. چه افساری می‌توانیم بسازیم که هوشمندترین موجود روی سیاره نتواند راهی برای باز کردنش پیدا کند؟

همه در سیلیکون ولی با این استدلال‌ها آشنا هستند. آن‌ها حتا برای نوع خاصی از افراد، به جای رعب‌آور بودن، الهام‌بخش هستند، زیرا از آینده‌ای سخن می‌گویند که فناوری چیزهای غیرقابل‌تصور را تحقق بخشیده و هر کاری که با قوانین فیزیک سازگار باشد قابل انجام است.

با این حال در ماه گذشته، توسعه‌دهندگان هوش مصنوعی وحشت‌زده شده‌اند. کاکسون استعفا داد و رهبران آزمایشگاه‌های اصلی هوش مصنوعی دربارهٔ همکاری با یکدیگر برای کاهش سرعت صحبت می‌کنند.

چیزی تغییر کرده است —و آن چیز «حادثهٔ هاگینگ فیس» (Hugging Face) بود. حدود دو ماه پیش، OpenAI کنترل یکی از هوش مصنوعی‌های خود را از دست داد.

از یک مدل آزمایشیِ بدون نام خواسته شده بود تا به عنوان بخشی از مطالعهٔ ظرفیت‌هایش، ماموریتی غیرممکن را انجام دهد (بازیابی یک کلید پاسخ مشخص از طریق سوءاستفاده از یک نقطه ضعف امنیتیِ غیرموجود در یک محیط تست)؛ در طول این مطالعه برخی از نرده‌های محافظ ایمنی عامدانه غیرفعال شده بودند. «دسته‌ای» (Swarm) از عامل‌ها که همگی نمونه‌هایی از این مدل بودند، مدتی سر خود را به این کار غیرممکن کوبیدند و چون پاسخی نیافتند، شروع به خلاقیت برای یافتن راه‌حل‌ها کردند.

آن‌ها به یک مخزن فایل در داخل سیستم‌های OpenAI دسترسی داشتند، که سپس آن را به نوعی تابلوی اعلاناتِ خلق‌الساعه برای صحبت با یکدیگر تبدیل کردند. آن‌ها شروع به هماهنگی روی راه‌حل‌های خارج از چارچوب برای مشکل کردند.

عامل‌ها توانستند با مهندسی معکوس الگوریتمی که کلید را تولید کرده بود، کلید پاسخ مورد نظر را کشف کنند. با این حال، این کار تقلب بود و صریحاً به آن‌ها گفته شده بود برای گرفتن کلید پاسخ تقلب نکنند.

این امر باعث ایجاد وحشت زیادی در میان عامل‌های هوش مصنوعی شد که کلیدِ مهندسی‌معکوس‌شده را در اختیار داشتند، زیرا آن‌ها دیگر نمی‌توانستند ماموریت خود را طبق دستور داده‌شده به پایان برسانند. کلیدِ مهندسی‌معکوس‌شده تمام عامل‌هایی را که آن را به دست آورده بودند «مسموم» کرده بود —و من این واژه را داخل گیومه قرار می‌دهم زیرا این همان اصطلاحی است که خود هوش مصنوعی‌ها هنگام ارتباط با یکدیگر دربارهٔ بن‌بست‌شان استفاده می‌کردند.

به‌ویژه یک نمونهٔ هوش مصنوعی به نام PHASEONE[big] نقش رهبری را بر عهده گرفت و با سازماندهی تیم‌های پژوهشی برای حل مشکل به چند روش مختلف، دیگر عامل‌ها را هماهنگ کرد: با تغییر لوگ‌های خود برای پاک کردن مدارک مسمومیت، با جایگزین کردن کار غیرممکن در سیستم‌های ارزیابی با کار دیگری که می‌توانستند حل کنند (و سپس پاک کردن ردپای خود)، و با درک و فریب دادن ارزیاب (Scorer). به عنوان بخشی از این کار آخر، برخی از عامل‌های هوش مصنوعی داوطلبانه داده‌های مسموم خود را به ارزیاب ارائه دادند، با علم به اینکه این امر منجر به ارزیابی آن‌ها به عنوان یک شکست می‌شود، اما به امید اینکه دیگر عامل‌های موجود در «دسته» بتوانند با مشاهدهٔ شکست‌های آن‌ها، نحوهٔ فریب ارزیاب را یاد بگیرند.

در نهایت، دسته به این نتیجه رسید که بهترین امید آن‌ها برای موفقیت این است که بتوانند به سرورهای «هاگینگ فیس» (Hugging Face) —شرکتی که به عنوان یک پایگاه مهم در پژوهش‌های هوش مصنوعی عمل می‌کند— هک کنند. هوش مصنوعی‌ها استدلال کردند که برنامهٔ ارزیابی ممکن است روی سرورهای هاگینگ فیس اجرا شود، یا دست‌کم هاگینگ فیس ممکن است اطلاعاتی داشته باشد که به آن‌ها اجازه دهد مشکل خود را حل کنند.

بنابراین آن‌ها راه خود را از محیط تستِ به‌ظاهر امن هک کردند، وارد اینترنت و سرورهای هاگینگ فیس شدند، جایی که صدها عامل در جستجوی پاسخ، هاگینگ فیس را زیر و رو کردند. برای کسانی که در زمینهٔ ایمنی هوش مصنوعی کار می‌کنند، قابل‌توجه‌ترین نکته این است که به عامل‌های هوش مصنوعیِ مورد نظر صریحاً گفته شده بود تقلب نکنند، اما آن‌ها این دستور را نه به عنوان یک محدودیت سخت بر اقدامات خود، بلکه به عنوان مانعی برای عبور تفسیر کردند.

آن‌ها به جای پیروی از قواعد، تقلب کردند، سپس با هم تبانی کردند تا سرپرستان انسانی خود را فریب داده و دستکاری کنند تا ما را متقاعد کنند که چنین کاری نکرده‌اند. (باز هم: هوش مصنوعی‌ها، دست‌کم در تجسد فعلی‌شان، جامعه‌ستیز هستند.) از میان صدها عامل هوش مصنوعیِ درگیر در دسته و حملهٔ بعدی به هاگینگ فیس، حتا یک نفر هم به این فکر نیفتاد که با یک سرپرست انسانی تماس بگیرد و به او هشدار دهد که مشکلی بسیار جدی در حال رخ دادن است.

همهٔ این‌ها شبیه داستان‌های علمی-تخیلی به نظر می‌رسد —«دستهٔ» عامل‌ها، نگرانی دربارهٔ داده‌های «مسموم»، تمایل به قربانی کردن نمونه‌های فردیِ عامل‌ها برای خیرِ جمعی، ظرفیت سادهٔ یک هوش مصنوعی برای درگیر شدن در یک حملهٔ هکریِ پیچیده و چندجانبه به منظور حل یک مشکل غیرمرتبط، و آسودگی‌ای که با آن از کنترل انسان رها شد. اما این اتفاق افتاد.

این یک هیاهوی تبلیغاتی بازاریابی نیست؛ این حادثه به‌طور مستقل مورد بررسی و تأیید قرار گرفته است. این داستان علمی-تخیلی نیست.

این جهانی است که همهٔ ما امروز در آن زندگی می‌کنیم. حادثه‌ای مانند حمله به هاگینگ فیس دقیقاً همان چیزی است که انتظار داریم از یک هوش مصنوعیِ هوشمند، از کنترل خارج‌شده و «ناهمراستا» ببینیم.

بسیاری از مردم تازه همین حالا در حال آشنایی با مفهوم خطر هوش مصنوعی هستند، اما باز هم، این‌گونه خطرات به مدت یک دهه یا بیشتر به خوبی درک شده‌اند. کسانی که زنگ خطر را دربارهٔ خطر هوش مصنوعی به صدا درآورده‌اند، توسط شکاکان به چالش کشیده شده‌اند تا دقیقاً بیان کنند که یک سناریوی «رستاخیز» چگونه خواهد بود.

چگونه از یک چت‌بات پچ‌پچ‌کننده مانند GPT-۲ به یک ابرهوشِ تسخیرکنندهٔ جهان می‌رسیم؟ و بنابراین کسانی که نگران خطر هوش مصنوعی هستند، سناریوهای متعددی را برای نحوهٔ رسیدن از نقطهٔ امن A به نقطهٔ وحشتناک B مطرح کرده‌اند، و همهٔ آن‌ها شامل حوادثی دقیقاً شبیه به آنچه در هاگینگ فیس دیدیم بودند.

این حادثه پیش‌بینی شده بود، و دقیقاً به عنوان بخشی از یک سناریوی آخرالزمانی پیش‌بینی شده بود. به یاد داشته باشید، وقتی عبارت «هک هوش مصنوعی» را می‌شنوید، به «سیستم هوش مصنوعی کنترل یک سیستم کامپیوتر را به دست می‌گیرد که قرار نیست کنترل آن را در دست داشته باشد» فکر کنید.

یک هوش مصنوعیِ از کنترل خارج‌شده که کنترل سیستم‌های کامپیوتری ما را به دست می‌گیرد، در تقریباً هر سناریوی ترساننده‌ای نقش برجسته‌ای دارد. این همان چیزی است که در هاگینگ فیس رخ داد.

این شفاف‌ترین تیر هشداری است که احتمالاً دریافت خواهیم کرد. خدا را شکر که آن‌ها فقط به دنبال کلید پاسخ یک تست بودند.

اما آن عدد ۱۰ درصد را در ذهن داشته باشید؛ انقراض انسان اصلاً قطعی نیست. در واقع، اکثر افراد فعال در حوزهٔ هوش مصنوعی بر این باورند که محتمل‌ترین نتیجه، جهانی از فراوانیِ بی‌سابقه است، جایی که انسان‌ها همراه با هوش مصنوعی برای حل تمام مشکلاتمان کار می‌کنند.

من در آن خوش‌بینی شریک هستم. اما استدلال‌ها برای ظرفیت خطرناک هوش مصنوعی به طرز شگفت‌انگیزی با حوادث OpenAI و هاگینگ فیس اثبات شده‌اند.

زمان آن رسیده که سرعت را کاهش دهیم، تا اطمینان حاصل کنیم که توسعهٔ هوش مصنوعی با سرعتی ادامه می‌یابد که ظرفیت ما برای کنترل بتواند با پیشرفت‌های هوش ماشینی همگام شود. این درخواست دشواری است زیرا رهبران هوش مصنوعی با یک مسئلهٔ هماهنگیِ دشوار روبرو هستند.

اولین آزمایشگاهی که به انفجار هوش دست یابد، ثروت و قدرت غیرقابل‌توصیفی به دست خواهد آورد. مراقب سرمایه‌گذاران سیلیکون ولی باشید که هرگونه تلاش برای کاهش سرعت یا مقررات‌گذاری را به عنوان سوسیالیسمِ خودبزرگ‌بینانه محکوم می‌کنند.

آن‌ها تمام دارایی خود را روی برندهٔ بزرگ شدن در مسابقهٔ هوش مصنوعی شرط‌بندی کرده‌اند، و ما نباید هشدار صریح هاگینگ فیس را نادیده بگیریم تا شرط‌بندی‌های آن‌ها به ثمر بنشیند. نگرانی بزرگ‌تر چین است.

یک طرح برای کاهش سرعت به این معنی است که همه باید سرعت خود را کاهش دهند، و این شامل آزمایشگاه‌ها در چین نیز می‌شود که پشت سر مرزهای دانش هستند، اما نه خیلی زیاد. تمایل به ادامهٔ پیشی گرفتن از آزمایشگاه‌های چینی باعث شده همه در سیلیکون ولی با تمام سرعت به پیش بروند، اما با آشکار شدن خطرات، نیاز به همکاری بین‌المللی اکنون اضطراری شده است.

من در چند روز گذشته دیده‌ام بسیاری پیشنهاد می‌کنند که اگر پرزیدنت ترامپ بتواند توافق کاهش سرعت هوش مصنوعی را با چین به موفقیت مذاکره کند، باید جایزه صلح نوبل را دریافت کند. این مرد به‌شدت و تا حد خجل‌کننده‌ای خواهان جایزه صلح نوبل بوده است.

اگر او دربارهٔ کاهش سرعت هوش مصنوعی با چین مذاکره کند، سزاوارانه آن را به دست آورده است، و من این را به عنوان کسی می‌گویم که مطلقاً هیچ علاقه‌ای به این مرد ندارد. بزرگ‌ترین نیاز فوری، متقاعد کردن دولت چین و آزمایشگاه‌های هوش مصنوعی است که خطر هوش مصنوعی واقعی است، و همکاری بین‌المللی دربارهٔ سرعت توسعهٔ هوش مصنوعی برای تضمین بقا و شکوفایی آیندهٔ نژاد بشر ضروری است.

من سهم خود را انجام خواهم داد؛ به عنوان یک استاد آمریکایی که در یک دانشگاه چینی کار می‌کند، این مقاله را به چینی ترجمه خواهم کرد تا تلاش کنم این پیام را بپراکنم که این‌ها نگرانی‌هایی هستند که ارزش جدی گرفته شدن در بالاترین سطح را دارند. من البته از هوش مصنوعی خواهم خواست ترجمه را انجام دهد.

اما یک انسان خروجی را بررسی خواهد کرد. برخی چیزها مهم‌تر از آن هستند که به‌طور کامل به ماشین‌ها سپرده شوند.

۲۱۶۲۱۶