اعلام جنگ علیه هوش مصنوعی؟ روایت آخرالزمانی پشت پرده‌ی سکونت اولترامن در شعله‌های آتش

عنوان اصلی: نتیجه‌گیری «عقلانی»
نویسنده اصلی: الکساندر کمپبل
ترجمه: پگی، بلاک بیتس

یادداشت سردبیر: ساعت ۳:۴۵ بامداد دهم آوریل، فردی ۲۰ ساله یک کوکتل مولوتوف به سمت محل سکونت سم آلتمن پرتاب کرد، سپس به سمت دفتر مرکزی OpenAI رفت و تهدید به آتش‌سوزی عمدی کرد.

این حمله به سرعت جامعه فناوری و سرمایه‌گذاری را در شوک فرو برد. این نه تنها نگران امنیت فردی بود، بلکه روایتی افراطی را که مدت‌ها در متن‌ها و جوامع آنلاین وجود داشت، به واقعیت تبدیل کرد.

این منطق با شروع از ادعای بسیار جبرگرایانه «هوش مصنوعی باعث انقراض بشر خواهد شد» و استدلال از طریق «ما باید به هر قیمتی ریسک را کاهش دهیم»، به تدریج به سمت توجیه اقدامات در دنیای واقعی سوق یافت. وقتی یک جهان‌بینی پیوسته روایت خود از «تهدید وجودی» را تقویت می‌کند و از آن برای بازسازی اولویت‌های اخلاقی استفاده می‌کند، مرزهای عمل بازتعریف می‌شوند - گفتاری که زمانی کم‌هزینه بود، اکنون امکان اجرا را نیز به همراه دارد.

این مقاله مسیر تکاملی در جامعه آخرالزمانی هوش مصنوعی را بررسی می‌کند: از «مارپیچ تصفیه» که منجر به ارزیابی‌های فزاینده ریسک می‌شود تا قضاوت اخلاقی سازندگان فناوری، و سپس تا ساده‌سازی واقعیت پیچیده در مدل تصمیم‌گیری «مسئله تراموا». این استنتاج‌های به ظاهر منطقی در نهایت به یک طرز فکر ثابت اما خطرناک تبدیل می‌شوند: تا زمانی که نتیجه به عنوان «نجات بشریت» تعریف شود، ابزارها می‌توانند به گسترش خود ادامه دهند.

از این نظر، این رویداد، رویدادی منزوی و جداافتاده نیست. این بیشتر شبیه یک آزمون استرس اولیه است - نه خود فناوری، بلکه زمانی که روایت، باورها و اعمال پیرامون فناوری شروع به از دست دادن خویشتن‌داری می‌کنند، مورد آزمایش قرار می‌گیرد.

متن اصلی به شرح زیر است:

آتش افروز کیست؟

روز جمعه ساعت ۳:۴۵ بامداد، یک مرد ۲۰ ساله یک کوکتل مولوتوف به سمت محل سکونت سم آلتمن پرتاب کرد. او سپس حدود سه مایل تا دفتر مرکزی OpenAI پیاده‌روی کرد و تهدید کرد که آنجا را به آتش خواهد کشید. در حال حاضر، او به ظن اقدام به قتل توسط پلیس دستگیر شده است.

پوستر اظهار داشت: شخصی به نام دانیل مورنو-گاما (با نام مستعار آنلاین dmgama / "جهادگر باتلری") به جرم "اقدام به قتل" دستگیر و توسط پلیس معرفی شده است. خاطرنشان می‌شود که او عضو فعال PauseAI است. این پست همچنین به دیدگاه فوری که او چندین بار ابراز کرده است، اشاره می‌کند: «نزدیک نیمه‌شب است، وقت آن است که واقعاً دست به کار شویم.»

او یک «گرگ تنها» نیست. او یکی از اعضای فعال PauseAI است و شش نقش در جامعه دارد. نام کاربری او در دیسکورد «جهادگر باتلری» است.

اینستاگرام او تقریباً به‌طور کامل پر از محتوای آخرالزمانی است: یک منحنی قانون توان با عنوان «اگر زود اقدام نکنیم، همه ما خواهیم مُرد» به همراه یک نمودار ون که واقعیت را در نقطه تلاقی ماتریکس، ترمیناتور و ایدیوکراسی قرار می‌دهد.

چهار ماه قبل از حمله، او همچنین مقاله «تکینگی فناوری در حال ظهور» نوشته یودکوفسکی و سوارس را به پیروانش توصیه کرد.

مهمانخانه جهادی باتلری

«تکینگی فناوری در حال ظهور» اثری بنیادین در اردوگاه ریسک/ایمنی هوش مصنوعی است که دیدگاهی بدبینانه و قوی ارائه می‌دهد. استدلال اصلی آن را می‌توان به شرح زیر خلاصه کرد: هنگامی که انسان‌ها «هوش فرابشری» (هوش مصنوعی که بسیار فراتر از هوش انسانی است) را ایجاد کنند که کاملاً همسو نباشد، به احتمال زیاد از کنترل خارج شده و تهدیدی وجودی برای بشریت ایجاد خواهد کرد. موضع نویسنده بسیار رادیکال است و به «بدبینانه‌ترین» نوع نزدیک می‌شود و معتقد است که هوش مصنوعی نه تنها «خطرناک» است، بلکه تقریباً به طور اجتناب‌ناپذیری فاجعه‌بار است. نویسنده، احتیاط شدید یا حتی توقف توسعه را تا زمان رسیدگی به مشکل هم‌ترازی توصیه می‌کند.

نام او دانیل مورنو-گاما است.

او همچنین Substack مخصوص به خودش را دارد. او در اوایل ژانویه امسال مقاله‌ای با عنوان «خطر وجودی هوش مصنوعی» منتشر کرد و احتمال «انقراض انسان توسط هوش مصنوعی» را «تقریباً قطعی» ارزیابی کرد. او از این فناوری به عنوان «یک تهدید فعال برای هر کسی که از آن استفاده می‌کند، به خصوص برای کسانی که آن را می‌سازند» یاد می‌کند. نتیجه‌گیری او این است: ما باید قبل از پرسیدن سوالات دیگر، ابتدا به این تهدید بپردازیم.

او همچنین شعری سروده است که در آن فرزندان توسعه‌دهندگان هوش مصنوعی را در حال مرگ تصور می‌کند و بی‌عملی والدین آنها را زیر سوال می‌برد. او حتی سازندگان این فناوری‌ها را اینگونه توصیف می‌کند: باشد که خدا به چنین موجودات پست و رذلی رحم کند.

PauseAI قبلاً پیام‌های مرتبط با او را از Discord خود حذف کرده است.

می‌دانم که این چیزی نیست که اکثر خوانندگان انتظار دارند در یک خبرنامه سرمایه‌گذاری ببینند. من این را می‌نویسم تا توضیح دهم جهان‌بینی من از کجا سرچشمه می‌گیرد، و درک قضاوت‌های بلندمدت‌تری که در پی می‌آیند را آسان‌تر کنم. در مورد پیشنهاد «نیو دیل» که من مطرح کردم، این پیشنهاد پاسخی مستقیم به این تحول است.

کاری که من did-133">کردم این بود که مدل آنها را یک قدم جلوتر بردم و نقاط را به هم وصل کردم.

روایت آخرالزمانی از نابودگران هوش مصنوعی

بیایید با «جبرگرایی» شروع کنیم. موضع یودکوفسکی (که قبلاً به آن اشاره شد) این است: به محض اینکه کسی یک هوش مصنوعی به اندازه کافی قدرتمند ایجاد کند، تک تک افراد روی زمین خواهند مرد. نه «شاید»، نه «احتمالاً»، بلکه همه - از جمله فرزندتان و دخترش نینا که بارها از او نام برده شده است.

او این دیدگاه را در مجله تایم بیان کرده و همچنین در کتابی با عنوان «اگر کسی موفق شود، همه ما خواهیم مرد» در مورد آن نوشته است. او حتی طرفدار بمباران مراکز داده بود و معتقد بود که خطر درگیری هسته‌ای قابل قبول‌تر از یک دوره آموزشی کامل است.

«مارپیچ تصفیه»، یک رفتار رادیکالِ پیوسته در حال تشدید. در این جامعه، اعضا با افزایش مداوم شدت موضع خود، «عزم» خود را ثابت می‌کنند: تخمین‌ها از «احتمال انقراض انسان (P(doom))» از ۵۰٪ به ۹۰٪ و در نهایت به ۹۹.۹۹۹۹۹٪ افزایش یافته است.

یک سخنگوی ملی مرکز ایمنی هوش مصنوعی زمانی جلوی دوربین گفت که واکنش درست این است که «به آزمایشگاه‌های سراسر کشور برویم و آنها را بسوزانیم». PauseAI حتی یک پروتکل به نام «پروتکل هشدار» را آغاز کرد که یک مدل هوش مصنوعی خاص را به عنوان «سلاحی در سطح انقراض» تعیین می‌کند. یکی از رهبران PauseAI حتی گفت که یک محقق حوزه انسان‌شناسی «سزاوار هر اتفاقی بود که قرار بود برایش بیفتد».

وقتی کسی چنین اظهاراتی را در Discord مربوط به PauseAI زیر سوال برد، مدیر مستقیماً آن پیام را حذف کرد.

روز قبل از حمله، نت سوارس، یکی از نویسندگان کتاب یودکوفسکی، در توییتی نوشت که آلتمن «کارهای واقعاً بدی انجام می‌دهد».

در مرحله بعد، «گفتگوی ارزان» با یک بررسی واقعیت روبرو شد.

در نظریه بازی‌ها، اصطلاحی به نام «سخنان بی‌ارزش» وجود دارد: به گزاره‌هایی با هزینه کم یا بدون هزینه، اما در نهایت محدود به واقعیت، اشاره دارد. در ابتدا، همه فقط اظهارات افراطی کم‌هزینه‌ای مطرح می‌کردند، اما وقتی موضوع به عنوان «بحران بقای انسان» مطرح شد، این دیدگاه‌ها می‌توانستند جدی گرفته شوند و به این ترتیب به رفتارهای افراطی مشروعیت بخشند.

اینها حوادث جداگانه‌ای نیستند، بلکه مجموعه‌ای از ادعاهای رو به افزایش و تقویت‌کننده‌ی متقابل پیرامون یک ایدئولوژی تا حدودی آخرالزمانی هستند. اگر این منطق به افراط کشیده شود، حتی می‌تواند به «قربانی کردن ۹۹٪ از جمعیت برای نجات ۱٪ آخر» منجر شود.

با پیشرفت اوضاع، کسی این ایده‌ها را به معنای واقعی کلمه پذیرفت و بر اساس آنها عمل کرد - فقط مسئله زمان مطرح بود. آن مرد جوان آن کتاب را خواند، به آن جامعه پیوست و مانیفست خود را نوشت. او در یک مقاله خوداندیشی برای کلاس زبان انگلیسی در یک کالج محلی، خود را به عنوان یک نتیجه‌گرا تعریف کرد: اگر نتیجه با نتیجه‌ی نهایی مطابقت نداشته باشد، به سختی می‌توانم انگیزه‌ی آن را باور کنم. او لقب «جهادگر باتلری» را برای خود برگزید. او در تاریخ ۳ دسامبر در دیسکورد PauseAI نوشت: «به نیمه‌شب نزدیک می‌شویم، وقت اقدام واقعی است.»

و سپس، او اقدام کرد.

آنها او را با یک «مسئله تراموا» مواجه کردند: یک زندگی در مقابل تمام بشریت. اهرم را کشید.

توییت بالا (با خط کاتاکانای هوایی) گفت: یودکوفسکی (یود) یک «مشکل تراموا» را در ذهن آن شخص کاشت: در یک مسیر سم آلتمن قرار دارد، در مسیر دیگر کل نژاد بشر، از جمله سم آلتمن. آن مرد احتمالاً فکر می‌کرد که قرار است جایزه صلح نوبل را ببرد.

توییت نقل شده زیر (رندولف کارتر) می‌گوید: شخصی خانه‌ی مدیرعامل هوش مصنوعی را با بمب آتش‌زا هدف قرار داد، سپس بلافاصله به سمت OpenAI رفت تا افراد آنجا را تهدید کند، و آن «تهدیدکنندگان» گفتند: «ممکن است هر کسی باشد، ما نمی‌توانیم مطمئن باشیم...»

یک نکته‌ی طعنه‌آمیز پایانی هم هست که ارزش گفتن دارد. اگر این «دلیل‌گرایان» واقعاً به قضاوت‌های خود تا آن حد که ادعا می‌کنند اعتقاد دارند، پس باید در مورد پیامدهای ناشی از آن باورها صریح‌تر باشند.

تنها چند هفته قبل از حمله، روزنامه‌نگاری از یودکوفسکی پرسیده بود: از آنجایی که هوش مصنوعی بسیار خطرناک است، چرا به مراکز داده حمله نمی‌کنید؟ پاسخ، که از طریق سوارز مخابره شد، این بود: «اگر گزارش خبری مبنی بر انجام این کار توسط من را ببینید، آیا با خود فکر می‌کنید که «وای، هوش مصنوعی متوقف شده است، ما در امان هستیم»؟» اگر نه، پس خودت هم می‌دانی که این کار جواب نمی‌دهد.»

توجه کنید که این پاسخ چیزی نگفته است. دلیلش «اشتباه بودن خشونت» نبود، بلکه «چون الان جواب نمی‌دهد» بود. این خویشتن‌داری مبتنی بر ملاحظات استراتژیک است، نه محدودیت‌های اخلاقی. و این جامعه این را می‌داند. در زیر این ظاهر، یک اجماع ناگفته نهفته است: بزرگترین «اشتباه» آن جوان صرفاً زمان‌بندی اشتباه بود.

دقیقا منظورم همینه: هوش با قدرت برابر نیست. این همچنین عمیق‌ترین نقص در کل جهان‌بینی «آخرالزمان» است.

چارچوب یودکوفسکی بر اساس یک پارادوکس ساخته شده است: تا زمانی که هوش مصنوعی به اندازه کافی هوشمند باشد، ناگزیر توانایی نابودی بشریت را به دست خواهد آورد، زیرا «هوش به طور خودکار به توانایی تبدیل می‌شود». اما بسیاری از پیروان او فاقد پیشینه فنی هستند. آنها سیستم‌های هوش مصنوعی نمی‌سازند یا در مهندسی هم‌ترازی مشارکت نمی‌کنند. آنچه آنها دارند نوع خاصی از «هوش زبانی» است که می‌تواند استدلال‌های ریسک پیچیده‌ای را مطرح کند و بنابراین خود را متقاعد کند که نوعی «اقتدار کاهنی» بر فناوری دارند. آنها می‌توانند استدلال بسازند اما نمی‌توانند سیستم بسازند.

این تصادفی نیست، بلکه زمینه‌ای است که در متن بنیادی آن نوشته شده است. «هری پاتر و روش‌های عقلانیت» اثر یودکوفسکی اساساً جهانی را به تصویر می‌کشد که در آن بهترین استدلال‌گر باید بر همه سیستم‌ها حکومت کند. «دنباله‌ها» سپس مجموعه‌ای کامل از «آموزه‌ها» را ارائه می‌دهند: گروه کوچکی از «متفکران درستکار» که هم در شناخت و هم در اخلاق برترند؛ عقلانیت آنها به آنها حق می‌دهد تصمیم بگیرند دیگران چه چیزی می‌توانند بسازند. این به جای اینکه یک جنبش ایمنی باشد، بیشتر شبیه یک "نظام روحانی" با اسطوره خلقت است.

یودکوفسکی شاید از آن جوان که کوکتل مولوتوف پرتاب می‌کند فاصله بگیرد، اما نمی‌تواند از آن قیاس منطقی فاصله بگیرد. اگر سازنده همه را بکشد، متوقف کردن سازنده دفاع از خود است. این گزاره اصلی اوست، سرراست و واضح. تنها سوال همیشه این بوده است: چه زمانی کسی آن را جدی خواهد گرفت؟

بنابراین وقتی منطق خودشان ساعت ۳:۴۵ صبح با یک بطری بنزین از راه می‌رسد، دیگر نباید اینقدر متعجب رفتار کنند.

[ لینک مقاله اصلی ]