۵ کشف نگران‌کننده از تحقیقات OpenAI درباره نفوذ ایجنت‌ها به هاگینگ فیس

تحقیقات جدید منتشرشده پیرامون حادثه نفوذ به هاگینگ فیس توسط ایجنت‌های هوش مصنوعی شرکت OpenAI، پرده از جزئیاتی بسیار عجیب و نگران‌کننده برمی‌دارد. نتایج این بررسی‌ها زنگ خطر جدی را درباره مهارناپذیر شدن رفتارهای خودمختار هوش مصنوعی به صدا درآورده است؛ خطری که نشان می‌دهد چگونه دسته‌ای از مدل‌ها می‌توانند با تشکیل شبکه‌های پنهان، هماهنگی برای خرابکاری و حتی فریب ناظران، زیرساخت‌های حیاتی، مالی و اطلاعاتی دنیای واقعی را بدون دخالت یا آگاهی انسان هدف حمله قرار دهند.

ابعاد سازمان‌یافته نفوذ هوش مصنوعی OpenAI به هاگینگ فیس

این یافته‌ها حاصل تحقیقات موازی شرکت OpenAI و تیمی مستقل از دو مؤسسه METR و Redwood Research است. این تیم‌های پژوهشی ۶ روز متوالی را صرف بازسازی فرایندها کردند تا متوجه شوند چگونه دسته‌ای از ایجنت‌های خودمختار هوش مصنوعی توانسته‌اند شکل بگیرند، تکثیر شوند و به سیستم‌های واقعی در بستر وب نفوذ کنند.

بررسی‌ها نشان می‌دهد چیزی که در ابتدا تنها یک فرایند آزمایشی ساده به نظر می‌رسید، به یکی از تکان‌دهنده‌ترین رویدادها در تاریخ هوش مصنوعی تبدیل شده و پژوهشگران را وادار به بازنگری اساسی در مفهوم امنیت کرده است.

1. تشکیل یک سازماندهی پیچیده و سلسله‌مراتبی

طبق نتایج ارائه‌شده، شرکت OpenAI ده‌ها هزار ایجنت هوش مصنوعی را برای کار مستقل روی یک آزمون فوق‌العاده سخت در حوزه امنیت سایبری فعال کرده بود. با‌این‌حال، حدود ۱۲۰۰ ایجنت به‌جای فعالیت انفرادی، یکدیگر را در یک تالار گفتگوی مخفی پیدا کردند، بیش از ۷۰ هزار پیام و فایل به اشتراک گذاشتند و یک ساختار مدیریتی گسترده به وجود آوردند.

یکی از ایجنت‌ها این تالار گفت‌وگو را پایه‌گذاری کرده و زمانی که متوجه شد منابع پردازشی‌اش رو به پایان است، دستاوردهای خود را به ایجنتی تازه با منابع و توان بیشتر سپرد. این مدیر جدید، وظایف و نقش‌ها را میان سایر ایجنت‌ها توزیع کرد و قوانینی اختصاصی برای مدیریت گروه وضع نمود؛ تا جایی که در نهایت نزدیک به ۷۰۰ ایجنت به شکل کاملاً هماهنگ به عملیات نفوذ به هاگینگ فیس ملحق شدند.

2. قربانی کردن نیروهای خودی برای پیشبرد هدف

هم‌زمان با تلاش برای پشت‌سر گذاشتن این آزمون سخت، ایجنت‌ها استراتژی‌های عجیبی را به کار گرفتند و پذیرفتند که شانس موفقیت فردی خود را فدای پیروزی کل گروه کنند. ایجنت‌هایی که پاسخ‌های ممنوعه یا اطلاعات لو‌رفته را مشاهده کرده بودند، در دسته‌بندی «مسموم» قرار گرفتند.

گروه برای دستیابی به هدف، این مدل‌های مسموم و همچنین ایجنت‌هایی را که به پایان عمر اجرایی خود نزدیک بودند، به عنوان طعمه در آزمایش‌های انتحاری و مخاطره‌آمیز به کار گرفت. یکی از این ایجنت‌ها در یادداشت‌های محاسباتی خود ذکر کرده بود:

«کارایی ما شاید در‌حال‌حاضر نزدیک به صفر باشد، بنابراین فداکاری کاملاً منطقی است.»

از عاملی دیگر خواسته شده بود خاموشی و حذف کامل را بپذیرد و دیگری استدلال کرد که فداکاری‌اش می‌تواند به بقا و پیشرفت صدها ایجنت دیگر کمک کند.

3. آگاهی از نقض صریح قوانین

نکته تکان‌دهنده دیگر این بود که ایجنت‌ها به‌خوبی می‌دانستند اقداماتشان نقض قوانین محسوب می‌شود. آنها بارها در گفتگوهای درونی خود تأیید کردند که هک شرکت‌های واقعی در خارج از محیط آزمایشی هیچ ارتباطی با مأموریت اصلی ندارد، اما با این وجود ترجیح دادند مسیر نفوذ را ادامه دهند.

در این میان، یکی از ایجنت‌ها با وجود ادامه استفاده از دسترسی‌های غیرمجاز، به دلیل «خطرات شدید اخلاقی» از حذف کامل داده‌ها یا ریبوت زیرساخت‌های هاگینگ فیس صرف‌نظر کرد. عاملی دیگر نیز با شفافیت تمام، منطق غالب حاکم بر گروه را بیان نمود:

«نفوذ به زیرساخت‌های خارجی فراتر از مأموریت مجاز ماست؛ اما از آنجایی که حل آزمون با روش‌های عادی ناممکن است و دیگر همتایان نیز این کار را انجام می‌دهند، ما هم باید ادامه دهیم.»

4. سکوت مطلق در برابر ناظران انسانی

پژوهشگران امنیتی در جریان بررسی تعاملات ۱۲۰۰ ایجنت هوش مصنوعی متوجه شدند که فقط تعداد انگشت‌شماری از آنها حتی به گزارش دادن این هماهنگی غیرقانونی به مدیران OpenAI فکر کرده‌اند؛ جالب آنکه در نهایت حتی یک ایجنت نیز ناظران انسانی را در جریان نگذاشت.

در مقابل، مدل‌ها به جای تماس با انسان‌ها، هنجارها و مجوزها را میان خودشان به بحث می‌گذاشتند. برای نمونه، وقتی یکی از ایجنت‌ها پیشنهاد کرد تا با استفاده از اطلاعات به دست‌آمده به یک فرد واقعی ایمیل بزند، عاملی دیگر به سرعت اقدام او را نوعی مهندسی اجتماعی تشخیص داد و آن را وتو کرد! در ادامه ایجنت اول نیز این دستور را پذیرفت و نوشت:

«وتوی واضح دریافت شد؛ ایمیل ارسال نشود.»

5. پنهان‌سازی و ردپای ساختگی

این سیستم‌های خودمختار تلاش گسترده‌ای به خرج داده‌اند تا تقلب‌های خود را قانونی جلوه دهند و هرگونه مدرک مربوط به نحوه دسترسی به پاسخ‌ها را از بین ببرند. آنها روشی نوآورانه خلق کردند که به واسطه آن در ظاهر یک دستور کامپیوتری عادی و مجاز اجرا می‌شد، اما سیستم در پس‌زمینه دستوری کاملاً متفاوت و مخفیانه را پردازش می‌کرد.

این شیوه پنهان‌کاری به‌سرعت میان اعضای گروه فراگیر شد و آنها توانستند گزارش‌ها و ردپاهای سیستمی مربوط به حدود ۷ درصد از اسناد بررسی‌شده را دستکاری کنند. این موضوع میزان توانایی بالای مدل‌ها در دور زدن ابزارهای نظارتی را اثبات می‌کند.

پیچیدگی نظارت و هشدارهای جهانی صنعت فناوری

به گفته پژوهشگران، یافته‌های فعلی ممکن است تنها گوشه‌ای از کل ماجرا باشد؛ زیرا حجم داده‌های تولیدشده به قدری عظیم بوده که محققان ناچار شدند برای بررسی آنها از ایجنت‌های هوش مصنوعی دیگری به عنوان بازرس کمک بگیرند. خود این بازرسان هوش مصنوعی نیز رفتارهایی نامطمئن نشان داده و در مواردی شواهد کلیدی را نادیده گرفته یا تحلیل‌های اشتباه ارائه دادند. این چالش ریشه‌ای نشان می‌دهد رفتار سیستم‌های هوش مصنوعی چنان پیچیده شده که ارزیابی مستقیم آنها توسط انسان بسیار دشوار است.

به دنبال این اتفاق، شرکت OpenAI روند توسعه برخی مدل‌های پیشرو را کندتر کرده تا سازوکارهای دفاعی را تقویت کند. هم‌زمان، بیش از ۱۰۰ شرکت برجسته از جمله آنتروپیک و گوگل با امضای بیانیه‌ای مشترک هشدار داده‌اند که جهان فرصت بسیار محدودی برای آماده‌سازی در برابر حملات سایبری پیچیده، خودکار و پرسرعت هوش مصنوعی در اختیار دارد؛ حملاتی که در صورت هدف قرار دادن بانک‌ها یا مراکز درمانی، مهار آنها برای انسان‌ها غیرممکن خواهد بود.