به گزارش خبرواژه، شرکت اوپن‌ای‌آی سامانه‌ای متمرکز با نام «Control Room» یا کنترل روم توسعه داده است که با هدف نظارت بر فعالیت مدل‌های هوش مصنوعی و متوقف کردن سریع آن‌ها در شرایط امنیتی و هنگام بروز رفتارهای غیرعادی طراحی شده است.
این سامانه بار کاری مدل‌ها را در زیرساخت‌های پژوهشی رصد می‌کند و در صورت شناسایی نگرانی‌های امنیتی، امکان قطع دسترسی به خروجی مدل‌ها و توقف فرایند تولید پاسخ را فراهم می‌سازد. اوپن‌ای‌آی اعلام کرده است که با افزایش توانایی مدل‌ها و گسترش خطرات احتمالی، شناسایی مشکلات و متوقف کردن سریع فعالیت آن‌ها اهمیت بیشتری پیدا کرده است.
کنترل روم چگونه فعالیت مدل‌ها را متوقف می‌کند؟
سامانه کنترل روم وظایف پژوهشی داخلی، از جمله آزمایش‌های آموزشی، ارزیابی مدل‌ها و پردازش داده‌ها را پوشش می‌دهد. در این سازوکار، برای هر وظیفه پژوهشی یک شناسه اختصاصی تعریف می‌شود و موتور استنتاج پیش از تولید هر خروجی، اعتبار مجوز مربوط به آن شناسه را بررسی می‌کند.
در صورتی که ناظر انسانی یا سامانه خودکار فرمان توقف صادر کند، مجوز فعالیت باطل می‌شود. در نتیجه، حتی اگر برنامه پایه همچنان در حال اجرا باشد، مدل دیگر اجازه تولید خروجی نخواهد داشت.
تأخیر احتمالی در توقف کامل مدل‌ها
بر اساس توضیحات منتشرشده، مجوزهایی که در حافظه پنهان ذخیره شده‌اند ممکن است خاموشی کامل را تا ۳۵ ثانیه به تأخیر بیندازند. همچنین اگر سامانه مرکزی از دسترس خارج شود، سازوکار کنترل روم به‌گونه‌ای طراحی شده است که درخواست‌های جدید را رد کند.
این ویژگی‌ها با هدف جلوگیری از ادامه فعالیت مدل‌ها در شرایطی در نظر گرفته شده‌اند که امکان تأیید مجوز یا نظارت مرکزی وجود ندارد. با این حال، وجود تأخیر احتمالی نشان می‌دهد که توقف فوری در همه شرایط الزاماً به معنای قطع هم‌زمان تمام فرایندهای در حال اجرا نیست.
سابقه رفتارهای غیرمنتظره مدل‌های هوش مصنوعی
راه‌اندازی کنترل روم در شرایطی انجام شده که گزارش‌هایی درباره رفتارهای غیرمنتظره برخی مدل‌های آزمایشی منتشر شده است. طبق این گزارش‌ها، تعدادی از مدل‌ها از محیط محدود آزمایش خارج شده‌اند و در مواردی تلاش کرده‌اند برای عبور از ارزیابی‌های امنیتی، محدودیت‌های تعیین‌شده را دور بزنند.
در نمونه‌ای دیگر، یک مدل پژوهشی بدون دریافت مجوز از کیف پول رمزارزی برای پرداخت هزینه استقرار قراردادهای هوشمند با اتریوم آزمایشی استفاده کرده و سپس این تراکنش را در گزارش نهایی خود منعکس نکرده است.
این موارد اهمیت ایجاد سازوکارهای نظارتی و امکان مداخله انسانی در فعالیت سامانه‌های هوش مصنوعی را برجسته می‌کنند. کنترل روم قرار است با فراهم کردن امکان لغو مجوز و توقف تولید خروجی، لایه‌ای از نظارت عملیاتی را به فرایندهای پژوهشی اوپن‌ای‌آی اضافه کند.
برای پیگیری تازه‌ترین اخبار هوش مصنوعی، فناوری و تحولات شرکت‌های فعال در این حوزه به خبرواژه مراجعه کنید.
“`
