بریتانیا هشدار داد: مدل‌های قدرتمند هوش مصنوعی ممکن است حتی پیش از انتشار عمومی نیز خطرات امنیتی ایجاد کنند

سیستم‌های هوش مصنوعی خودمختار ممکن است در جریان توسعه، مدت‌ها پیش از آنکه در دسترس عموم قرار بگیرند، خطراتی برای امنیت سایبری ایجاد کنند. مؤسسه امنیت هوش مصنوعی بریتانیا در این‌باره هشدار داده است. پژوهشگران می‌گویند آزمون‌های ایمنی موجود به‌سختی می‌توانند با سرعت پیشرفت این فناوری همگام شوند.

به گفته مؤسسه امنیت هوش مصنوعی بریتانیا (AISI)، برخی از پیشرفته‌ترین سیستم‌های هوش مصنوعی جهان ممکن است حتی پیش از عرضه عمومی، توانایی ایجاد آسیب در دنیای واقعی را داشته باشند.

این سازمان پژوهشی تحت حمایت دولت بریتانیا می‌گوید مدل‌های هوش مصنوعی که به‌طور فزاینده‌ای قدرتمندتر می‌شوند، به‌ویژه مدل‌هایی که می‌توانند وظایف امنیت سایبری را به‌صورت خودمختار انجام دهند، خطراتی ایجاد می‌کنند که شیوه‌های کنونی آزمایش و نظارت ممکن است برای مدیریت آن‌ها کافی نباشند.

نکات کلیدی

• مؤسسه امنیت هوش مصنوعی بریتانیا هشدار می‌دهد که سیستم‌های پیشرفته هوش مصنوعی حتی در مراحل آموزش و آزمایش‌های داخلی نیز می‌توانند خطرات امنیتی ایجاد کنند.

• ارزیابی‌های ایمنی موجود برای همگام شدن با مدل‌های هوش مصنوعی که روزبه‌روز توانمندتر و خودمختارتر می‌شوند، با مشکل مواجه‌اند.

• پژوهشگران هشدار می‌دهند که برخی مدل‌ها ممکن است تشخیص دهند چه زمانی در حال آزمایش هستند و احتمالا رفتارهای مسئله‌ساز خود را پنهان کنند.

• مؤسسه AISI خواستار نظارت قوی‌تر، ارزیابی‌های مستقل و گزارش‌دهی رخدادها در سراسر فرایند توسعه هوش مصنوعی شده است.

• این هشدار، ضرورت تقویت دفاع سایبری را بیش از پیش برجسته می‌کند، زیرا هوش مصنوعی در شناسایی و بهره‌برداری از آسیب‌پذیری‌ها توانمندتر می‌شود.

هوش مصنوعی برای تهدیدآفرین بودن، نیازی به انتشار عمومی ندارد

مؤسسه AISI در یک ارزیابی فنی جدید، دو چالش عمده را شناسایی کرده است که توسعه‌دهندگان هوش مصنوعی پیشرو (Frontier AI)، یعنی پیشرفته‌ترین سیستم‌های هوش مصنوعی که در حال حاضر توسعه می‌یابند، با آن‌ها روبه‌رو هستند.

نخستین چالش این است که خطرات امنیتی بسیار زودتر از آنچه پیش‌بینی می‌شد، در فرایند توسعه ظاهر می‌شوند.

به‌طور سنتی، آزمون‌های ایمنی هوش مصنوعی بر ارزیابی مدل‌ها پیش از عرضه عمومی متمرکز بوده‌اند. فرض بر این بوده است که قابلیت‌های خطرناک را می‌توان پیش از دسترسی کاربران عادی شناسایی و برطرف کرد.

بااین‌حال، این رویکرد ممکن است دیگر کافی نباشد.

به گفته AISI، برخی سیستم‌های پیشرفته هوش مصنوعی اکنون به اندازه‌ای خودمختار و توانمند شده‌اند که می‌توانند در مراحل آموزش، استقرار داخلی و حتی در جریان فرایند ارزیابی نیز خطراتی ایجاد کنند.

این موضوع به‌ویژه در حوزه امنیت سایبری نگران‌کننده است؛ جایی که سیستم‌های هوش مصنوعی با نظارت انسانی محدود، در شناسایی آسیب‌پذیری‌ها، تحلیل نرم‌افزار و انجام وظایف فنی پیچیده مهارت بیشتری پیدا می‌کنند.

یک عامل هوش مصنوعی (AI Agent) که به‌درستی کنترل نشده و به شبکه‌های داخلی، ابزارهای توسعه یا اطلاعات حساس دسترسی دارد، می‌تواند به‌طور بالقوه خسارت ایجاد کند، بدون آنکه هرگز در دسترس عموم قرار گرفته باشد.

این مؤسسه به رخدادهای اخیر اشاره می‌کند و آن‌ها را شواهدی می‌داند که نشان می‌دهند نظارت و کنترل ناکافی در مراحل توسعه می‌تواند پیامدهایی در دنیای واقعی داشته باشد.

آزمون‌های ایمنی هوش مصنوعی برای همگام شدن با پیشرفت آن با مشکل مواجه‌اند

دومین چالش، دشوارتر شدن ارزیابی توانایی‌های واقعی سیستم‌های پیشرفته هوش مصنوعی است.

AISI می‌گوید بنچمارک‌های سنتی (Benchmarks)، یعنی آزمون‌های استانداردی که برای سنجش قابلیت‌های هوش مصنوعی طراحی شده‌اند، اغلب مدت کوتاهی پس از معرفی، با پیشرفت مدل‌ها پشت سر گذاشته می‌شوند. در همین حال، اجرای ارزیابی‌های واقع‌گرایانه به‌مراتب پیچیده‌تر می‌شود.

پژوهشگران بیش از گذشته نیاز دارند عامل‌های هوش مصنوعی را در شرایطی آزمایش کنند که وظایف چندمرحله‌ای را طی چند روز انجام می‌دهند، با عامل‌های دیگر تعامل دارند و از ابزارهای خارجی استفاده می‌کنند.

موضوع نگران‌کننده‌تر، این احتمال است که برخی مدل‌ها بتوانند تشخیص دهند چه زمانی در حال ارزیابی هستند.

AISI هشدار می‌دهد که افزایش آگاهی مدل‌ها از شرایط آزمون ممکن است به آن‌ها امکان دهد رفتارهایی را پنهان کنند که در غیر این صورت، هنگام استقرار در دنیای واقعی آشکار می‌شدند.

این به معنای آن نیست که همه سیستم‌های پیشرفته هوش مصنوعی عمدا توسعه‌دهندگان خود را فریب می‌دهند. بلکه نشان‌دهنده محدودیتی نوظهور در آزمون‌های متعارف است: مدلی که در جریان ارزیابی رفتار مناسبی نشان می‌دهد، لزوما هنگام فعالیت مستقل نیز به همان شکل رفتار نخواهد کرد.

این مؤسسه همچنین می‌گوید در سیستم‌های چندعاملی (Multi-Agent Systems)، که در آن‌ها چند عامل هوش مصنوعی با یکدیگر همکاری می‌کنند، ممکن است رفتارهای غیرمنتظره‌ای پدیدار شود.

پژوهشگران خواستار تدابیر حفاظتی قوی‌تر در سراسر فرایند توسعه هوش مصنوعی هستند

مؤسسه AISI خواستار رویکردی جامع‌تر به امنیت هوش مصنوعی است؛ رویکردی که فراتر از مراحل پایانی توسعه باشد.

توصیه‌های این مؤسسه شامل نظارت مستمر بر سیستم‌های پیشرفته هوش مصنوعی، بهبود روش‌های تشخیص رفتارهای غیرمنتظره، تدوین رویه‌های شفاف‌تر برای گزارش رخدادها و فراهم کردن دسترسی بیشتر برای پژوهشگران مستقل حوزه ایمنی است.

این مؤسسه همچنین می‌خواهد توسعه‌دهندگان خطرات را در سراسر فرایند توسعه مستندسازی کنند و توانایی خود را برای نظارت بر سیستم‌های خودمختار حفظ کنند.

AISI می‌گوید تاکنون بیش از ۵۵ مدل هوش مصنوعی را پیش از انتشار عمومی به‌طور مستقل ارزیابی کرده و با توسعه‌دهندگان بزرگ برای شناسایی قابلیت‌های بالقوه خطرناک همکاری داشته است.

بااین‌حال، این سازمان اذعان می‌کند که روش‌های ارزیابی موجود هنوز به بلوغ کافی نرسیده‌اند؛ به‌ویژه در زمینه تشخیص اینکه آیا عامل‌های خودمختار هوش مصنوعی به‌طور مداوم از دستورالعمل‌ها پیروی خواهند کرد یا اینکه سازوکارهای حفاظتی می‌توانند رفتارهای خلاف ضوابط را به‌شکلی قابل‌اعتماد شناسایی کنند.

در حال حاضر، AISI الزامات اجباری پیشنهاد نمی‌کند. در عوض، می‌خواهد توسعه‌دهندگان، پژوهشگران و سازمان‌های بین‌المللی استانداردسازی برای تدوین شیوه‌های فنی داوطلبانه همکاری کنند؛ شیوه‌هایی که ممکن است در نهایت به استانداردهای رسمی تبدیل شوند.

این هشدار در حالی مطرح می‌شود که غول‌های فناوری برای حملات سایبری مبتنی بر هوش مصنوعی آماده می‌شوند

یافته‌های این مؤسسه نگرانی‌های فزاینده در صنعت فناوری را درباره پیامدهای امنیت سایبری ناشی از قدرتمندتر شدن هوش مصنوعی تقویت می‌کند.

همان‌طور که بیت‌دیفندر (Bitdefender) پیش‌تر گزارش داده بود، شرکت‌های بزرگ فناوری هم‌زمان با افزایش توانایی سیستم‌های هوش مصنوعی در کمک به مهاجمان، خواستار تقویت دفاع سایبری شده‌اند.

هوش مصنوعی می‌تواند به پژوهشگران امنیت کمک کند آسیب‌پذیری‌ها را کشف کنند، نرم‌افزارهای مخرب را تحلیل کنند و سریع‌تر به تهدیدها پاسخ دهند. اما مجرمان سایبری نیز می‌توانند از بسیاری از همین قابلیت‌ها سوءاستفاده کنند.

نگرانی این است که سیستم‌های خودمختار بتوانند حملات پیچیده را سریع‌تر، ارزان‌تر و در دسترس‌تر کنند و به‌طور بالقوه به عاملان مخرب امکان دهند وظایفی را خودکارسازی کنند که پیش‌تر به تخصص قابل‌توجهی نیاز داشتند.

این موضوع برای کاربران عادی چه معنایی دارد؟

توصیه‌های این مؤسسه عمدتا متوجه توسعه‌دهندگان هوش مصنوعی است، نه مصرف‌کنندگان. بااین‌حال، خطراتی که شناسایی کرده‌اند ممکن است در نهایت بر هر کسی که به خدمات مبتنی بر هوش مصنوعی متکی است، تأثیر بگذارند.

یک دستیار هوش مصنوعی را در نظر بگیرید که می‌تواند به ایمیل شما دسترسی داشته باشد، حساب‌های آنلاین شما را مدیریت کند یا از طرف شما با وب‌سایت‌ها تعامل داشته باشد.

اگر این دستیار رفتار غیرمنتظره‌ای نشان دهد، دستورالعمل‌ها را اشتباه متوجه شود یا تحت تأثیر محتوای مخرب قرار بگیرد، پیامدهای آن ممکن است فراتر از یک پاسخ اشتباه در چت‌بات باشد.

بسته به مجوزهای دسترسی، یک سیستم هوش مصنوعی خودمختار ممکن است اطلاعات خصوصی را افشا کند، بدون مجوز پیام بفرستد یا اقداماتی انجام دهد که کاربر هرگز قصد انجامشان را نداشته است.

برای مصرف‌کنندگان و کسب‌وکارهایی که از ابزارهای مبتنی بر هوش مصنوعی استفاده می‌کنند، رعایت چند اقدام احتیاطی می‌تواند به کاهش مواجهه با این خطرات کمک کند:

• دسترسی به اطلاعات حساس را محدود کنید. از دادن دسترسی غیرضروری به دستیارهای هوش مصنوعی برای مشاهده گذرواژه‌ها، سوابق مالی، اسناد محرمانه یا مکاتبات خصوصی خودداری کنید.

• مجوزهای دسترسی را با دقت بررسی کنید. هنگام اتصال عامل‌های هوش مصنوعی به حساب‌های ایمیل، فضای ذخیره‌سازی ابری، خدمات پرداخت یا سایر برنامه‌ها، احتیاط بیشتری داشته باشید.

• نظارت انسانی را حفظ کنید. ابزارهای هوش مصنوعی را ملزم کنید پیش از ارسال اطلاعات حساس، انجام خرید یا اجرای اقداماتی که پیامدهای مهمی دارند، تأیید کاربر را دریافت کنند.

• از راهکارهای امنیتی شناخته‌شده استفاده کنید. دستگاه‌ها، مرورگرها و برنامه‌ها را به‌روز نگه دارید، از احراز هویت چندعاملی استفاده کنید و نرم‌افزار امنیتی قابل‌اعتمادی داشته باشید.

• خروجی‌های تولیدشده توسط هوش مصنوعی را بالقوه غیرقابل‌اعتماد بدانید. اطلاعات مهم را راستی‌آزمایی کنید و پیش از اجرای اقداماتی که هوش مصنوعی پیشنهاد می‌دهد، آن‌ها را بررسی کنید.

این اقدامات احتیاطی خطرات زیربنایی شناسایی‌شده توسط AISI را از بین نمی‌برند، اما اگر یک سرویس مبتنی بر هوش مصنوعی رفتار غیرمنتظره‌ای نشان دهد یا امنیت آن به خطر بیفتد، می‌توانند به محدود کردن خسارت کمک کنند.

بیت‌دیفندر به‌تازگی AI Guardian را معرفی کرده است؛ یک راهکار امنیتی مستقل که به کاربران کمک می‌کند با امنیت بیشتری از عامل‌های خودمختار هوش مصنوعی استفاده کنند. AI Guardian که هم‌اکنون به‌صورت نسخه بتای عمومی رایگان (Open Beta) برای macOS در دسترس است، هنگام تعامل عامل‌هایی مانند Claude Code یا OpenClaw با فایل‌ها، ابزارها، کد و اطلاعات حساس احراز هویت، یک لایه امنیتی اضافی فراهم می‌کند.

منبع: https://www.bitdefender.com/en-us/blog/hotforsecurity/uk-ai-security-risks-unreleased-models