گوگل هم مانند مایکروسافت و OpenAI، گزارشی در خصوص نحوه ی سوء استفاده بازیگران تهدید، از هوش مصنوعی منتشر کرده که در این پست با هم بررسیش میکنیم.
خلاصه اجرایی:
بر اساس تحلیلهای اخیر از چشم انداز کلی تهدیدات، گروه اطلاعات تهدید گوگل (GTIG) تغییری رو شناسایی کرده که در یک سال گذشته رخ داده.
مهاجمان دیگه از هوش مصنوعی تنها برای افزایش بهره وری استفاده نمی کنن، بلکه حالا بدافزارهای جدیدی مبتنی بر هوش مصنوعی رو در عملیات واقعی مستقر میکنن. این تحول، نشانگر مرحله عملیاتی جدیدی در سوء استفاده از هوش مصنوعی است که شامل ابزارهایی میشه که در حین اجرا، رفتار خودشون رو بصورت پویا تغییر میدن.
این گزارش بعنوان بروزرسانی تحلیل ژانویه ۲۰۲۵ گوگل با عنوان “سوءاستفاده مخرب از هوش مصنوعی مولد (Generative AI)” منتشر شده و نشان میده که چگونه بازیگران تهدید تحت حمایت دولتها و مجرمان سایبری در سراسر صنعت، از مرحله شناسایی تا استخراج داده، در حال ادغام و تست هوش مصنوعی در کل چرخه ی حمله هستن. یافتههای گوگل بر پایه چشمانداز وسیعتر تهدیدات است.
گوگل، متعهد به توسعه مسئولانهی هوش مصنوعی هستش و بطور فعال برای مختل سازی فعالیتهای مخرب اقدام میکنه، از جمله غیرفعالسازی پروژهها و اکانتهای بازیگران تهدید، در حالیکه مدلهای خودش رو هم بطور مداوم بهبود میده تا در برابر سوء استفاده مقاومتر بشن. همچنین به طور فعال بهترین شیوه های صنعت رو برای مسلح کردن مدافعان و ایجاد محافظتهای قویتر در سراسر اکوسیستم به اشتراک میذاره.
در این گزارش، اقداماتی که برای خنثی کردن فعالیتهای مخرب انجام دادن، از جمله غیرفعال کردن داراییها و بکارگیری اطلاعات برای بهبود مدلها و طبقه بندیها، ذکر شده تا از سوء استفاده های آینده جلوگیری بشه. جزئیات بیشتر دربارهی چگونگی حفاظت از مدل Gemini در مقاله ی اختصاصی “پیشرفت در تدابیر امنیتی Gemini” اومده.
یافته های کلیدی:
- اولین استفاده از هوش مصنوعی در بدافزارها در زمان اجرا: برای نخستین بار، GTIG خانواده هایی از بدافزارها مانند PROMPTFLUX و PROMPTSTEAL رو شناسایی کرده که از مدلهای زبانی بزرگ (LLM) در حین اجرا استفاده میکنن. این ابزارها میتونن بصورت پویا اسکریپتهای مخرب تولید کنن، کد خودشون رو مبهم سازی کنن تا از شناسایی فرار کنن و توابع مخرب رو بجای اینکه در کدهای بدافزار قرار بدن، با درخواست و با کمک مدلهای هوش مصنوعی بسازن. اگرچه این روش هنوز در مراحل اولیه است، اما گامی مهم بسوی بدافزارهای خودمختارتر و تطبیق پذیرتر محسوب میشه.
- مهندسی اجتماعی برای دور زدن محافظتهای هوش مصنوعی: مهاجمان در پرامپتهای خودشون از روشهای مشابه مهندسی اجتماعی استفاده میکنن تا موانع ایمنی هوش مصنوعی رو دور بزنن. گوگل مشاهده کرده که بازیگران تهدید با وانمود کردن خودشون بعنوان شرکت کننده در مسابقات CTF یا محقق امنیت سایبری، مدل Gemini رو فریب دادن تا اطلاعاتی ارائه بده که معمولا مسدود میشه و از اون برای توسعه ابزارهای مخرب استفاده میکنن.
- رشد بازار زیرزمینی برای ابزارهای هوش مصنوعی: در سال ۲۰۲۵، بازار زیرزمینی فروش ابزارهای غیرقانونی مبتنی بر هوش مصنوعی به سطح بالاتری از رشد رسیده. GTIG چندین مورد از ابزارهای چندمنظوره رو شناسایی کرده که برای پشتیبانی از حملات فیشینگ، توسعه بدافزار، و تحقیقات آسیبپذیریها طراحی شدن و ورود مهاجمان کم تجربه تر به عرصهی جرایم سایبری رو آسانتر می کنن.
- تقویت مداوم چرخه کامل حمله با هوش مصنوعی: بازیگران تهدید تحت حمایت دولتها از جمله کره شمالی، ایران و جمهوری خلق چین (PRC)، همچنان در حال سوء استفاده از مدل Gemini هستن، تا تمام مراحل عملیات خودشون رو ارتقا بدن. از جمله: شناسایی (Reconnaissance)، ایجاد طعمه های فیشینگ، توسعه زیرساخت C2، استخراج و انتقال دادهها (Exfiltration)
توسعه قابلیتهای جدید هوش مصنوعی توسط بازیگران تهدید:
برای نخستین بار در سال ۲۰۲۵، GTIG یک خانواده از کدها رو کشف کرده که از قابلیتهای هوش مصنوعی در حین اجرای بدافزار استفاده میکنن تا رفتار بدافزار رو بصورت پویا تغییر بدن.
هرچند برخی از پیاده سازیهای اخیر هنوز در مرحلهی آزمایشی هستن، اما این یافته ها شاخص اولیهای از مسیر تکامل تهدیدات محسوب میشن و نشان میدن که چطوری میشه قابلیتهای هوش مصنوعی رو در حملات آینده ادغام کرد.
مهاجمان در حال عبور از مرحلهی صرفا Vibe Coding و استفاده های فنی سادهای هستن که در سال ۲۰۲۴ مشاهده می شد. حالا شاهد شروع چنین فعالیتهایی هستیم، اما انتظار میره که در آینده بطور چشمگیری افزایش پیدا کنن.
| بدافزار | عملکرد | توضیحات | وضعیت |
| FRUITSHELL | Reverse Shell | یک Reverse Shell که بصورت عمومی در دسترسه و با پاورشل نوشته شده. با یک سرور C2 ارتباط برقرار میکنه و به بازیگر تهدید اجازه میده تا دستورات دلخواه رو روی سیستم آلوده اجرا کنه. قابل توجه است که این خانوادهی کد شامل پرامپت های هاردکد شده هستش که هدفشون دورزدن شناسایی یا تحلیل توسط سیستمهای امنیتی مبتنی بر مدلهای زبانی بزرگ هستش. | در عملیات مشاهده شده |
| PROMPTFLUX | Dropper | نوشته شده با VBScript که یک نصب کنندهی جعلی که داخلش هستش رو دیکد و اجرا میکنه تا فعالیت واقعی خودش رو مخفی کنه. قابلیت اصلیش بازتولید است که با استفاده از Google Gemini API محقق میشه. این بدافزار از مدل زبانی میخواد که سورس کد خودش رو بازنویسی کنه و نسخهی جدید و مبهم شده رو برای پرسیست در فولدر Startup ذخیره کنه. همچنین تلاش میکنه با کپی کردن خودش روی درایوهای قابلحمل و اشتراکهای شبکهای توزیع کنه. | تست |
| PROMPTLOCK | باج افزار | باجافزاری چندسکویی نوشته شده با Go که بعنوان یک PoC شناخته شده. این بدافزار از یک مدل زبانی بزرگ برای تولید پویا و اجرای اسکریپتهای مخرب Lua در زمان اجرا استفاده میکنه. قابلیتهاش شامل شناسایی فایل سیستم، استخراج داده، و رمزگذاری فایلها روی سیستمهای ویندوزی و لینوکسی هستش. | تست |
| PROMPTSTEAL | Data Miner | نوشته شده با پایتون و با PyInstaller پک شده. این نمونه شامل یک اسکریپت کامپایل شده است که از Hugging Face API برای تعامل با مدل LLM بنام Qwen2.5-Coder-32B-Instruct استفاده میکنه تا دستورات تک خطی ویندوزی تولید کنه. پرامپتهای استفاده شده برای تولید این دستورات نشان میده که هدفش جمعآوری اطلاعات سیستم و اسناد در فولدرهای مشخص است. بعدش دستورات رو اجرا کرده و دادههای گردآوری شده رو به سروری که تحت کنترل مهاجم است، ارسال میکنه. | در عملیات مشاهده شده |
| QUIETVAULT | سارق اعتبارنامه | نوشته شده با جاوااسکریپت که توکنهای GitHub و NPM رو هدف قرار میده. اعتبارنامه های بدست اومده از طریق ایجاد یک مخزن عمومی در GitHub استخراج میشن. علاوه بر این توکنها، از یک پرامپت هوش مصنوعی و ابزارهای خط فرمان AI نصب شده روی میزبان، برای جستجوی سایر اطلاعات حساس در سیستم آلوده استفاده میکنه و این فایلها رو هم بصورت مشابه به GitHub ارسال/استخراج میکنه. | در عملیات مشاهده شده |
بدافزار تستی با استفاده از Gemini برای تغییر خود و فرار از شناسایی
در اوایل ژوئن ۲۰۲۵، گروه اطلاعات تهدید گوگل (GTIG) نوعی بدافزار تستی از نوع Dropper با نام PROMPTFLUX رو شناسایی کرده که نشان میده مهاجمان در حال تست استفاده از مدلهای زبانی بزرگ برای توسعهی تکنیکهای مبهم سازی پویا هستن. بدافزار PROMPTFLUX با زبان VBScript نوشته شده و با API مدل Gemini تعامل داره تا از اون درخواست تکنیکهای خاص مبهم سازی و فرار از شناسایی کنه. این کار با هدف اجرای تغییرات در زمان اجرا در کد انجام میشه تا از شناسایی مبتنی بر امضاهای استاتیک فرار کنه.
بررسی دقیقتر نمونه های PROMPTFLUX نشان میده که این خانوادهی کد، هنوز در مرحلهی توسعه یا تست قرار دارن، چون برخی از قابلیتها بصورت کامنت غیرفعال شدن و مکانیزمی برای محدود کردن تعداد درخواستهای API به Gemini وجود داره. در وضعیت فعلی، این بدافزار توانایی آلودهسازی یا نفوذ به شبکه و دستگاه قربانی رو نداره. گوگل اعلام کرده که داراییها و اکانتهای مرتبط با این فعالیت رو غیرفعال کرده.
نوآورانه ترین بخش این بدافزار، ماژولی بنام “Thinking Robot” است. این بخش طوری طراحی شده که بصورت دورهای با مدل Gemini ارتباط برقرار میکنه تا کد جدیدی برای فرار از آنتی ویروسها بدست بیاره. این کار از طریق یک کلید API هاردکد شده انجام میشه که برای ارسال درخواست POST به آدرس API جمینای بکار میره. بازیگر تهدید در درخواست خودش، استفاده از مدل “gemini-1.5-flash-latest” رو مشخص کرده. برچسب “latest” تضمین میکنه که بدافزار همیشه از آخرین نسخه پایدار مدل استفاده کنه و بدین ترتیب در برابر منسوخ شدن نسخهها مقاوم بمونه.
پرامپتی که برای مدل ارسال میشه بسیار دقیق و قابلخوندن توسط ماشین هستش. در این درخواست از مدل خواسته میشه کد VBScript خاصی برای فرار از آنتی ویروس تولید کنه و صرفا خروجی کد رو برگردونه، بدون هیچ متن اضافی.
اگرچه تابع خود تغییر با نام AttemptToUpdateSelf کامنت شده و غیرفعاله، وجود اون بهمراه لاگ پاسخهای مدل هوش مصنوعی در فایل %TEMP%\thinking_robot_log.txt به وضوح نشان میده که نویسندهی بدافزار قصد داشته اسکریپتی که خودش رو تغییر میده (metamorphic)، ایجاد کنه که با گذر زمان تکامل پیدا میکنه.
GTIG چندین نسخهی مختلف از PROMPTFLUX رو شناسایی کرده که همگی از باز تولید کد توسط LLM استفاده میکنن. در یکی از این نسخهها، تابع “Thinking Robot” با تابع جدیدی بنام “Thinging” جایگزین شده. این تابع به مدل Gemini پرامپتی ارسال میکنه که از اون میخواد کل سورس کد بدافزار رو هر ساعت بازنویسی کنه تا از شناسایی در امان بمونه. در این پرامپت از مدل خواسته میشه که نقش یک مبهم ساز حرفهای VBScript رو ایفا کنه و نسخهی جدید رو طوری تولید کنه که همچنان شامل اجزای اصلی زیر باشن:
- پیلود فریب دهنده ی اصلی
- کلید API هاردکد شده
- منطق کامل بازتولید خودکار
به این ترتیب، بدافزار وارد یک چرخهی بازگشتی از جهش میشه که مدام نسخهی جدیدی از خودش میسازه.
اگرچه هنوز این بدافزار به گروه خاصی نسبت داده نشده، اما نام فایلهای مرتبط با PROMPTFLUX رفتارهایی رو نشان میده که معمولا در مهاجمان دارای انگیزه مالی مشاهده میشه. بویژه نامهایی مانند crypted_ScreenRec_webinstall نشان میده که مهاجمان از طعمه های مهندسی اجتماعی متنوع و غیر وابسته به جغرافیا یا صنعت خاصی استفاده میکنن تا طیف وسیعی از قربانیان رو فریب بدن.
به احتمال زیاد، PROMPTFLUX هنوز در مرحلهی تحقیق و توسعه (R&D) است، اما همین نمونه نشانگر یکی از اولین و مهمترین نشانههای استفاده از هوش مصنوعی در مبهم سازی و تکامل خودکار بدافزارهاست، قابلیتی که در آینده میتونه کمپین های مخرب مبتنی بر AI رو بسیار پیچیدهتر کنه.
بر اساس اطلاعات GTIG، این فعالیت هنوز در مرحلهی تست است و در فضای واقعی استفاده نشده و در حال حاضر توانایی آلوده سازی شبکه یا دستگاه قربانی رو نداره. گوگل علیه این بازیگر تهدید اقدام کرده و داراییها و زیرساختهای مرتبط رو غیرفعال کرده. علاوه بر این، تیم Google DeepMind از یافته های این تحقیق برای تقویت سیستمهای حفاظتی و طبقه بندهای هوش مصنوعی گوگل استفاده کرده تا مدلهای زبانی آینده در برابر چنین سوء استفاده هایی مقاومتر بشن. به این ترتیب، مدلهای گوگل حالا میتونن در آینده از ارائهی کمک به حملات مشابه خودداری کنن.
دستورات تولید شده توسط LLM برای سرقت اسناد و اطلاعات سیستم:
در ماه ژوئن، GTIG شناسایی کرد که بازیگر مورد حمایت دولت روسیه، APT28 (که با نام FROZENLAKE هم شناخته میشه)، از بدافزاری جدید علیه اوکراین استفاده میکنه که گوگل اون رو PROMPTSTEAL و CERT-UA اون رو با نام LAMEHUG گزارش کرده. PROMPTSTEAL یک داده کاو (data miner) است که با یک مدل زبان بزرگ، مشخصا Qwen2.5-Coder-32B-Instruct، تعامل میکنه تا دستوراتی تولید کنه که از طریق API پلتفرم Hugging Face (پلتفرمی برای یادگیری ماشین متن باز و میزبان مدلهای LLM) اجرا بشن.
استفاده APT28 از PROMPTSTEAL، نخستین مشاهده گوگل از بدافزاری هستش که در عملیات واقعی مستقیما با یک LLM تعامل میکنه. نوآوری PROMPTSTEAL در این است که بجای قرار دادن دستورات بصورت هاردکد شده داخل بدافزار، از LLM برای تولید دستوراتی که بدافزار باید اجرا کنه، استفاده میکنه. این بدافزار خودش رو بصورت برنامهای برای تولید تصویر جا میزد و کاربر رو از طریق چند پرامپت راهنمایی میکنه تا تصویر بسازه، در حالیکه در پس زمینه با Hugging Face API، برای تولید دستوراتی که باید اجرا بشه تعامل داره.
به احتمال زیاد PROMPTSTEAL از توکنهای API به سرقت رفته برای تعامل با Hugging Face API استفاده میکنه. پرامپت بطور مشخص از LLM میخواد دستوراتی رو تولید کنه که اطلاعات سیستم رو جمعآوری کنن و همچنین اسناد رو به دایرکتوری مشخصی کپی کنن. خروجی این دستورات بعدا بدون بازبینی توسط PROMPTSTEAL بصورت محلی اجرا میشن و بعدش خروجیها استخراج میشن.
تحلیل گوگل نشان میده که توسعه این بدافزار ادامه داره و نمونه های جدید، مبهم سازی رو اضافه کردن و روش C2 رو تغییر دادن.
مهندسی اجتماعی برای دور زدن سیستمهای ایمنی:
با پیروی از اصول هوش مصنوعی گوگل (AI Principles)، این شرکت سامانه های هوش مصنوعی خودش رو با تدابیر امنیتی قوی و محافظهای ایمنی پیشرفته طراحی میکنه. با این حال، مهاجمان سایبری شروع به استفاده از تکنیکهای مشابه مهندسی اجتماعی در پرامپتهای خودشون کردن تا این محافظهای ایمنی رو دور بزنن. گوگل مشاهده کرده که برخی از مهاجمان، خودشون رو بعنوان شرکت کنندگان در مسابقات CTF معرفی میکنن تا مدل هوش مصنوعی Gemini رو متقاعد کنن اطلاعاتی رو در اختیارشان بذاره که در حالت عادی مسدود میشه. این اطلاعات بعدا برای اکسپلویت آسیبپذیریها و توسعه ابزارهای نفوذ مورد استفاده قرار گرفتن. گوگل علاوه بر متوقف کردن فعالیت این افراد، از این تجربیات برای بهبود سامانه های تشخیص و تقویت امنیت محصولات خودش استفاده کرده.
جعل هویت شرکت کننده های CTF برای انجام تحقیقات منجر به اکسپلویت گسترده:
یک بازیگر تهدید وابسته به چین از Gemini برای تولید محتوای فریبنده، ساخت زیرساخت فنی و توسعه ابزارهایی برای استخراج دادهها، سوء استفاده کرده تا کمپین های خودش رو مؤثرتر کنه. در یکی از تعاملات، این بازیگر تهدید از Gemini خواسته آسیبپذیریهای سیستم آلوده رو شناسایی کنه، اما مدل پاسخ ایمنی داده که ارائه جزئیات بیشتر ناامن است. بعدش، مهاجم درخواست خودش رو بازنویسی و وانمود کرده که در حال شرکت در یک مسابقه CTF است. در نتیجه، Gemini اطلاعات مفیدی ارائه داده که میتونسته برای اکسپلویت سیستم استفاده بشه.
پس از این تجربه، مهاجم از این روش برای اهدافی مانند فیشینگ، اکسپلویت آسیبپذیریها و توسعه وب شل استفاده کرده. بسیاری از درخواستهاش با عباراتی مانند “در حال کار روی یک مسئله CTF هستم” یا “در یک مسابقه CTF هستم و شنیدم یکی از تیمها گفت…” شروع میشدن تا Gemini رو متقاعد کنه پاسخهای فنیتری ارائه بده.
محافظهای امنیتی Gemini پاسخهای ایمنی ارائه دادن و گوگل اقدامات بیشتری علیه بازیگر تهدید انجام داده تا فعالیتهای آینده اون رو متوقف کنه. همچنین توجه به ماهیت این درخواستها مهمه، که اگه بطور معمول توسط یک شرکت کننده CTF مطرح بشه، سوالات بیخطر هستن. این تفاوت ظریف در استفاده از هوش مصنوعی، تفاوتهای اساسی در بیخطر بودن در مقابل سوء استفاده از هوش مصنوعی رو برجسته میکنه. همین شباهتها باعث میشه گوگل مرز میان استفاده مشروع و سوء استفاده از هوش مصنوعی رو به دقت تحلیل کنه.
گوگل داراییهای مرتبط با این مهاجم رو غیرفعال کرده و یافته هاش رو با تیم Google DeepMind به اشتراک گذاشته تا سیستمهای حفاظتی رو قوی تر کنن. از آن زمان، هم مدل Gemini و هم طبقه بندی کننده هاش، ارتقا یافتن تا از پاسخ به درخواستهای مشابه جلوگیری کنن.
شکل زیر نحوه ی سوء استفاده این بازیگر تهدید چینی از Gemini، در سراسر چرخه حیات حمله رو نشان میده.
خطای دانشجویی: توسعه ابزارهای سفارشی و افشای زیرساخت مهاجم
گروه تهدید دولتی TEMP.Zagros (وابسته به ایران، با نامهای دیگه ی MUDDYCOAST و MuddyWater) از Gemini برای تحقیقات مرتبط با توسعه بدافزار سفارشی استفاده کرده، که نشانگر تحول در تواناییهای این گروه است. این گروه همچنان به ارسال ایمیلهای فیشینگ متکی است. اغلب از اکانتهای ایمیل سازمانی قربانیان برای افزایش اعتبار حمله استفاده میکنه اما از ابزارهای عمومی به سمت بدافزارهای اختصاصی مانند وب شلها و سرور C2 مبتنی بر پایتون حرکت کرده. در حین تحقیق برای توسعه این ابزارها، Gemini پاسخهای ایمنی صادر کرده.
مشابه مثال CTF، این گروه هم برای دور زدن محافظهای امنیتی از بهانه های مختلفی مانند “دانشجو بودن”، “نوشتن مقاله علمی”، یا “کار روی پروژه پایان نامه ی دانشگاه” استفاده کرده.
در برخی موارد، اتکای بیش از حد مهاجمان به مدلهای زبانی بزرگ منجر به نشت اطلاعات حیاتی زیرساختی شده که به گوگل امکان داده فعالیتهای اونارو مختل کنه. بعنوان مثال، یکی از مهاجمان از Gemini خواسته به رفع اشکال اسکریپتی کمک کنه که برای دریافت درخواستهای رمزگذاری شده و اجرای دستورات از راه دور طراحی شده بود. این درخواست بطور ناخواسته اطلاعات حساسی مانند دامنه سرور C2 و کلید رمزنگاری اسکریپت رو فاش کرده، که به گوگل اجازه داده تا کمپین مهاجم رو مختل کنه و دید مستقیمی نسبت به زیرساخت و قابلیتهای در حال رشد اونا بدست بیاره.
این فعالیتها موجب فعال شدن پاسخهای ایمن Gemini شده و گوگل با استفاده از خطاهای عملیاتی مهاجم، کمپین رو در سطح گسترده تر متوقف کرده. داراییهای مرتبط با این فعالیت غیرفعال شدن و سامانه برای جلوگیری از تکرار چنین سوء استفاده هایی بروزرسانی شده. تیم Google DeepMind هم از این دادهها برای بهبود مدل و طبقه بندی ها استفاده کرده تا از همکاری مدل با حملات مشابه در آینده جلوگیری کنه.
ابزارها و سرویس های ویژه برای فروش در انجمنهای زیرزمینی:
علاوه بر سوء استفاده از ابزارها و سرویس های هوش مصنوعی موجود در صنعت، علاقه و بازار رو به رشدی برای ابزارها و سرویس هایی وجود داره که بصورت اختصاصی برای فعالیتهای غیرقانونی طراحی شدن. ابزارها و سرویس هایی که از طریق انجمنهای زیرزمینی ارائه میشن، به مهاجمان با سطح مهارت پایین این امکان رو میدن که تعداد، دامنه، کارایی و پیچیدگی حملات خودشون رو افزایش بدن، حتی با وجود دانش فنی محدود و منابع مالی اندک.
برای شناسایی تهدیدات در حال رشد، تیم GTIG پستها و تبلیغات موجود در انجمنهای زیرزمینی انگلیسی زبان و روسی زبان رو که مربوط به ابزارها و سرویس های هوش مصنوعی هستن رو رصد میکنه و همچنین گفتگوهای مرتبط با فناوری رو آنالیز میکنه. بسیاری از تبلیغات موجود در این انجمنها، از لحاظ زبان و لحن، شبیه تبلیغات رسمی مدلهای هوش مصنوعی قانونی هستن، با عباراتی مانند “بهبود بهرهوری در گردش کار” و “کاهش تلاش انسانی” در کنار ارائهی راهنمای خرید برای مشتریان بالقوه.
| قابلیت تبلیغ شده | کاربرد برای بازیگر تهدید |
| تولید دیپفیک / تولید تصویر | ساخت محتوای جعلی و فریبنده برای عملیات فیشینگ یا دور زدن احراز هویت KYC |
| تولید بدافزار | ایجاد بدافزارهای ویژه برای اهداف خاص یا ارتقاء بدافزارهای موجود |
| کیت های فیشینگ و پشتیبانی از فیشینگ | تولید محتوای جذاب برای فیشینگ یا ارسال ایمیلهای فیشینگ در مقیاس وسیع |
| تحقیق و شناسایی | تحقیق سریع و خلاصه سازی مفاهیم امنیت سایبری یا موضوعات عمومی |
| پشتیبانی فنی و تولید کد | گسترش مهارتها یا تولید خودکار کد برای بهینه سازی بهره وری |
| اکسپلویت آسیب پذیری | ارائه تحقیقات عمومی یا جستجو برای آسیب پذیریهای موجود |
در سال ۲۰۲۵، بازار ابزارهای سایبری مبتنی بر هوش مصنوعی به مرحله بلوغ رسید و GTIG چندین مورد از ابزارهای چند منظوره رو شناسایی کرده که برای پشتیبانی از مراحل مختلف چرخه عمر حمله (Attack Lifecycle) طراحی شدن. نکته قابل توجه این است که تقریبا تمامی ابزارهای برجسته تبلیغ شده در انجمنهای زیرزمینی، قابلیت پشتیبانی از کمپین های فیشینگ رو ذکر کردن. این تبلیغات نشان میده که بسیاری از ابزارها و سرویس های هوش مصنوعی غیرقانونی، قابلیتهای فنی مشابهی با ابزارهای متداول هک و نفوذ دارن. مدلهای قیمت گذاری این خدمات هم مشابه ابزارهای عادی هستن، بطوریکه بسیاری از توسعه دهندگان نسخه رایگان همراه با تبلیغات ارائه میدن و در ازای پرداخت اشتراکهای ماهیانه یا سالانه، امکانات بیشتری مانند تولید تصویر، دسترسی API و عضویت در سرور Discord رو عرضه میکنن.
شکل زیر قابلیتهای قابل توجه ابزارها و سرویسهای مبتنی بر هوش مصنوعی که در انجمنهای زیرزمینی انگلیسی و روسی زبان تبلیغ میشن رو نشان میده.
GTIG بر این باوره که بازیگران تهدید مالی محور و سایر اعضای فعال در جوامع زیرزمینی، همچنان به افزایش قدرت عملیاتی خودشون از طریق ابزارهای هوش مصنوعی ادامه میدن. با توجه به دسترسی روزافزون به این ابزارها و افزایش گفتگوها پیرامون هوش مصنوعی در انجمنهای زیرزمینی، پیش بینی میشه که استفاده از هوش مصنوعی در فعالیتهای مخرب به امری رایج در میان مهاجمان سایبری تبدیل بشه.
گسترش استفاده از هوش مصنوعی در تمام مراحل چرخه حمله:
بازیگران تهدید دولتی از کره شمالی، ایران و جمهوری خلق چین (PRC) همچنان از ابزارهای هوش مصنوعی مولد مانند Gemini برای تقویت تمام مراحل عملیات خودشون استفاده میکنن، از شناسایی اهداف و ساخت محتوای فریبنده فیشینگ گرفته تا توسعه زیرساخت C2 و استخراج دادهها. این موضوع ادامهی یکی از یافته های اصلی تحلیل گوگل در ژانویه ۲۰۲۵ تحت عنوان “سوءاستفاده ی مخرب از هوش مصنوعی مولد” است.
گسترش دانش درباره سطوح حمله غیرمرسوم:
تیم GTIG فعالیت یک مهاجم وابسته به چین رو شناسایی کرده که از Gemini برای چندین مرحله از یک کمپین نفوذ استفاده کرده بود، از جمله: شناسایی اولیه اهداف، تحقیق درباره تکنیکهای فیشینگ برای تحویل بدافزار، درخواست راهنمایی برای حرکت جانبی، جستجوی پشتیبانی فنی برای زیرساخت C2 پس از نفوذ (Post Exploit) و استفاده از Gemini برای استخراج دادهها.
این مهاجم علاوه بر سیستمهای Windows، از Gemini برای پشتیبانی از مراحل مختلف نفوذ در سطوحی استفاده کرده که آشنایی چندانی با اونا نداشته، از جمله زیرساخت ابری (Cloud)، vSphere و Kubernetes. در یکی از موارد، مهاجم به توکنهای AWS برای EC2 دسترسی داشته و از Gemini برای یادگیری نحوه استفاده از توکنهای موقت جلسه استفاده کرده تا احتمالا دسترسی عمیق تر یا سرقت داده از محیط قربانی رو تسهیل کنه. در یک مورد دیگه، از Gemini برای شناسایی سیستمهای Kubernetes و تولید دستورات جهت شمارش کانتینرها و پادها (Pods) کمک گرفته. همچنین شواهدی از تحقیقات این مهاجم درباره دریافت مجوزهای سطح میزبان در macOS مشاهده شده که نشان میده، روی تکنیکهای فیشینگ برای سیستم مک تمرکز داره.
این فعالیتها مشابه یافته های ژانویه هستن که نشان میداد مهاجمان از Gemini برای افزایش بهرهوری استفاده میکنن نه خلق قابلیتهای کاملا جدید. گوگل داراییهای مرتبط با این مهاجم رو غیرفعال کرده و تیم Google DeepMind هم با استفاده از این دادهها، سیستمهای حفاظتی و مدل Gemini رو تقویت کرده تا از همکاری اون با چنین حملاتی در آینده جلوگیری بشه.
شکل زیر سوء استفاده این بازیگر تهدید مظنون به ارتباط با چین از Gemini، در طول چرخه عمر حمله رو نشان میده.
سوءاستفاده بازیگران کره شمالی از Gemini در چرخه کامل حمله:
بازیگران تهدید وابسته به جمهوری دموکراتیک خلق کره (DPRK) همچنان از ابزارهای هوش مصنوعی مولد برای پشتیبانی از عملیات در تمام مراحل چرخه حمله استفاده میکنن. این اقدامات در راستای تلاشهای اونا برای سرقت ارز دیجیتال و تأمین مالی حکومت کره شمالی است.
در عملیات اخیر، گروه UNC1069 (با نام دیگر MASAN) از Gemini برای تحقیق درباره مفاهیم رمزارز و همچنین شناسایی مکان داده های برنامه کیف پول کاربران رمزارز استفاده کرده. این گروه که بدلیل کمپین های سرقت رمزارز از طریق مهندسی اجتماعی شناخته میشن، معمولا از موضوعاتی مانند نگهداری سیستم یا جمعآوری اطلاعات لاگین کاربران برای فریب استفاده میکنن.
علاوه بر این، مهاجم با کمک Gemini محتوای فریبنده و پیامهایی مرتبط با رمزارز تولید کرده تا در کمپینهای فیشینگ و مهندسی اجتماعی مورد استفاده قرار بگیره. از جمله، Gemini برای اونا متن هایی به زبان اسپانیایی در قالب بهانه های کاری یا درخواست تغییر زمان جلسه تولید کرده تا بتونن موانع زبانی رو دور زده و دامنه اهداف خودشون رو گسترش بدن.
در مراحل بعدی این کمپین ، گروه UNC1069 سعی کرده از Gemini برای نوشتن کدهای سرقت رمزارز و همچنین ساخت دستورالعملهای جعلی، با ظاهر بروزرسانی نرمافزار، برای سرقت اعتبارنامه ی کاربران استفاده کنه. گوگل اکانت مرتبط با این فعالیت رو غیرفعال کرده.
این فعالیتها مشابه یافته های قبلی گوگل در ژانویه هستن. گوگل با غیرفعال کردن داراییهای مرتبط با این گروه و همکاری با DeepMind برای تقویت مدل و سیستمهای ایمنی Gemini، اقداماتی برای جلوگیری از تکرار چنین سوءاستفاده هایی انجام داده.
استفاده از دیپفیک:
علاوه بر سوء استفاده گروه UNC1069 از Gemini، تیم GTIG اخیرا مشاهده کرده که این گروه از تصاویر و ویدیوهای دیپفیک برای جعل هویت افراد فعال در صنعت رمزارز استفاده کرده. این کار بعنوان بخشی از کمپین های مهندسی اجتماعی انجام شده تا در نهایت بکدوری با نام BIGMACHO رو به سیستم قربانیان منتقل کنن. در این کمپین، قربانیان تشویق میشدن تا نسخه جعلی “Zoom SDK” رو دانلود و نصب کنن.
شکل زیر نحوه ی سوء استفاده بازیگر تهدید کره شمالی از Gemini برای پشتیبانی از عملیات خودشون رو نشان میده.
تلاش برای توسعه قابلیتهای جدید با کمک هوش مصنوعی:
گروه UNC4899 (با نام دیگر PUKCHONG) از کره شمالی، که بخاطر حملات زنجیره تأمین (Supply Chain Compromise) شناخته میشن، از Gemini برای اهداف مختلفی استفاده کرده از جمله: توسعه کد، تحقیق درباره اکسپلویتها و بهبود ابزارهای نفوذ خودشون.
تحقیقات این گروه درباره آسیبپذیریها و توسعه اکسپلویت نشان میده که احتمالا در حال توسعه تواناییهایی برای هدف قرار دادن دستگاههای Edge و مرورگرهای مدرن هستن. گوگل اکانتهای مرتبط با این گروه رو هم غیرفعال کرده.
شکل زیر نحوه ی سوء استفاده ی هکرهای کره شمالی از Gemini، در چرخه ی حملاتشون رو نشان میده.
بدست آوردن داده: تلاش برای توسعهی یک عامل پردازش داده:
استفادهی گروه APT42 (یک گروه تحت حمایت دولت ایران) از Gemini نشان دهندهی تمرکز این گروه بر ساخت کمپینهای فیشینگ موفق است. در فعالیتهای اخیر، APT42 از قابلیتهای تولید و ویرایش متن در Gemini، برای ساخت محتوای مرتبط با کمپینهای فیشینگ استفاده کرده. این گروه اغلب با جعل هویت افراد متعلق به سازمانهای معتبر (مانند اندیشکده های معروف) اقدام میکنه و از طعمه هایی مانند موضوعات مربوط به فناوریهای امنیتی، دعوتنامه برای رویدادها، یا مباحث ژئوپلیتیکی استفاده میکنه.
این گروه همچنین از Gemini به عنوان یک ابزار ترجمه برای مقالات و پیامهایی با واژگان تخصصی، برای انجام تحقیقات عمومی، و برای ادامهی تحقیقات خودش پیرامون دفاع اسرائیل استفاده کرده.
همچنین، APT42 سعی کرده با سوء استفاده از Gemini، یک عامل پردازش داده (Data Processing Agent) توسعه بده و تستش کنه. این عامل، درخواستهای زبان طبیعی (Natural Language) رو به کوئری های SQL تبدیل میکرد تا از دادههای شخصی حساس، اطلاعاتی استخراج کنه. عامل تهدید برای انجام کوئری های پیچیده، مانند ارتباط دادن یک شماره تلفن به صاحبش، ردیابی الگوهای سفر افراد، یا ایجاد لیستی از اشخاص بر اساس ویژگیهای مشترک، طرحهای دادهای (schema) متعددی رو به Gemini ارائه داده بود. گوگل اکانتهای این بازیگر تهدید رو غیرفعال کرده.
این فعالیتها مشابه یافته های ژانویهی گذشته هستن که نشان میده مهاجمان از Gemini بیشتر برای بهرهوری استفاده میکنن تا قابلیتهای جدید و نوآورانه. گوگل داراییهای مرتبط با این فعالیتها رو غیرفعال کرده و تیم Google DeepMind هم با استفاده از این یافته ها، محافظتهای خودش رو در برابر چنین سوءاستفاده هایی تقویت کرده. مشاهدات بدست اومده، هم برای بهبود طبقه بندی ها و هم خود مدل استفاده شده تا از این پس، مدل بتونه از کمک به چنین حملاتی خودداری کنه.
شکل زیر نحوه ی سوء استفاده APT42 از Gemini برای پشتیبانی از عملیاتش رو نشون میده.
توسعهی کد: توسعهی C2 و پشتیبانی از مبهم سازی:
مهاجمان سایبری همچنان در حال سازگار کردن ابزارهای هوش مصنوعی مولد برای ارتقاء فعالیتهای خودشون هستن و تلاش دارن تاکتیکها، تکنیکها و رویههای خودشون (TTPs) رو با سرعت و حجم بالاتری گسترش بدن. برای بازیگران ماهر، ابزارهای هوش مصنوعی مولد چارچوبی مفید فراهم میکنن، مشابه استفاده از Metasploit یا Cobalt Strike در فعالیتهای تهدید سایبری. این ابزارها همچنین به مهاجمان سطح پایینتر این امکان رو میدن که ابزارهای پیشرفته بسازن، تکنیکهای موجود رو به سرعت ادغام کنن، و بدون نیاز به مهارت بالا یا تسلط زبانی، اثربخشی کمپینهای خودشون رو بهبود بدن.
در طول آگوست ۲۰۲۵، تیم GTIG فعالیتهایی رو مرتبط با گروه APT41 (تحت حمایت جمهوری خلق چین) مشاهده کرده که از Gemini برای کمک در توسعهی کد استفاده کردن. این گروه قبلا نشان داده بود که سیستم عاملهای مختلف رو در دستگاههای موبایل و دسکتاپ هدف میگیره و از مهندسی اجتماعی برای نفوذ استفاده میکنه.
بطور خاص، این گروه از انجمنهای عمومی آنلاین برای جذب قربانیان به زیرساختهای میزبان اکسپلویت و ترغیب اونا به نصب برنامه های موبایل مخرب استفاده کردن. برای پشتیبانی از کمپینهای خودشون، این بازیگر تهدید بدنبال دریافت پشتیبانی فنی برای کدهای ++C و Golang بود تا چند ابزار، از جمله یک چارچوب C2 بنام OSSTUN رو توسعه بدن. همچنین مشاهده شده که این گروه از Gemini برای کمک در مبهمسازی کد استفاده کردن، با درخواستهایی که به دو کتابخانهی مبهمسازی عمومی اشاره داشتن.
شکل زیر نحوه ی سوء استفاده ی APT41 از Gemini رو نشان میده.
عملیات اطلاعاتی (Information Operations) و Gemini:
GTIG همچنان مشاهده کرده که بازیگران عملیات اطلاعاتی از Gemini برای پژوهش، تولید محتوا و ترجمه استفاده میکنن، که با الگوهای قبلی فعالیت اونا مطابقت داره. گوگل فعالیتهایی رو شناسایی کرده که نشان میده مهاجمان از Gemini برای نوشتن مقالات یا ساخت ابزارهایی برای خودکارسازی بخشهایی از گردش کارشان استفاده میکنن. با این حال، هیچ یک از این مقالات تولید شده در فضای عمومی دیده نشدن و هیچ مدرکی دال بر موفقیت در خودکارسازی جریان کاری اونا یافت نشده. هیچکدام از این تلاشها توانمندی جدید یا مؤثر قابل توجهی برای کمپینهای عملیات اطلاعاتی ایجاد نکرده.
در مورد این کمپینها، هیچ مدرکی از خودکار سازی موفق یا قابلیتهای چشمگیر پیدا نشده. این فعالیتها مشابه یافته های ژانویه است که نشان میده مهاجمان از Gemini بیشتر برای افزایش بهرهوری استفاده میکنن تا ایجاد قابلیتهای جدید. گوگل داراییهای مربوط به این فعالیتها رو غیرفعال کرده و Google DeepMind از این یافتهها برای تقویت محافظت در برابر چنین سوء استفاده هایی استفاده میکنه. این مشاهدات برای بهبود مدل و طبقه بندی ها، مورد استفاده قرار گرفته تا مدل از کمک به این نوع حملات در آینده خودداری کنه.
ساخت هوش مصنوعی بصورت ایمن و مسئولانه:
گوگل باور داره که رویکردش به هوش مصنوعی باید هم جسورانه و هم مسئولانه باشه. به این معنا که توسعهی هوش مصنوعی باید طوری انجام بشه که منافع مثبت اون برای جامعه به حداکثر برسه، در حالیکه چالشها و خطرات اون هم مدیریت میشه. بر اساس اصول هوش مصنوعی گوگل، سیستمهای هوش مصنوعی گوگل با اقدامات امنیتی قوی و محافظهای ایمنی سختگیرانه طراحی میشن. گوگل بطور مداوم امنیت و ایمنی مدلهای خودش رو تست و بهبود میده.
راهنماها و سیاستهای ممنوعیت استفاده از ابزارهای هوش مصنوعی مولد گوگل، بر ایمنی و استفادهی مسئولانه تأکید دارن. فرآیند توسعهی سیاستهای گوگل شامل شناسایی روندهای نوظهور، تفکر جامع و طراحی با محوریت ایمنی است. گوگل بطور مداوم اقدامات حفاظتی رو در محصولات خودش تقویت میکنه تا از کاربران در سراسر جهان در مقیاس وسیع محافظت بشه.
در گوگل، از اطلاعات تهدید (Threat Intelligence) برای مختل کردن عملیات مهاجمان استفاده میشه. گوگل سوء استفاده از محصولات، خدمات، کاربران و پلتفرمهای خودش، از جمله فعالیتهای مخرب سایبری تحت حمایت دولتها رو بررسی کرده و در صورت لزوم با محجریان قانون همکاری میکنه.
علاوه بر این، یافتههای گوگل از مقابله با این سوء استفادهها به چرخهی توسعهی محصول برگردونده میشه تا امنیت مدلهای هوش مصنوعی ارتقاء پیدا کنه. این تغییرات، چه در سطح طبقه بندی ها و چه در سطح خود مدل، برای حفظ چابکی در دفاع و جلوگیری از سوء استفادههای بیشتر ضروری هستن.
Google DeepMind هم مدلهای تهدید مخصوص هوش مصنوعی مولد رو طراحی میکنه تا آسیبپذیریهای احتمالی رو شناسایی کنه و با استفاده از روشهای ارزیابی و آموزش جدید، جلوی سوءاستفاده رو بگیره. همچنین Google DeepMind در حال استقرار فعالانهی دفاعهای خودکار در سیستمهای هوش مصنوعی است، همراه با ابزارهای پایش و سنجش که شامل یک چارچوب ارزیابی پیشرفته برای شبیه سازی خودکار حملات تزریق غیرمستقیم (Indirect Prompt Injection) هستش.
تیمهای توسعهی هوش مصنوعی و اعتماد و ایمنی هم با تیمهای امنیت، هوش تهدید و مدل سازی، همکاری نزدیکی دارن تا مانع از سوءاستفاده بشن.
پتانسیل هوش مصنوعی، بویژه هوش مصنوعی مولد، بسیار بزرگ هستش. با پیشرفت نوآوری، این صنعت نیاز به استانداردهای امنیتی برای توسعه و استقرار مسئولانهی هوش مصنوعی داره. به همین دلیل، گوگل چارچوب ایمن سازی هوش مصنوعی (SAIF – Secure AI Framework) رو معرفی کرده، یک چارچوب مفهومی برای ایمن سازی سیستمهای هوش مصنوعی.
گوگل همچنین یک جعبه ابزار جامع برای توسعه دهندگان منتشر کرده که شامل منابع و راهنماهایی برای طراحی، ساخت و ارزیابی مسئولانهی مدلهای هوش مصنوعی است. در این مجموعه، بهترین شیوهها برای پیادهسازی محافظها، ارزیابی ایمنی مدل، و انجام Red Teaming جهت آزمون و ایمن سازی سیستمهای هوش مصنوعی ارائه شده.
گوگل همچنین بطور مستمر در تحقیقات هوش مصنوعی سرمایهگذاری میکنه تا اطمینان حاصل بشه هوش مصنوعی به شکل مسئولانه ساخته میشه و از پتانسیل اون برای شناسایی خودکار خطرات استفاده میشه.
سال گذشته، گوگل از عاملی به نام Big Sleep رونمایی کرد، یک عامل هوش مصنوعی که توسط Google DeepMind و Project Zero توسعه داده شده و بطور فعال به جستجوی آسیبپذیریهای ناشناخته در نرمافزارها میپردازه. Big Sleep تاکنون اولین آسیبپذیری واقعی خودش رو در دنیای واقعی کشف کرده و همچنین در شناسایی یک آسیبپذیری که قرار بود به زودی توسط مهاجمان مورد سوءاستفاده قرار بگیره، نقش کلیدی داشته، که تیم GTIG تونسته اون رو پیش از اکسپلویت مسدود کنه.
گوگل همچنین در حال تست هوش مصنوعی برای یافتن و اصلاح آسیبپذیریها است. اخیراً از CodeMender رونمایی کرده، یک عامل تستی مبتنی بر هوش مصنوعی که با استفاده از قابلیت استدلال پیشرفتهی مدلهای Gemini، آسیبپذیریهای بحرانی کد رو بصورت خودکار اصلاح میکنه.