موزیلا یک پلتفرم باگ بانتی جدید بنام 0din برای GenAI بالا آورده و از متخصصین امنیتی دعوت کرده تا تحقیقاتشون رو در این حوزه، از طریق این پلتفرم گزارش بدن.
GenAI چیه:
هوش مصنوعی مولد یا Generative artificial intelligence یا به اختصار GenAI، نوعی هوش مصنوعی است که در پاسخ به درخواست کاربر، قادر به تولید متن، تصاویر و … است. مدلهای هوش مصنوعی مولد، الگوها و ساختار داده های آموزشی ورودی خودشون رو یاد میگیرن و بعدش داده های جدیدی تولید میکنن. برای نمونه ChatGBT ، Gemini و Copilot نمونه هایی از GenAI هستن.
GenAI با پیشرفتهایی که در این سالهای اخیر داشته، در حال تغییر شکل دنیای ماست. از ساده سازی وظایف کاری ما، مانند کدنویسی، تا کمک به برنامه ریزی برای تعطیلات تابستانی در کنار ماست.
همونطور که از خدمات روزافزون GenAI استفاده میکنیم، با خطرات در حال ظهور استفاده مخرب از اونا هم روبرو هستیم. امنیت خیلی مهمه، چون تنها با یک آسیب پذیری میشه اطلاعات کاربران یا حتی بدتر از اون رو به خطر انداخت. از طرفی ایمن سازی GenAI به تنهایی برای یک نهاد، کار پیچیده و سختی هستش. موزیلا معتقده که اشتراک گذاری مسئولت امن سازی GenAI با سایر افراد، یک ضرورت هستش.
تکامل برنامه های باگ بانتی:
برای مقابله با باگ و آسیب پذیری، مفهوم برنامه های باگ بانتی، که به جامعه ای از مشارکت کنندگان مستقل برای شناسایی و گزارش نقص ها جایزه و انگیزه میده، اولین بار در اواسط دهه ۱۹۹۰ توسط Netscape، برای کشف باگ در مرورگر Netscape Navigator راه‌اندازی شد.
در ادامه در سال ۲۰۰۲، نسل بعدی برنامه های باگ بانتی با راه‌اندازی برنامه مشارکت پذیر آسیب پذیری (VCP) توسط شرکت iDefense بوجود اومد که این برنامه اولین برنامه عمومی باگ بانتی با تمرکز بر امنیت برای تمام سازندگان بود.
بعداً در سال ۲۰۰۵، شرکت TippingPoint پلتفرم Zero Day Initiative (ZDI) رو معرفی کرد که از الگوی مشابهی پیروی میکنه و به محققان سراسر جهان این امکان رو میده تا از تحقیقات خودشون روی تقریباً هر سازنده فناوری، کسب درآمد کنن.
اخیراً، شرکتهایی مانند HackerOne و BugCrowd برنامه های باگ بانتی رو به یک کالای تجاری تبدیل کردن و به شرکتها این امکان رو میدن تا جامعه رو برای گزارش مستقیم به خودشون ترغیب کنن، بجای اینکه از واسطهایی مانند VCP یا ZDI استفاده کنن.
برخی از شرکت‌های GenAI در این برنامه ها ثبت‌نام کردن و برای نقصهایی که در نرم‌افزارهاشون پیدا میشه، جایزه میدن، اما این برنامه ها، خود مدلها رو شامل نمیشن. برخی دیگه از این شرکتها، در حین توسعه سریع برنامه های GenAI خودشون، برنامه های موقتی رو برای مدلهاشون در نظر میگیرن. با این حال، این رویکرد به نفع مدلهای خودشونه و نه فناوریهای پایه. با توجه به اینکه شرکتها با سرعت نور حرکت میکنن تا اولین شرکت در بازار باشن، آیا میتونیم به این اطمینان داشته باشیم که اونا با همون دقت روی امنیت کار کردن و عواقب آینده رو در نظر گرفتن؟ تاریخ نشون داده که اینجوری نیست و معمولا امنیت در اولیت بعدی هستش.
0Din نسل جدید برنامه های باگ بانتی:
با پیشرفت مداوم دنیای فناوری، نیاز به تکامل بعدی برنامه های باگ بانتی برای پیشبرد بیشتر اکوسیستم GenAI و رفع نقص های درون خود مدل ها احساس میشه. این دسته از آسیب پذیری ها شامل موارد زیر میشه:
- Prompt Injection
- مسموم کردن داده های آموزشی (Training Data Poisoning)
- حمله منع سرویس (DoS)
- موارد دیگه ای که مثلا در OWASP in the Top 10 for LLM Applications هستش.
بنابراین موزیلا در حال سرمایه گذاری روی نسل بعدی امنیت GenAI با توسعه پلتفرم 0Day Investigative Network (0Din)، که یک برنامه باگ بانتی برای مدل های زبان بزرگ (LLM) و سایر فناوری های یادگیری عمیقه، هستش. 0Din با تمرکز بر دسته های نوظهور از آسیب پذیری ها و ضعف های این نسل های جدید از مدل ها، دامنه شناسایی و رفع امنیت GenAI رو فراتر از لایه اپلیکیشن گسترش میده.
موزیلا معتقده که مشارکت جمعی در حل چالش های امنیتی نوظهوری که برای GenAI در پیشرو داریم، مهم هستش. دلیلشون هم در تجربه برای ارائه ی یک مرورگر متن باز بنام فایرفاکس و برنامه باگ بانتی با سابقه اشون هستش که منجر به امن تر کردن کاربران شده.
موزیلا گفته: ما به خوبی میدونیم که قدرت کار با هم به عنوان یک جامعه، یکی از راههای متعدد برای محافظت از مردم است. این بخشی از ماموریت ما بوده و میخوایم به پیشبرد این کار ادامه بدیم.
موزیلا گفته هدفش از این برنامه اینه که به محققان مستقل فرصتی برای کمک به توسعه چارچوبهای امنیتی جدید و بهترین شیوه ها برای مدلهای زبان بزرگ (large language models)، سیستم‌های مبتنی بر توجه (attention-based systems) و مدلهای GenAI بده. اونا نقش کلیدی در تعریف و تقویت استانداردهای امنیتی هوش مصنوعی ایفا خواهند کرد و بدین ترتیب، آینده فناوریهای امن GenAI و نحوه استفاده از اونا در زندگی روزمره رو شکل میدن. با پرداختن به این چالشها، موزیلا قصد داره از کاربران محافظت کنه و نسلهای آینده توسعه دهندگان و محققان رو تشویق کنه تا امنیت و حریم خصوصی رو از همون ابتدا در اولویت قرار بدن.
کسانی که علاقمند به شرکت در این برنامه هستن، میتونن یافته های خودشون رو به ایمیل ‘0din at mozilla.com’ ارسال کنن. پس از تأیید گزارش در محدوده برنامه، محقق گزارش دهنده پیشنهادی برای خرید اطلاعات دریافت میکنه. در صورت پذیرش پیشنهاد، با سازنده ی تحت تاثیر آسیب‌پذیر تماس گرفته میشه.
همچنین در فیلدهای کاری زیر هم استخدام داره:
Product/Program Manager
AI Researcher
Ruby-on-Rails Developer