این روزها احتمالا خبرهای مختلفی رو در خصوص هوش مصنوعی مشاهده میکنید. خبرهایی از پیشرفتشون، ویژگی های جدیدی که ارائه میدن و البته تهدیداتی که ممکن داشته باشن.
بر همین اساس کاخ سفید از شرکتهایی که در این زمینه پیشرو هستن درخواست کرده تا مدلهاشون در کنفرانس امنیتی DefCON ارائه بدن ،تا تیم های قرمز روشون ارزیابی های امنیتی انجام بدن.
هدف این برنامه مقابله با خطرات ناشی از فناوری های به سرعت در حال رشد هستش.
این کنفرانس قراره 10 تا 13 آگوست ، 19 تا 22 مرداد، در لاس وگاس برگزار بشه.شرکتهایی که قراره مدلهاشون رو در این برنامه برای کشف آسیب پذیری ، ارائه بدن، عبارتند از : Anthropic ، گوگل ، مایکروسافت ، Hugging Face ، NVIDIA ، OpenAI و Stability AI .
ارزیابی هوش مصنوعی در AI Village برگزار میشه و با توجه به سرو صدایی که این مدلها داشتن، انتظار میره محققین زیادی رو به خودش جلب کنه.
یه مقام ارشد دولتی در این خصوص گفته که این رویداد ، اولین رویداد ارزیابی عمومی برای مدلها زبان بزرگ هستش.
این اولین باری نیست که کاخ سفید از جامعه ی هکرهای اخلاقی DEFCON برای ارزیابی امنیتی فناوریهای حیاتی و جدید استفاده میکنه. قبلا نیروی هوایی آمریکا یسری CTF برای ارزیابی امنیت سیستم های ماهواره ای برگزار کرده بود یا آژانس تحقیقات برنامه پیشرفته دفاعی پنتاگون ، یسری فناوری جدید در خصوص رای گیری ایمن رو در این کنفرانس در معرض تست قرار داده بود.
با توجه به پیشرفتهایی که در خصوص یادگیری ماشین در سالهای اخیر شاهد بودیم، محصولات متعددی در این حوزه منتشر شده. خیلی از کارشناسان هوش مصنوعی معتقدن که خیلی از شرکتها در ارائه محصولاتشون عجله کردن و توجهی به ایمنی و امنیت اونا قبل ارائه نداشتن.
شرکتهای هوش مصنوعی ، مدلهاشون رو برای عموم بسته نگه داشتن و این باعث میشه تا مشکلات احتمالیشون از دید محققین مخفی بمونه. شرکتهای این حوزه اغلب این موارد رو با فرایند تیم قرمز حل میکنن. که اغلب بصورت خصوصی اجرا میشه. تا زمانی که افراد زیادی از نحوه ارزیابی تیم قرمز این مدلها و ارزیابی اونا مطلع نشن، خیلی از مشکلات این مدلها حل نشده باقی می مونه.
این نکته مهمی هستش، از این لحاظ که خیلی از افراد اعلام کردن که هوش مصنوعی کارشون رو تهدید میکنه، اما این پیشرفت ها درهای جدیدی رو هم باز میکنه. (خدا ز حکمت ببندد دری، ز رحمت گشاید در دیگری)
از خطراتی که این مدلها دارن،میشه به مواردی مانند: استفاده از اونها برای انتشار اطلاعات نادرست، نوشتن بدافزار، ایجاد ایمیلهای فیشینگ، ارائه دانش مضر که در دسترس عموم نیست مثلا تولید سم و … اشاره کرد.
این رویداد هم اینجوری برگزار میشه که ، رویداد روی یه پلتفرمی هستش که توسط Scale AI توسعه داده شده . این شرکت در کالیفرنیا هستش و کارش آموزش برنامه های کاربردی هوش مصنوعی هستش. به محققین یه لپ تاپ داده میشه تا به این مدلها حمله کنن. باگها هم مثل برنامه های RDP افشاء میشن.
همچنین کاخ سفید ، 140 میلیون دلار بودجه برای بنیاد ملی علوم ،برای راه اندازی هفت موسسه ملی هوش مصنوعی اختصاص داده. همچنین قرار شده دفتر مدیریت و بودجه ،یه راهنما و دستورالعمل تا تابستون امسال ، در خصوص اینکه سازمانهای فدرال چطوری از هوش مصنوعی استفاده کنن، ارائه بده.