از روزنامه «ساوت چاینا مورنینگ پست» چاپ هُنگ‌کُنگ، در یک کنفرانس هوش مصنوعی که به تازگی در «شانگهای» برگزار شد، «نیکلاس کارلینی» از محققان «گوگل بِرِین» در این زمینه هشدار داد که مهاجمان می‌توانند با دستکاری تنها بخش کوچکی از داده‌های آموزشی یک سیستم هوش مصنوعی، لطمات شدیدی به کارکرد آن وارد کنند.
کارلینی روز جمعه گذشته در میزگرد خطرات و امنیت هوش مصنوعی در «کنفرانس جهانی هوش مصنوعی» گفت: برخی از تهدیدات امنیتی زمانی برای آزمایش های آکادمیک مورد استفاده قرار می‌گرفت اما اکنون به تهدیدات ملموس در محیط‌های جهان واقعی تبدیل شده‌اند.
وی خاطرنشان کرد: در یکی از شیوه‌های تهاجمی موسوم به «مسموم‌سازی داده»، فرد مهاجم مقدار کمی از داده‌های نادرست و دارای سوگیری را وارد مجموعه داده‌های آموزشی یک مدل هوش مصنوعی می‌کند و این اقدام فریبکارانه موجب «مسموم شدن» مدل هوش مصنوعی در فرایند آموزش شده و در نهایت سودمندی و درستکاری آن مخدوش می‌شود.
این کارشناس شرکت «گوگل» گفت: با آلوده کردن تنها ۰.۱ درصد از مجموعه داده‌های مورد استفاده برای آموزش دادن به یک مدل هوش مصنوعی، کل آن الگوریتم به خطر می‌افتد. ما در گذشته این حملات را به عنوان بازی‌های آکادمیک در نظر می‌گرفتیم اما اکنون زمان آن فرارسیده که این تهدیدات امنیتی به رسمیت شناخته و پیامدهای آنها در جهان واقعی شناخته شوند.
فرایند تصمیم‌سازی و قضاوت یک مدل هوش مصنوعی تا حد زیادی از فرایند آموزشی و یادگیری آن ناشی می‌شود که آن نیز وابسته به مقادیر زیادی از داده‌های مورد استفاده است. کیفیت، بی‌طرفی و درستی داده‌های آموزشی تا حد زیادی بر درستی کار مدل هوش مصنوعی تاثیر می‌گذارد.
اگر یک مدل هوش مصنوعی با داده‌های آلوده‌شده با تصاویر و اطلاعات نادرست آموزش داده شود، عملکرد ضعیف و نادرستی خواهد داشت. به عنوان مثال، اگر یک الگوریتم طراحی شده برای شناسایی حیوانات یا عکس یک سگ با برچسب اشتباه گربه آموزش داده شود، آن الگوریتم ممکن است سایر تصاویر سگ را نیز به عنوان گربه اشتباه بگیرد. این نوع حملات که موجب ارائه نتایج اشتباه از سوی مدل‌های هوش مصنوعی می‌شود، می‌تواند خسارات بزرگ یا حتی مشکلات امنیتی را نیز به دنبال داشته باشد.
امروز دانشمندان از مجموعه‌های گسترده داده برای آموزش دادن به مدل‌های پیچیده یادگیری ماشین استفاده می‌کنند. این مجموعه‌های داده که بیشتر آنها «متن باز» (open source) است یا به هر صورت قابل دسترسی عمومی هستند، ممکن است دربردارنده تا حد ۵ میلیارد تصویر باشند. اگر یک فرد مهاجم و بدخواه تصاویر موجود در داده‌ها را تغییر دهد، تمام مدل‌های هوش مصنوعی آموزش دیده با آنها در خطر قرار خواهد گرفت. آزمایش های کارلینی نشان داده است که آلوده کردن یا مسموم‌سازی تنها ۰.۱ درصد از داده‌های موجود در یک مجموعه داده می‌تواند موجب آلوده‌سازی آن مجموعه داده شود.
به منظور پرداختن به این نگرانی‌های امنیتی، «لی چانگ‌شنگ» استاد موسسه فناوری پکن یک شیوه مهندسی معکوس هوش مصنوعی را با هدف تقویت دفاع در برابر داده‌های آموزشی دستکاری شده، پیشنهاد داده است.
«لی» و تیم تحقیقاتی او در مقاله‌ای انتشار یافته در نشریه «نرم‌افزار» یک تکنیک موسوم به «استنباط عضو» (member inference) را معرفی کرده‌اند. در این فرایند، زمانی که یک الگوریتم داده‌ها را دریافت می‌کند، یک الگوریتم کمکی در ابتدا این داده‌ها را برای یک تمرین آموزشی مقدماتی مورد استفاده قرار می‌دهد و نتایج آموزش را مقایسه می‌کند تا ببیند آیا داده‌های دریافتی کیفیت مناسب برای استفاده به عنوان داده‌های آموزشی معقول را دارند یا نه. این تکنیک می‌تواند داده‌های زیان‌بار را پیش از وارد شدن آنها به الگوریتم اصلی حذف کند.
