به گزارش خبرنگار ایبنا، پنل تخصصی «هوش مصنوعی و امنیت سایبری» در استیج «تازههای اقتصاد» در بیستونهمین نمایشگاه بینالمللی الکترونیک، کامپیوتر و تجارت الکترونیک (الکامپ) برگزار شد. در این نشست، کارشناسان ارشد حوزه هوش مصنوعی درباره آینده این فناوری و لزوم توجه به امنیت سایبری در استفاده از هوش مصنوعی به تبادل نظر پرداختند.
حمیدرضا شهریاری، عضو هیأت علمی دانشگاه صنعتی امیرکبیر در این نشست با اشاره به تفاوت سطح ریسک در کاربردهای مختلف هوش مصنوعی گفت: میزان استفاده از عاملهای هوشمند باید متناسب با سطح ریسک تصمیمهایی باشد که این عاملها اتخاذ میکنند؛ چرا که برخی تصمیمها قابل بازگشت هستند، اما در برخی حوزهها یک تصمیم اشتباه میتواند خسارتهای جدی و حتی جبرانناپذیری ایجاد کند.
وی با اشاره به بحث هوش عمومی مصنوعی (AGI) افزود: هنوز درباره اینکه هوش مصنوعی به سطح توانمندی و استقلال فکری انسان رسیده است یا خیر، اختلاف نظر وجود دارد و در برخی حوزهها همچنان فاصله قابل توجهی با این سطح از توانمندی وجود دارد.
شهریاری ادامه داد: حوزه امنیت از جمله بخشهایی است که تصمیمها و اقدامات در آن میتواند تأثیرات بسیار گستردهای داشته باشد. برای مثال، در برخی فعالیتهای روزمره میتوان وظایف را به عاملهای هوشمند سپرد؛ چرا که خطای آنها معمولاً قابل اصلاح و بازگشت است. اما در سامانههای حساس و زیرساختهای حیاتی، شرایط متفاوت است و تصمیم اشتباه میتواند پیامدهای فاجعهباری داشته باشد.
عضو هیأت علمی دانشگاه صنعتی امیرکبیر با اشاره به نمونههایی مانند کنترل سامانههای حساس صنعتی و نیروگاهها گفت: اگر عامل هوش مصنوعی وظیفه پایش یا کنترل یک سامانه حیاتی را بر عهده داشته باشد و تصمیم اشتباه آن به یک اقدام غیرقابل بازگشت منجر شود، حضور و مداخله انسان ضروری است؛ بنابراین در این حوزهها باید سطح اختیار عاملهای هوشمند متناسب با ریسک فعالیت آنها تعیین شود.
وی یکی دیگر از الزامات استفاده از عاملهای هوشمند را حکمرانی هوش مصنوعی (AI Governance) دانست و اظهار کرد: حکمرانی هوش مصنوعی باید محدوده فعالیت و اختیارات عاملها را مشخص کند. تصمیمهای این عاملها نیز باید تا حد امکان شفاف و قابل ردیابی باشد تا مشخص شود یک تصمیم بر چه مبنایی اتخاذ شده است.
شهریاری همچنین بر اهمیت مدیریت دسترسیها در عاملهای هوشمند تأکید کرد و گفت: در حوزه امنیت، اصل قدیمی «کمترین سطح دسترسی» اهمیت زیادی دارد. اگر یک عامل هوشمند اختیارات گستردهای داشته باشد و مهاجم بتواند آن عامل را تحت کنترل خود درآورد، همان اختیارات میتواند علیه سازمان مورد سوءاستفاده قرار گیرد.
وی افزود: امنیت عاملهای هوشمند هنوز نیازمند توسعه و کار بیشتری است و یکی از نگرانیهای جدی، امکان سوءاستفاده مهاجمان از عاملهایی است که به سامانهها و دادههای مختلف دسترسی دارند. به همین دلیل، سطح دسترسی هر عامل باید متناسب با مأموریت و ریسک آن محدود شود.
عضو هیأت علمی دانشگاه صنعتی امیرکبیر تأکید کرد: نمیتوان همه وظایف را به هوش مصنوعی سپرد و میزان اختیار عاملهای هوشمند باید بر اساس ریسک هر فرآیند تعیین شود. هرچه تصمیم یک عامل پیامدهای حساستر، گستردهتر و برگشتناپذیرتری داشته باشد، نیاز به کنترل، نظارت و مداخله انسانی نیز بیشتر خواهد بود.
شهریاری در ادامه پنل «هوش مصنوعی و امنیت سایبری» با اشاره به مفهوم «No Free Lunch» در هوش مصنوعی گفت: بر اساس این مفهوم، هیچ مدل هوش مصنوعی وجود ندارد که بتواند همه مسائل و حوزهها را با بالاترین درجه صحت و دقت حل کند. بنابراین، برای مسائل مختلف باید از مدلها و روشهای متناسب با همان مسئله استفاده کرد.
وی افزود: حتی اگر یک مدل در یک حوزه عملکرد بسیار خوبی داشته باشد، ممکن است در حوزهای دیگر عملکرد ضعیفتری ارائه دهد و با گذشت زمان نیز به دلیل تغییر دادهها، عملکرد آن دستخوش تغییر شود. در اینجا دو مفهوم «رانش داده» و «رانش مفهومی» اهمیت پیدا میکند؛ به این معنا که توزیع دادهها یا رابطه میان دادهها و نتایج مورد انتظار به مرور زمان تغییر میکند و مدلی که در یک مقطع عملکرد مناسبی داشته، ممکن است بعداً دقت اولیه خود را از دست بدهد.
شهریاری با تأکید بر نقش داده در توسعه مدلهای هوش مصنوعی اظهار کرد: امروز دیگر صرفاً الگوریتم یا مدل، عامل اصلی برتری در هوش مصنوعی نیست، چرا که بسیاری از الگوریتمها و مدلهای پایه در دسترس هستند. بخش مهمی از مزیت رقابتی مدلها به دادههایی برمیگردد که برای آموزش و توسعه آنها مورد استفاده قرار میگیرد.
عضو هیأت علمی دانشگاه امیرکبیر ادامه داد: برای نمونه، در یک سازمان بسیاری از مدلها و ابزارهای مورد نیاز در دسترس هستند و حتی کتابخانههای مختلف برنامهنویسی و مدلهای آماده وجود دارد، اما چالش اصلی، دسترسی به یک دیتاست مناسب است. داده باید به اندازه کافی وجود داشته باشد، کیفیت لازم را داشته باشد، دچار سوگیری نباشد، دادههای ناقص و نادرست در آن کنترل شده باشد و برچسبگذاری دادهها نیز به شکل صحیح انجام شده باشد.
وی تصریح کرد: کیفیت داده یکی از پایههای اصلی عملکرد مدلهای هوش مصنوعی است و برای دستیابی به داده مناسب، موضوع مهندسی داده و مدیریت چرخه عمر داده اهمیت زیادی دارد. در واقع، اگر داده ورودی کیفیت لازم را نداشته باشد، حتی بهترین مدل نیز نمیتواند خروجی قابل اتکایی ارائه کند.
شهریاری با اشاره به اهمیت این موضوع در حوزه امنیت سایبری گفت: مسئله کیفیت داده در امنیت اهمیت بیشتری پیدا میکند. برای مثال، اگر دادههای مورد استفاده برای آموزش یا تصمیمگیری یک سامانه امنیتی دچار مسمومیت دادهای (Data Poisoning) شده باشند، خروجی مدل نیز میتواند تحت تأثیر قرار گیرد. همچنین وجود سوگیری، دادههای ناقص یا دادههای نادرست میتواند عملکرد سامانههای هوش مصنوعی امنیتی را با مشکل مواجه کند.
وی در پایان تأکید کرد: بنابراین، در کنار انتخاب مدل و الگوریتم مناسب، باید روی کیفیت، سلامت و مدیریت داده سرمایهگذاری کرد؛ چرا که بخش مهمی از قابلیت اتکای هوش مصنوعی به دادهای وابسته است که مدل براساس آن آموزش میبیند و تصمیمگیری میکند.
وحید خدابخشی، مدیرعامل کاشف هم در نشست «هوش مصنوعی و امنیت سایبری» با اشاره به پیشرفتهای سریع هوش مصنوعی در حوزه امنیت سایبری، اظهار کرد: در سه تا چهار سال اخیر و بهویژه چند ماه گذشته، استفاده از دادههای شبیهسازیشده و واقعی مانند ترافیک شبکه و کدهای آسیبپذیر، زمینه توسعه ابزارهای هوشمند برای شناسایی آسیبپذیریها را فراهم کرده است.
وی کاربردهای هوش مصنوعی در امنیت سایبری را بهطور کلی در دو دسته خودکارسازی فرایندها و شناسایی الگوها دانست و گفت: خودکارسازی شامل اقداماتی مانند شناسایی و پیگیری موارد، تیکتینگ و تهیه گزارش است؛ یعنی کارهای روتینی که پیشتر توسط نیروی انسانی انجام میشد، میتواند بهصورت خودکار انجام شود.
خدابخشی افزود: در حوزه شناسایی الگو نیز هوش مصنوعی با استفاده از دادههای آموزشی میتواند موارد جدید، از جمله ترافیک شبکه، را بر اساس الگوهای شناختهشده دستهبندی و موارد مشکوک را شناسایی کند. با ظهور هوش مصنوعی مولد نیز امکان انجام بخش بیشتری از فعالیتهایی که متخصصان امنیت در ابعاد مختلف انجام میدهند، با دقت و قابلیتهای بیشتر فراهم شده است.
مدیرعامل کاشف با تأکید بر ضرورت حفظ «نظارت انسانی» بر عملکرد هوش مصنوعی گفت: هنوز تا جایی که هوش مصنوعی بتواند بهطور کامل جایگزین متخصص امنیت شود فاصله داریم، اما با رعایت اصل Human in the Loop میتوان از این فناوری برای دستهبندی و تشخیص رخدادهای مشکوک و شناسایی آسیبپذیریهای فرایندهای امنیتی استفاده کرد.
وی گفت: در حال حاضر با ورود به مرحله استفاده از «ایجنتها» در امنیت سایبری مواجه هستیم؛ ایجنتهایی که میتوانند مجموعهای از وظایف را مانند یک مدیر امنیت سایبری انجام دهند و در نهایت، با حفظ نظارت انسانی، تصمیم یا اقدام نهایی را به انسان واگذار کنند.
صادق انصاری، مدیر امنیت و فناوری اطلاعات شرکت ملی انفورماتیک به عنوان سخنران بعدی نشست با اشاره به تفاوت میان کاربرد واقعی هوش مصنوعی و جنبههای تبلیغاتی آن اظهار کرد: بخشی از آنچه امروز در بازار با عنوان هوش مصنوعی عرضه میشود، ارزش عملیاتی ایجاد کرده و بخشی دیگر بیشتر جنبه بازاریابی و هیجانی دارد. مرز میان این دو زمانی مشخص میشود که استفاده از هوش مصنوعی بتواند در محیط واقعی، شواهدی از بهبود عملیات امنیتی ارائه دهد.
وی افزود: برای ارزیابی ارزش عملیاتی هوش مصنوعی، صرفاً نباید دقت مدل یا قابلیتهای فنی آن را ملاک قرار داد، بلکه باید بررسی کرد که این فناوری در محیط واقعی سازمان تا چه اندازه به عملیات امنیت کمک کرده و کدام شاخص امنیتی را بهبود داده است.
انصاری با اشاره به کاربرد هوش مصنوعی در مدیریت آسیبپذیریها ادامه داد: برای مثال، در بخش مدیریت آسیبپذیری ممکن است هزاران هشدار درباره آسیبپذیریهای مختلف سامانهها دریافت کنیم. اگر هوش مصنوعی بتواند این حجم از هشدارها را دستهبندی و اولویتبندی کند و از میان صدها یا هزاران مورد، آسیبپذیریهای حساستر، اثرگذارتر و دارای احتمال بالاتر برای سوءاستفاده را شناسایی و به تیم امنیت ارائه دهد، میتوان گفت که هوش مصنوعی به شکل واقعی در عملیات امنیتی ارزش ایجاد کرده است.
مدیر امنیت و فناوری اطلاعات شرکت ملی انفورماتیک با تأکید بر ضرورت قابلاندازهگیری بودن نتایج استفاده از هوش مصنوعی گفت: در چارچوبهای مدیریت ریسک هوش مصنوعی نیز بر قابلیت اندازهگیری تأکید شده است. به اعتقاد من، ابزاری زمانی میتواند بهعنوان یک راهکار کاربردی شناخته شود که بتوان ارزش و اثرگذاری آن را اندازهگیری کرد.
وی با اشاره به روند استفاده مهاجمان سایبری از هوش مصنوعی نیز گفت: در سال ۲۰۲۵، برخی گزارشها نشان میداد که مهاجمان بیشتر از هوش مصنوعی در بخشهای تحقیقاتی و خودکارسازی فعالیتهای خود استفاده میکنند، اما در سال جاری نمونههایی از توسعه بدافزار با استفاده از هوش مصنوعی نیز گزارش شده است. بنابراین، هر دو جنبه استفاده از هوش مصنوعی، یعنی کاربرد دفاعی و استفاده مهاجمان، در حال شکلگیری است.
انصاری تأکید کرد: برای سنجش ارزش هوش مصنوعی باید یک چارچوب مشخص و مجموعهای از شاخصها داشته باشیم و براساس آن ارزیابی کنیم که این فناوری تا چه اندازه برای سازمان ارزش ایجاد میکند. در نهایت، مرز میان هوش مصنوعی واقعی و هوش مصنوعی صرفاً تبلیغاتی باید در بستر خود سازمان و براساس نتایج عملیاتی و اعداد و ارقام مشخص شود.
وی درباره میزان اتکا به هوش مصنوعی در تصمیمگیریهای امنیتی نیز گفت: اینکه در چه بخشهایی بتوانیم از هوش مصنوعی استفاده کنیم، کاملاً مبتنی بر ریسک است. ابتدا باید مشخص کنیم استفاده از هوش مصنوعی در هر حوزه چه میزان ریسک ایجاد میکند و براساس آن سطح اختیار این فناوری را تعیین کنیم.
مدیر امنیت و فناوری اطلاعات شرکت ملی انفورماتیک توضیح داد: در برخی حوزهها، هوش مصنوعی صرفاً میتواند اطلاعات را بررسی و یک خروجی یا هشدار ارائه کند که در این حالت ریسک استفاده پایینتر است. در سطح بعد، هوش مصنوعی میتواند علاوه بر بررسی، یک اقدام را نیز پیشنهاد دهد که همچنان میتوان با ریسک محدودی آن را مدیریت کرد. در حوزههای حساستر، لازم است انسان بهعنوان حلقهای در فرآیند تصمیمگیری حضور داشته باشد و پس از تأیید انسانی، اقدام انجام شود.
انصاری ادامه داد: در برخی فعالیتهایی که ریسک بسیار پایینی دارند، حتی میتوان به هوش مصنوعی اجازه داد اقدام را بهصورت خودکار انجام دهد. نکته مهم این است که اقدام انجامشده توسط هوش مصنوعی باید قابل ردیابی و بررسی باشد؛ یعنی مشخص باشد این اقدام براساس چه دادهای، با چه دستوری و با چه سطح دسترسی انجام شده است.
وی در پایان بر ضرورت ایجاد سازوکار بازخورد تأکید کرد و گفت: هر اقدامی که هوش مصنوعی انجام میدهد باید قابل بررسی و ارزیابی باشد و سازوکار بازخورد نیز وجود داشته باشد تا بتوان عملکرد آن را بهصورت مستمر سنجید و در صورت نیاز اصلاح کرد.
حسام صالحپور، متخصص هوش مصنوعی در سازمان ملل و دانشآموخته دانشگاه برن سوئیس، در پنل «هوش مصنوعی و امنیت سایبری» با اشاره به تحقیقات و پروژههای انجامشده در حوزه هوش مصنوعی، اظهار کرد: امنیت صد درصدی در فضای سایبری وجود ندارد و به جای تمرکز صرف بر ایجاد امنیت مطلق، باید بر مدیریت مستمر ریسک تمرکز کرد.
وی یکی از تهدیدهای مهم سازمانی را تلاش مهاجمان برای ایجاد یک مسیر ورود به سیستمها و دسترسی به دادههای سازمانها دانست و افزود: شرکتهای بزرگ نیز در سطح سازمانی در حال تحقیق درباره این موضوع هستند که مهاجم چگونه میتواند به دادهها و اطلاعات یک شرکت دسترسی پیدا کند.
صالحپور با تأکید بر اینکه امنیت هوش مصنوعی صرفاً به خود مدل محدود نمیشود، گفت: باید چرخه عمر هوش مصنوعی را در نظر گرفت و مشخص باشد چه کسانی به دادهها دسترسی دارند، دادهها چگونه نگهداری و محافظت میشوند و الزامات حریم خصوصی داده، حفاظت از داده و حکمرانی هوش مصنوعی چگونه رعایت میشود.
وی ادامه داد: این موضوع اهمیت دارد تا متخصصان امنیت در آینده بتوانند لایههای مختلف امنیتی را بهدرستی شناسایی کرده و از آنها استفاده کنند. اقداماتی مانند «Red Teaming»، آزمونهای امنیتی و پایش مستمر نیز در سطح سازمانی و حتی در سطح جهانی و اروپا اهمیت زیادی دارند.
این متخصص هوش مصنوعی در سازمان ملل در ادامه این نشست با اشاره به تأثیر هوش مصنوعی بر زندگی روزمره، فعالیتهای سازمانی، آموزشی و پژوهشی اظهار کرد: با توجه به تغییر شکل و فرمت فعالیتها، باید بررسی کنیم هوش مصنوعی چه قابلیتهایی به مهارتهای افراد اضافه میکند و آن را صرفاً بهعنوان یک گزینه یا ابزار جانبی در نظر نگیریم.
وی افزود: متخصصان امنیت آینده باید هوش مصنوعی را تنها به معنای یادگیری ماشین نبینند، بلکه لازم است بتوانند معماریهای مختلف را لایهبهلایه بررسی کرده و مدلها را از منظر امنیتی بهطور کامل ارزیابی کنند.
صالحپور همچنین بر اهمیت آموزشهای میانرشتهای و ظرفیتسازی در حوزه هوش مصنوعی و امنیت تأکید کرد و گفت: باید روی توسعه مهارتها در سطح ملی و بینالمللی تمرکز کنیم تا بتوانیم این ظرفیتها را گسترش داده و در سطح جهانی با شرکتهای بزرگ رقابت کنیم.
وی با اشاره به ظرفیت بالای ایران در این حوزه خاطرنشان کرد: پتانسیل موجود در ایران بسیار بالاست، اما این ظرفیت هنوز در سطح جهانی آنطور که باید به نمایش گذاشته نشده است.
گفتنی است سیدعلی صموتی، پژوهشگر دکتری و مدرس دانشگاه و مدیر این نشست هم با تأکید بر ضرورت تدوین مسیر مشخص برای استفاده از هوش مصنوعی در حوزه امنیت، گفت: سازمانها باید براساس اسناد بالادستی و استانداردهای بینالمللی، نیازهای دانشی و مهارتی نیروی انسانی را شناسایی و سواد دادهای آنها را ارتقا دهند.
به گفته وی، افزایش دانش و مهارت کارکنان در کنار رصد مستمر تحولات و مطالعات داخلی و بینالمللی، میتواند به سازمانها کمک کند تا متناسب با نیاز و شرایط خود، راهکارهای مناسب برای استفاده از هوش مصنوعی در امنیت و همچنین تأمین امنیت خودِ سامانههای هوش مصنوعی را انتخاب و پیادهسازی کنند.
