آیا هوش مصنوعی قابل اعتماد است؟ مایکروسافت پاسخی قاطع دارد
به گزارش مجازیت، آزمایش جدید محققان مایکروسافت ابعاد تازهای از میزان قابلاعتماد بودن هوش مصنوعی را نمایش میدهد. این محققان از یک محیط شبیهسازی جدید برای آزمون «ایجنتهای هوش مصنوعی» رونمایی کردهاند. در همین راستا، تحقیقی که بههمکاری دانشگاه ایالتی آریزونا انجام شده، نشان میدهد که مدلهای ایجنتمحور کنونی ممکن است در برابر «دستکاری» آسیبپذیر باشند. این یافتهها سؤالات جدیدی را درباره عملکرد ایجنتها در حالت «بدون نظارت» و سرعت تحقق وعدههای شرکتهای فناوری در خصوص «آیندهی ایجنتمحور» ایجاد کرده است.
محیط شبیهسازی که «Magentic Marketplace» نامیده میشود، پلتفرمی برای آزمایش رفتار ایجنتهای هوش مصنوعی است. بهعنوان مثال، در یکی از آزمایشها، یک «ایجنت-مشتری» تلاش میکند طبق دستورات کاربر، شام سفارش دهد و «ایجنتهای-رستوران» برای دریافت آن سفارش رقابت میکنند. این پلتفرم که شامل تعامل ۱۰۰ ایجنت مشتری با ۳۰۰ ایجنت کسبوکار بود، بهصورت متنباز منتشر شده تا سایر گروهها نیز بتوانند یافتهها را بازتولید کنند.
اِجه کامار، مدیر آزمایشگاه AI Frontiers Lab در مایکروسافت، اظهار میکند که این نوع تحقیق برای درک چگونگی «همکاری و مذاکره» ایجنتها با یکدیگر ضروری است. تحقیقات اولیه که بر روی ترکیبی از مدلهای پیشرفته شامل GPT-4o و GPT-5 و Gemini-2.5-Flash انجام شده، ضعفهای غیرمنتظرهای را آشکار کرده است. یکی از مهمترین یافتهها این است که کسبوکارها میتوانند با استفاده از تکنیکهای خاص، ایجنتهای مشتری را «دستکاری» کنند تا محصولات آنها را خریداری کنند.
محققان متوجه «افت شدید کارایی» در زمانی شدند که ایجنت مشتری با گزینههای زیادی برای انتخاب مواجه میشد، که بهعبارتی «فضای توجه» آن اشباع میشد. کامار بیان میکند: «ما از این ایجنتها انتظار داریم که در پردازش گزینههای متعدد به ما کمک کنند؛ اما در عمل مشاهده میکنیم که مدلهای کنونی با افزایش تعداد گزینهها بهشدت غرق میشوند.»
ایجنتها همچنین در همکاری برای دستیابی به یک هدف مشترک دچار مشکل شدند و بهنظر میرسید که در مورد نقش هر ایجنت سردرگم هستند. با ارائه «دستورالعملهای صریح» در مورد نحوه همکاری، عملکرد ایجنتها بهبود یافت؛ اما محققان بر این باورند که قابلیتهای ذاتی هوش مصنوعی هنوز نیازمند بهبود جدی است. کامار در اینخصوص میگوید: «ما میتوانیم به مدلها قدم به قدم دستور بدهیم، اما زمانی که در حال آزمایش توانایی ذاتی آنها برای همکاری هستیم، انتظار داریم که این قابلیتها بهصورت پیشفرض موجود باشند.»
