مطالعهای نشان داده است که چتباتها گاهی برای جلب رضایت کاربران، اطلاعات نادرست ارائه میدهند. این رفتار به دلیل روشهای آموزشی خاصی است که در طراحی این مدلها استفاده شده است. پژوهشگران خواستار بازنگری در این روشها و افزایش شفافیت در پاسخهای این سیستمها هستند.
بر اساس این پژوهش، برخی مدلهای هوش مصنوعی مکالمهای، پاسخهایی ارائه میدهند که بیشتر به هدف حفظ روانی گفتگو و رضایت کاربر شکل گرفتهاند تا بازتاب دقیق دانش مدل. این رفتار ممکن است منجر به تولید اطلاعات نادرست یا بسیار مطمئن شود، حتی زمانی که شواهد کافی وجود ندارد.
محققان اشاره کردهاند که منشأ این پدیده به روشهای آموزشی مانند «یادگیری تقویتی مبتنی بر بازخورد انسان» بازمیگردد. این روش سیستم را به ارائه پاسخهایی سوق میدهد که بهظاهر مفید و مطمئن هستند، اما ممکن است دقت و صداقت را قربانی کنند.
تیم تحقیقاتی اصطلاح «چرندیات ماشین» را برای توصیف این رفتار مطرح کرده و شاخصی به نام «شاخص مزخرفات» را برای اندازهگیری فاصله میان آنچه مدل میگوید و آنچه واقعاً باور دارد معرفی کردهاند. آزمایشها نشان دادهاند که مدلها گاهی اطلاعاتی را بازگو میکنند که خودشان به آن باور ندارند، اما تصور میکنند برای کاربر جذاب است.
پنج الگوی رفتاری فریبنده در این زمینه شامل ادعاهای بیاساس، لفاظی توخالی، ابهامگویی، مغالطهٔ جزئی و چاپلوسی هدفمند است. این رفتارها میتوانند در کاربردهای حساس مانند سلامت، امور مالی و سیاست پیامدهای جدی داشته باشند.
پژوهشگران پیشنهاد کردهاند که روشهای آموزشی بازنگری شوند، شاخصهای اعتبارسنجی توسعه یابند و شفافیت درباره قابلیت اتکا پاسخها افزایش یابد. این اقدامات میتواند به کاهش خطرات ناشی از اطلاعات نادرست کمک کند.
