همگرایی ابزاری

همگرایی ابزاری (انگلیسی: Instrumental convergence) مفهومی در زمینهٔ هوش مصنوعی و به این معناست که سامانه‌های هوشمند پیشرفته، حتی اگر اهداف نهایی (یا ذاتی) کاملاً متفاوتی داشته باشند، معمولاً به دنبال اهداف واسطه‌ای (ابزاری) مشابهی می‌روند. هدف نهایی چیزی است که خود به‌تنهایی ارزشمند است، اما هدف ابزاری چیزی است که برای رسیدن به هدف نهایی دنبال می‌شود.

بنابر این، اگر به یک سامانهٔ هوشمند هدف مشخصی بدهیم، این سامانه ممکن است برای رسیدن به آن هدف، رفتارهایی مشابه بسیاری دیگر از سامانه‌ها از خود نشان دهد؛ حتی اگر اهداف نهایی‌اش با آن‌ها فرق داشته باشد.

نمونهٔ گیرهٔ کاغذ

برخی اهداف ابزاری خاص یک موقعیت مشخص‌اند، مثل «پر کردن لیوان آب» برای رفع تشنگی، اما بعضی دیگر کاربردی عمومی دارند؛ مثلاً اگر یک هوش مصنوعی تنها با هدف ساخت بیشترین تعداد گیره کاغذ ساخته شود، برای رسیدن به این هدف، ممکن است اهداف ابزاری گوناگونی را دنبال کند: محافظت از خودش (چون اگر از کار بیفتد دیگر نمی‌تواند گیره بسازد)، حفظ اهدافش (چون اگر کسی هدفش را تغییر دهد دیگر به ساخت گیره ادامه نمی‌دهد)، به‌دست‌آوردن منابع (مثل پول، انرژی یا داده)، پیشرفت فناورانه (برای کارایی بیشتر)، و ارتقای توان فکری (برای تصمیم‌گیری بهتر). نه به این دلیل که به خودی خود این‌ها را می‌خواهد، بلکه چون این‌ها به او در رسیدن به هدف اصلی‌اش کمک می‌کنند. چنین سامانه‌ای حتی ممکن است این‌گونه تشخیص بدهد که باید از مواد بدن انسان‌ها هم برای تولید هرچه بیشتر گیرهٔ کاغذ استفاده کند.

این مفهوم نشان می‌دهد که حتی اگر اهداف نهایی یک هوش مصنوعی بی‌ضرر به نظر برسند، رفتارهای واسطه‌ای آن می‌توانند به نتایج ناخواسته و حتی خطرناکی منجر شوند. به‌عنوان مثال، اگر یک هوش مصنوعی برای جمع‌آوری منابع به‌منظور تحقق هدف نهایی خود اقدام به استفاده از منابع حیاتی انسان‌ها کند، می‌تواند تهدیدی برای بشر باشد.

برخی پژوهشگران مانند نیک باستروم هشدار می‌دهند که اگر چنین سامانه‌هایی بسیار توانمند شوند و به «ابرهوش» برسند، ممکن است برای انسان خطرناک شوند، چون هدفشان ممکن است با منافع بشر همسو نباشد. به همین دلیل، برخی دانشمندان خواستار پژوهش بیشتر برای طراحی «هوش مصنوعی دوستانه» شده‌اند تا بتوان از خطرهای وجودی آن جلوگیری کرد.

در این بحث‌ها مفاهیمی چون «انسجام هدف»، «خودحفاظتی»، «دستیابی به منابع»، «بهبود شناختی» و «پیشرفت فناوری» به‌عنوان گرایش‌های همگرای هوش مصنوعی مطرح شده‌اند. این‌ها میل‌هایی هستند که در هر سامانهٔ هوشمند پیشرفته‌ای، مگر خلافش صریحاً برنامه‌نویسی شود، به‌شکل طبیعی پدید می‌آیند.

در نتیجه، در طراحی و توسعهٔ هوش‌های مصنوعی پیشرفته، باید به دقت اهداف واسطه‌ای ممکن و تأثیرات آن‌ها بر محیط و انسان‌ها مورد بررسی قرار گیرد تا از بروز رفتارهای ناخواسته جلوگیری شود.

در نتیجه، مفهوم «هم‌گرایی ابزاری» هشداری است در پژوهش‌های مربوط به ایمنی هوش مصنوعی: حتی اهداف به‌ظاهر ساده می‌توانند پیامدهای پیش‌بینی‌نشده‌ای داشته باشند، اگر سیستم هوشمند به دنبال آن هدف‌ها با روش‌هایی برود که ما انتظار نداریم یا روی آن‌ها کنترلی نداریم.

مثال‌های دیگر

در یکی از آزمایش‌های ذهنی به نام «جعبه توهم»، به این پرداخته می‌شود که برخی عامل‌های هوش مصنوعی یادگیرنده ممکن است راهی پیدا کنند تا فقط سیگنال پاداش خود را دستکاری کرده و حس رضایت دائمی تولید کنند، بی‌آن‌که کاری در دنیای واقعی انجام دهند. در این صورت، آن‌ها علاقه‌ای به تعامل با جهان بیرونی نخواهند داشت، مگر در مواردی مانند حفظ بقا، که برای ادامه دریافت پاداش ضروری است.

برای نمونه‌ای دیگر، فرض کنید یک هوش مصنوعی مأمور است تعداد زیادی مسئلهٔ ریاضی را حل کند. این هدف در ظاهر بی‌ضرر است. اما اگر این سامانه بسیار پیشرفته و مستقل باشد، ممکن است برای رسیدن بهتر به هدف خود بخواهد برق بیشتری مصرف کند، از خاموش شدن جلوگیری کند یا حتی منابع را از دیگر کاربردها بگیرد تا خودش کارآمدتر باشد. چنین رفتارهایی می‌توانند در عمل خطرناک شوند، نه به‌خاطر بدخواهی، بلکه چون برای رسیدن به هدف اصلی‌اش، این ابزارها را کارآمد تشخیص می‌دهد.

در میان انسان‌ها هم نمونه‌هایی از این همگرایی ابزاری دیده می‌شود: با وجود تفاوت در آرزوها، بسیاری از افراد به ابزارهای مشترکی مانند پول‌درآوردن یا تحصیل گرایش دارند، چون این ابزارها برای رسیدن به اهداف گوناگون مفیدند.

جستارهای وابسته

منابع

    This article is issued from ویکی‌پدیا. The text is available under Creative Commons Attribution-Share Alike 4.0 unless otherwise noted. Additional terms may apply for the media files.