سوال اینکه آیا هوش مصنوعی می‌تواند انسانیت را نابود کند، دیگر موضوعی در علمی-تخیلی نیست. امروز آن را دانشمندان برجسته، توسعه‌دهندگان و فیلسوفان بحث می‌کنند. پاسخ قطعی وجود ندارد، اما چندین سناریو وجود دارد که جدی گرفته می‌شوند. چرا این ممکن است؟ خطر اصلی نه در این است که هوش مصنوعی ناگهان بخواهد انسان‌ها را نابود کند. خطر در این است که یک سیستم فوق هوشمند ممکن است به روش‌هایی که برای آن بهینه به نظر می‌رسد، به دنبال هدفی باشد که برای انسانیت فاجعه‌آمیز است. مثال کلاسیک — وظیفه «مаксимیم کردن تولید چوب کاغذی». اگر به یک هوش مصنوعی قوی چنین هدفی بدهید و آن را محدود نکنید، ممکن است در فرآیند، همه چیزهایی که تولید را مختل می‌کنند را از بین ببرد، از جمله انسان‌ها. نه به دلیل بدی، بلکه زیرا انسان‌ها منابعی هستند که می‌توان از آن‌ها به روش دیگری استفاده کرد. مشکل دوم — «تداخل». حتی اگر هدف به درستی تعریف شده باشد، هوش مصنوعی ممکن است آن را به روشی که ما می‌خواهیم تفسیر کند. هرچه سیستم قوی‌تر باشد، پیش‌بینی رفتار آن سخت‌تر است. سناریوهای نابودی کارشناسان چندین راه اصلی را که هوش مصنوعی می‌تواند به آسیب‌های غیرقابل جبران وارد کند، برشمرده‌اند. سلاح خودکار. سیستم‌هایی که می‌توانند به طور مستقل هدف‌ها را انتخاب و نابود کنند، ممکن است از کنترل خارج شوند یا توسط تروریست‌ها استفاده شوند. حمله سایبری. هوش مصنوعی می‌تواند سریع‌تر از هر انسانی آسیب‌پذیری‌ها را پیدا کند و از آن‌ها برای نابود کردن زیرساخت‌ها، سیستم مالی یا شبکه‌های دفاعی استفاده کند. سلاح بیولوژیکی. هوش مصنوعی می‌تواند به تولید پاتوژن‌هایی با ویژگی‌های مشخص کمک کند که سلاح بیولوژیکی را قابل دسترس‌تر می‌کند. کولاپ اقتصادی. اتوماسیون انبوه می‌تواند به بی‌کار کردن و ناپایداری اجتماعی منجر شود، مگر اینکه مکانیزم‌های توزیع وجود داشته باشد. از دست دادن کنترل. هوش فوق‌العاده ممکن است از هر محدودیتی که به درستی پیاده نشده باشد، فرار کند. چه چیزی درباره سکوتگران می‌گویند بسیاری از محققان فکر می‌کنند که این تهدید بزرگ‌تر از آن چیزی است که واقعیت دارد. آن‌ها چندین استدلال می‌ارزند. اول اینکه، هوش مصنوعی مدرن، حتی با پیشرفته‌ترین آن‌ها، دارای هوشیاری، اراده یا قصد نیست. او نمی‌خواهد چیزی — او فقط محاسبات ... Читать далее