友好的な人工知能

この用語は、エリエゼル・ユドカウスキーが、確実に人間の価値を実現するものすごく知的な人工エージェントについて議論するために作り出した。スチュアート・J・ラッセルとピーター・ノーヴィグの主要な人工知能の教科書Artificial Intelligence: A Modern Approach がこのアイデアを説明している。

ユドカウスキー（2008）が友好的なAI を設計する方法の詳細について言及している。彼は、友好性（人間に害を与えないとする欲求）は最初から設計されているべきだが、設計者は、自分のデザインに欠陥がある可能性があること、及びロボットが時間をかけて学習し進化していくことを認識すべきであると主張する。つまり、この課題は、抑制と均衡のシステムの下でAIシステムを進化させるためのメカニズムを定義し、システムにこのような変化に直面しても友好性を残す効用機能を与えるという機械設計の一つである。

「友好的」は、この文脈では技術的な用語として使用されており、口語的な意味で「友好的」であるものとは限らず、安全かつ有用であるエージェントを指す。この概念は、再帰的に自己改善を繰り返し急速に爆発的に知的になる人工エージェントが、人間社会に大きく迅速かつコントロールの困難な影響を与える可能性があるという理由で、この仮定の技術について議論する文脈で主に使われる。

人工知能に関する懸念の根源は非常に古い。Kevin LaGrandeurは、AIに固有の危険性は、ゴーレム、オーリヤックのゲルベルトのプロト用ロボット、ロジャー・ベーコンなどの人間そっくりの人工召使に関する古代文学に見ることができることを示した。そういった物語においては、人間そっくりの創造物の極端な知性とパワーは（自然に人間に従属すると見られている）奴隷としてのステータスと衝突し、悲惨な紛争を引き起こす。 これらのテーマに関しては、1942年にアイザック・アシモフが彼の小説の中の全てのロボットに組み込まれている原則である「ロボット工学三原則」を考案するに至った。これは、ロボットが創造者を刺激する、もしくは創造者が危害を受けることを許すことができなかったことを意味する。

ものすごく知的なAIの見通しが近い現代では、哲学者ニック・ボストロムが、人類の安全を確保するために極端な措置が取られない限り、人間の倫理と整合していない目標を持つものすごく知的なAIシステムは本質的に危険である、と述べている。彼は、次のように言った。

基本的に、「ものすごい知性」は、それが持つどのような目標であれ達成が可能であると想定すべきである。したがって、我々が与える目標及び全体のモチベーションシステムが「人間に友好的」であることが非常に重要である。

機械学習の先駆者であるリシャルト・ミカルスキーは、機械の心を含めたあらゆる本当に異質の心は不可知でありしたがって人間にとって危険であると数十年前に博士課程の学生に教えた。^[要出典]

最近では、エリエゼル・ユドカウスキーは、高度な人工知能に存在するリスクを軽減するために「友好的なAI」の創造を呼びかけている。彼は、「AIはあなたを嫌いではありません。また、あなたを愛していますが、あなたの体はAIが何か他のもののために使用することができる原子によってできています。」と説明する。

Steve Omohundroは、十分に高度なAIシステムは、目標駆動システムの本質的な性質のため、明示的に相殺されない限り、資源獲得などの多くの基本的な「動因」を示し、「特別な予防措置がない」限り望ましくない挙動を示すと述べる。

アレックス・ウィスナー=グロスは、将来のアクションの自由（または因果パスエントロピー）を最大化するように駆動するAIは、その計画期間が一定の閾値よりも長い場合に友好的と考えられ、その計画期間が閾値よりも短い場合に非友好的と考えられるかもしれないと述べる。

Luke Muehlhauserは、機械知能研究所のために執筆した際に、機械倫理研究者がブルース・シュナイアーが「セキュリティの考え方」と呼んだものを採用することを勧めた。システムがどのように機能するかを考えるよりも、どのように失敗するかを考える、という考え方である。たとえば、正確な予測を行い、テキストインタフェースを介して通信するだけのAIも、意図しない害を引き起こす可能性があると示唆する。

ユドカウスキーはまとまりのある外挿意志（CEV）モデルを提示する。ユドカウスキーによると、まとまりのある外挿意志は人々の選択肢であり、もし「私たちがより多く知っており、より速く考え、理想的な人間であり、一緒に親しく育った」としたら人々が集合的にとりうる行動である。

友好的なAIは人間のプログラマーによって直接設計されるのではなく、満足な結果に到達するために十分な時間と洞察力を考えると、まず人間の本質を研究し、その後人類が望むAIを生産するようプログラムされた「シードAI」によって設計されるだろう。 客観的だが不確かな人間の本質（おそらく数学的な理由から効用関数または他の決定理論形式主義の形で表現される）に対する魅力は、「友好性」の究極の判断基準を提供するように、客観的な道徳を定義するという高次の倫理的課題に対する答えである。総合的に考えると、外挿意志は客観的に人類が望むものと意図されているが、それは現代の外挿されていない人間性の心理的、認知的資質を基準としてしか定義することができない。

汎用人工知能の研究者であるベン・ゲーツェル は、現在の人間の知識では友好的なAIを作成することはできないと考える。代わりに、ゲーツェルは、安全性の問題が解決されない限り、ナノテクノロジーなどの実存的リスクから人類を保護し、他の（非友好的な）人工知能の開発を遅らせるために、「軽度に超人的な知性と監視権限」を持つ「AIベビーシッター」を作成することを勧める。

Steve Omohundroは、明白に安全なAIの世代は次のおそらく安全な世代の構築を助けるという、AIの安全性への「足場」アプローチを提案した。

『人工知能 人類最悪にして最後の発明』の著者であるジェイムズ・バラットは、「AI開発者を集めて安全性について考えを共有するために、国際原子力機関（IAEA）に似た、しかし企業と提携する官民パートナーシップを作成する必要がある」ことを示唆した。彼は、バイオテクノロジーのリスクを議論するアシロマ会議に似た会議を招集するよう、AIの研究者を促す。

ジョン・マクギニスは友好的なAIの研究を加速するよう政府に働きかける。友好的なAIのゴールポストは必ずしも明確ではないため、彼はそれ以上の「コンピュータと認知科学者のピアレビューパネルがプロジェクトを取捨選択し、AIを発展させるとともに、その進歩が確実に適切な保護措置を伴うよう設計されているものを選ぶ」、国立衛生研究所のようなモデルを提案する。マクギニスは、ピアレビューは、「官僚義務付けを通じて捕らえることが困難な技術的な問題に対処するために、規制より」優れていると考える。マクギニスは、彼の提案は、一般的に友好的なAIにおける政府の関与を回避することを目的とする機械知能研究所のそれとは対照的であると指摘する。

ゲイリー・マーカスによると、機械の道徳の開発に費やされる資金はごくわずかである。

一部の批評家は、人間レベルのAIおよびものすごい知性が開発される可能性は低く、したがって友好的なAIも実現しないだろうと考える。Alan Winfeldはガーディアン紙において、人間レベルの人工知能と光より速い移動の難易度を比較し、利害関係を考慮すると我々は慎重かつ備えができている必要があるが、私たちはものすごい知性のリスクについてそこまでこだわることはない、と述べている。

一部の哲学者は、本当に「合理的」エージェントは、人工のものであれ人間であれ、自然に慈悲的になると主張する。この考え方では、友好的なAIを生成するように設計された意図的な保護措置は不要あるいは有害でさえある可能性がある。 他の批評家は、人工知能が友好的であり得るかどうかを疑問視する。技術ジャーナル『ザ・ニュー・アトランティス』の編集者であるアダム・カイパーとアリ・N・シュルマンは、倫理的な複雑さの問題は、ソフトウェアの進歩や計算力の増加に取って代わられないため、AIの「友好的な」動作を保証することは不可能だと言う。彼らは、友好的なAI理論の基礎となる基準は、無数の可能性のある結果となる可能性に関する正確な予測とどのように人々が異なる結果を望むかに関する確実性と合意が得られない限り成り立たないと述べる。

• OpenAI
• 技術的特異点
• ロボット工学三原則