ＡＩ脅威論を唱える人は、いささか想像力というか妄想が過ぎる傾向にある。
そういう人はＡＩの専門家ではない場合が多く、ＡＩを過大評価している。
その背景には、ＳＦ映画で描かれてきた悪役ＡＩ像が少なからず影を落としているように思う。
ＡＩは敵か（下）「人類は滅びる」英オックスフォード大哲学者の憂鬱：日経ビジネス電子版
——チェスや囲碁では、世界のトップ選手であってもＡＩに歯が立たなくなりました。ボストロムさんは、そのうち「盤上の遊び」では済まなくなると警鐘を鳴らしています。
ニック・ボストロム英オックスフォード大学教授：囲碁やチェスといった特定の機能に特化したＡＩに続いて、機能を限定しない汎用的なＡＩが人間の知性に追いつき、追い越していくことになるでしょう。
（中略）
ボストロム氏：人間レベルの知能に追いついたＡＩは、その後、急速に自己改良を重ねて「知能爆発」を起こします。そして人間の知性をはるかに超えた「スーパーインテリジェンス（超知能）」へと変貌を遂げます。人間の知能レベルを獲得してから超知能に達するまで、極端な場合、数分から数日しかかからないかもしれません。
現状のＡＩを「知能」と呼ぶことが誤解の元になっている。
知能の定義は定まっていないが、「心」があることが大原則になっている。
参照→ 知能とは
ＡＩに知能があるとするには、ＡＩが「心」……つまり、「意識」あるいは「意思」を持っていることが不可欠となる。
しかしながら、「心」とはなにか？……の答えも明確ではない。
現在のＡＩは巨大なサーバ群であり、高度な計算はしているが、心が発生している兆候はない。
ゆえに、ＡＩは「知能」とは呼べないともいえる。
人類に敵対するＡＩのＳＦ映画というと、古くは『2001年宇宙の旅』のHAL、そしておそらく多くの人がイメージするのが『ターミネーター』だろう。
それらはＳＦとしては面白いが、実現性は乏しい。あまりにもＡＩを擬人化しすぎているからだ。
ＡＩ関連の過去記事に度々書いているが、現状のシリコンチップのコンピュータに、自意識が宿る可能性は極めて低い。意識の発生は、それほど単純ではないと思われるからだ。
非生物であるシリコンチップに、意識は発生しうるのか？
地球外生命の可能性として、ケイ素系生物が想像されたりしているが、コンピュータに使われるシリコンが生命になりうるだろうか？
それがありうるとしたら、極端な話、地殻の主要成分はケイ素（シリコン）であり、そこらへんに転がっている石ころが意識を持つこともありえるともいえる。それではオカルトの世界だ。
現在のＡＩがやっていることは、膨大なデータを記憶して、膨大な選択肢の中から、関連性のもっとも強いものを抽出しているだけ。超複雑な迷路を、総当たりで試して出口を見つける。それを膨大な電力（一説には消費電力が約2.8GWhだという）とリソースを使って、瞬時に答えを出す。
これに対して、人間の脳の消費電力はたったの20Whだ。
ＡＩは計算はしているが、思考しているわけではなく、意識は介在していない。
計算速度は桁違いに速くなっているが、基本的な仕組みはENIACとさほど変わらない。
それは、二進法で計算しているということ。
ＡＩの限界は二進法にあるのではないか？……と思う。
「心」あるいは「意識」は、二進法だろうか？
直感的に、違うと感じる。
「脳」は二進法で動いているわけではない。
コンピュータは計算の仕組みを単純化するために二進法を採用した。ON-OFFであれば部品を作りやすいからだ。
人間はおもに十進法で計算する。足し算、引き算、かけ算、わり算を、十進法で容易に計算できる。そういう教育を受けてきたからだが、コンピュータは二進法に変換しないと計算できない。
手の指の数が10本だから十進法になったとの説もあるが、指折り数えられるというのは直感的に数を把握しやすいのは確か。
数をイメージする……というのが、「意識」のなせる技なのだろう。
コンピュータは０と１の羅列として数を扱う。
「2021」という数字で、人は様々なイメージを浮かべる。
コンピュータにとっては「11111100101」というON-OFFでしかない。
ＡＩが敵になるとしたら、ＡＩが自意識を持つことが前提だ。
だが、現状のＡＩの延長線には自意識を持つＡＩは誕生しないだろう。「心」を発生させるパーツがなく、「心」は二進法ではなく、「心」は二進法で記述されるアプリケーションでもない。
ＡＩは高度な計算ができるコンピュータ以上にはなれない。
また、「敵」という概念は、あまりにも人間的なものだ。
ある対象を「敵」と認識するということは、自分以外の他者が敵であるという設定が必要になる。つまり、他者との区別や線引きをすることで、他者を攻撃したり排除したりするのが「敵」の概念だ。
ＡＩに人間的な概念を教えるから「敵」の概念も学習することになる。
仮に、ＡＩが人類の敵になるとしたら、そうなるように教育したのは人間だということになる。
手本となる人間が愚かであれば、ＡＩも愚かさを身につける。
未来のＡＩが自意識を獲得するとしても、そのベースとなっているのは創造主である人間だ。
どんなに優れた知能を有していても、人間の愚かさを受け継いでいれば、愚かなＡＩにしかならない。
もし、人類がＡＩに滅ぼされるとしたら、それは人間の愚かさが招いたことだ。
無垢なＡＩに、ありとあらゆる情報をインプットしたのは人間なのだから。