AIが人間を超えるかどうかを議論するためには判断する基準が必要だ
AIについては、常にシンギュラリティ（技術的特異点）を巡る議論がついて回ります。いわゆる、「2045年にAIが人間の知能を超える」というやつですね。これについて、「AIが人間を滅ぼす」とか、逆に「シンギュラリティは来ない」とか、いろいろな議論がされています。しかしこの議論で気になるのは、「何がどうなればAIが人間を超えたことになるのか」についての定義が全然統一されていない（というか、明確にしないままに語られている）ことです。
ただ、統一するためには「知能」が何を意味するのかを決め、それを定量的に評価する必要があるのではないかと思いますが、それができないのでしょうね。そもそも人間自身が「知能」を定義できていないということなのではないでしょうか。知能を定義できない以上、それをAIが超えるとも超えないとも判断できません。
AIを判定するテストとしてはチューリングテストがありますが、評価方法が「人間が判定する」というもので、あまり科学的とも思えません。将棋やチェスで人間に勝つ、というのは確かにひとつの明確な判定方法ではありますから、この方面で人間対AIの闘いがクローズアップされるのは仕方ないのかも知れませんね。
ともあれ、判断基準が無い、作れないとなると、シンギュラリティに関する議論はあまり科学的な意味を持つものとはいえないように思います。脳科学者の茂木健一郎さんがこんなことを言っておられます。
この中で茂木さんは、人間の脳とAIを比べること自体がおかしい、と言い、「シンギュラリティが来るか来ないという議論は意味がないし、あえて言うとシンギュラリティは来てしまっている。」ということです。私もそう思います。
人間はとっくの昔に機械に負けている
AI以外の分野では、既に人間が機械に負けていることはいくらでもあります。計算速度と正確さで電卓に、記憶能力でハードディスクに、遠く遠く及びません。力においてブルドーザーには勝てませんし、走る速さでは車に勝てません。飛行機が無ければ飛ぶこともできない。というか、人間ができないことを可能にするために作ったのが機械であるという見方もできるわけです。
現時点のAIでも、数万の医学論文をベースにして診断を下すなど、特定の分野で人間の能力を超えてしまっているものは存在します。つまり個別の機能（特化型AIですね）においてはシンギュラリティは来てしまっているという言い方もできます。シンギュラリティは汎用AIの話だ、ということですが、そうなると「汎用とは」と、冒頭に戻ってしまいます。
シンギュラリティの定義がなんだか誤解されている
私はカーツワイル氏の原著は読んでいないのですが、彼は「2045年にAIが人間の知能を超える」とは書いていないのだそうです。（原書くらいちゃんと読んでから書けよ、と言われそうですが、結構難解なようで、手を出せずにいます）
2045年を「汎用人工知能（AGI）が人類史上初めて人間よりも賢くなる年」とは言っていないのですね。Wikipediaには
一般人からは未だに誤解されていることが多いが、2045年は「汎用人工知能（AGI）が人類史上初めて出現する年」あるいは「汎用人工知能（AGI）が人類史上初めて人間よりも賢くなる年」ではない。
とあります。しかしむしろこれで安心できないのは、「汎用人工知能（AGI）が人類史上初めて人間よりも賢くなる」のは、2029年だと書いているのだそうです。
ではシンギュラリティは何かというと、これがまた、いろいろな人がいろいろなことを言っています。（同じ本を読んでいるはずなのに。。やはり難解なんでしょうね）
Wikipediaには
2045年頃には、1000ドルのコンピューターの演算能力がおよそ10ペタFLOPSの人間の脳の100億倍にもなり、技術的特異点に至る知能の土台が十分に生まれているだろうと予測しており、この時期に人間の能力と社会が根底から覆り変容すると予想している
とありますが、何を言っているのかよくわかりません。他の記事では、
これもいまひとつピンと来ません。こんな感じの記事が多いです。
いろいろ調べている中で腑に落ちたのがこちらの記事のこの部分です。
人工知能が自らを改良し、人工知能が人工知能を生み出すことを可能とし、事実上、人工知能の開発が人類最後の発明となる
つまりシンギュラリティとは、「AIが自己増殖を始めるポイント」で、その後は人間の関与無しに（想像もできないような方向へ）発展していくということのようです。これは結構納得できます。
ただ、その向かう先に「人間を超える」AIがあるかどうかはわかりません。（というか、基準が。。そして冒頭に戻る ^^;）