福島のビデオ(1986年)は、手書きの数字を認識するCNNを示しており[3]、ルカンの動画(1989年)の3年前のものです。 CNNタイムラインは[5]より引用: ★ 1969年:福島邦彦は整流線形単位(ReLU)[1]を発表し、現在CNNで広く使われています。 ★ 1979年:福島は畳み込み層とダウンサンプリング層を用いた基本的なCNNアーキテクチャを発表しました[2]。彼はそれをネオコグニトロンと呼んだ。これは監督なし学習ルールで訓練されていました。コンピュートは1989年の100倍のコストで、現在の10億倍も高価でした。 ★ 1986年:福島の手書き数字認識に関するビデオ[3]。 ★ 1988年:Wei Zhangらは、逆伝搬によって訓練された最初の「現代的」な2次元CNNを開発し、文字認識にも応用しました[4]。当時はコンピュートのコストが今日の約1000万倍も高かったのです。 ★ 1989年以降:他者による後期の研究[5]。 参考文献(詳細は[5]参照) [1] 福島三(1969年)。多層的なアナログしきい値要素による視覚的特徴抽出。IEEEシステム科学・サイバネティクス取引。5 (4): 322-333.この研究は、現在CNNやその他のニューラルネットで広く使われている整流線形単位(ReLU)を導入しました。 [2] 福島 K. (1979)位置の変化に影響されないパターン認識メカニズムのためのニューラルネットワークモデル—ネオコグニトロン。IECE通訳、第J62-A巻、第10号、658-665頁、1979年。最初のディープ畳み込みニューラルネットワークアーキテクチャで、交互の畳み込み層とダウンサンプリング層が特徴です。日本語で。英語版:1980年。 [3] 1986年、福島光、三宅、伊藤哲(NHK科学技術研究所)が制作した映画。YouTube: [4] 張華、田田、伊藤敬、市岡義。シフト不変パターン認識ニューラルネットワークとその光学アーキテクチャ。応用物理学会年次会議論文集、1988年。文字認識に応用された最初の「現代的」なバックプロパゲーション訓練済み2次元CNN。 [5] J. シュミットフーバー(AIブログ、2025年)。畳み込みニューラルネットワークを発明したのは誰ですか?

現代のAIは人工ニューラルネットワーク(NN)に基づいています。誰が発明したのですか? 生物学的ニューラルネットは1880年代に発見されました[CAJ88-06]。「ニューロン」という用語は1891年に造られました[CAJ06]。多くの人は、ニューラルネットワークはその後に開発されたと考えています。しかし実際はそうではありません。2層のユニットを持つ最初の「現代的」NNは、2025年よりもはるかに高価な計算コストがかかった2005年から1805年(1795-1805年)[STI81]によって発明されました。 確かに、人工ニューラルネットという用語が導入されたのは1900年代のかなり後半です。例えば、1943年には特定の非学習型NNが議論されました[MC43]。単純なNN学習ルールに関する非公式な考察は1948年に発表されました[HEB48]。NNの進化的計算は、1948年の未発表報告書[TUR1]で言及されています。1958年[R58]、1961年[R61][ST61-95]、1962年[WID62]に様々な具体的な学習NNが発表されました。 しかし、1900年代半ばのこれらのNN論文は歴史的に興味深いものの、実際にはGauss & Legendreによるはるかに古い適応型NNよりも現代AIとはあまり関係がなく、現在も広く使われており、すべてのNNの基盤であり、最近のより深いNNも含めて[DL25]です。 200年以上前のガウス・ルジャンドルNN[NN25]は、複数の入力単位を持つ入力層と出力層を持っています。簡単にするために、後者は単一の出力ユニットで構成されていると仮定します。各入力単位は実数値を保持でき、出力単位と実数値の重み付き接続で接続されています。NNの出力は、入力の積とその重みの和です。入力ベクトルの訓練セットとそれぞれの目標値が与えられると、NNの重みを調整し、NN出力と対応するターゲット間の誤差の二乗の和[DLH]を最小化します。これにより、NNはこれまで見られなかった試験データの処理に使われます。 もちろん当時はこれはNNとは呼ばれていませんでした。なぜなら、生物学的なニューロンの存在すら知られていなかったからです。神経細胞の最初の顕微鏡像は数十年後の1836年にヴァレンティンによって作成され、「ニューロン」という用語は1891年にヴァルデイヤーによって造られました[CAJ06]。代わりに、この手法は最小二乗法(Method of Least Squares)と呼ばれ、統計学では線形回帰法としても広く知られていました。しかし、数学的には今日の線形2層NNと同一です。同じ基本アルゴリズム、同じ誤差関数、同じ適応パラメータや重みです。このような単純なNNは「浅い学習」を行い、多くの非線形層を持つ「ディープラーニング」とは対照的です[DL25]。実際、多くの現代のNNコースではこの手法の導入から始まり、より複雑で深いNNs(DLH)へと進みます。 1800年代初頭の応用も現代と似ており、前の要素から次の要素を予測することを学ぶことだった。それがCHATGPTのやり方です!ニューネットワークによるパターン認識の最初の有名な例は200年以上前に遡ります。1801年にガウスが再発見した準惑星ケレスです。彼は以前の天文観測からノイズの多いデータポイントを収集し、それを使って予測変数のパラメータを調整し、訓練データから一般化してセレスの新しい位置を正確に予測しました。それが若きガウス[DLH]を有名にした理由です。 古いガウス・ルジャンドルNNは、今日でも無数の用途で使われ続けています。2010年代以降の印象的なAIアプリケーションで使われているNNとの主な違いは何ですか?後者は通常、より深く、多くの中間層の学習「隠れた」ユニットがあります。誰がこれを発明したの?短い回答:イヴァフネンコ&ラパ(1965年)[DEEP1-2]。他の者たちはこれを改良しました[DLH]。関連項目:ディープラーニング[DL25]を発明したのは誰か? 現代のニューニュートンは生物学的な脳に何らかの影響を受けたと信じる人もいます。しかしそれは単純ではありません。生物学的な神経細胞が発見される何十年も前から、単純な工学と数学的問題解決が現在「神経ネットワーク」と呼ばれるものを生み出していました。実際、過去200年間でAI研究はあまり変わっていません。2025年時点で、神経ネットワークの進展は依然として主に工学によって推進されており、神経生理学的な洞察によるものではありません。(数十年前に遡る例外[CN25]がこのルールを裏付けています。) 脚注1。1958年には、ガウス&ルジャンドル様式の単純なNNと出力しきい値関数を組み合わせて、Perceptron[R58][R61][DLH]と呼ばれるパターン分類器を得ました。驚くべきことに、著者ら[R58][R61]は、統計学で「最小二乗法」または「線形回帰法」として知られる、はるかに古いNN(1795-1805)を知らなかったようです。驚くべきことに、今日最も頻繁に使われている2層NNはガウス&ルジャンドルのものであり、1940年代[MC43]や1950年代[R58]のもの(これらは微分すら可能ではありません)ではありません! 主な参考文献([NN25]に多くの追加参考文献 - 上記リンク参照): [CAJ88] S. R. カハル。Estructura de los centros nerviosos de las aves.トリム牧師。ヒストル。ノーム・パトル、1(1888年)、1-10頁。 [CAJ88b] S. R. カハル。Sobre las fibras nerviosas de la capa molecular del cerebelo.トリム牧師。ヒストル。ノーム・パトル、1号(1888年)、33-49頁。 [CAJ89]Conexión general de los elementos nerviosos.Med. Pract., 2 (1889), pp. 341-346. [CAJ06] F. ロペス・ムニョス、J. ボヤ b、C. アラモ(2006年)。神経科学の礎となるニューロン理論、サンティアゴ・ラモン・イ・カハルのノーベル賞受賞100周年にて。Brain Research Bulletin、第70巻、第4–6号、2006年10月16日、391-405ページ。 [CN25] J. シュミットフーバー(AIブログ、2025年)。畳み込みニューラルネットワークを発明したのは誰ですか? [DEEP1]イヴァフネンコ, A. G. と ラパ, V. G. (1965).サイバネティック予測装置。CCM情報公社。まずは多くの層を持つディープラーナーを扱い、内部表現を学びます。 [DEEP1a]イヴァフネンコ、アレクセイ・グリゴレヴィチ。取り扱いデータのグループ法;確率的近似法のライバルである。『ソビエト自動制御』13巻(1968年):43-55。 [DEEP2]イヴァフネンコ、A. G.(1971年)。複素系の多項式理論。IEEEシステム、人間、サイバネティクス取引、(4):364-378。 [DL25] J. シュミットフーバー。ディープラーニングを発明したのは誰ですか?技術ノート IDSIA-16-25、IDSIA、2025年11月。 [DLH] J. シュミットフーバー。『現代AIとディープラーニングの注釈付き歴史』。技術報告書IDSIA-22-22、IDSIA、ルガーノ、スイス、2022年。プレプリント arXiv:2212.11279。 [HEB48] J. コノルスキ(1948年)。条件反射とニューロンの組織化。著者の監督のもと、ポーランド語原稿からの翻訳。ケンブリッジ大学出版局、1948年。コノルスキはヘッブよりも先にいわゆる「ヘッブの規則」を発表した[HEB49]。 [HEB49] D.O.ヘブ。行動の組織化。ワイリー、ニューヨーク、1949年。コノルスキ[HEB48]はヘッブより先にいわゆる「ヘッブのルール」を発表しました。 [MC43] W. S. マッカロック、W. ピッツ。神経活動に内在する論理的思考計算。数学生物物理学速報、第5巻、115-133ページ、1943年。 [NN25] J. シュミットフーバー。人工ニューラルネットワークを発明したのは誰ですか?技術ノート IDSIA-15-25、IDSIA、2025年11月。 [R58]ローゼンブラット、F.(1958年)。パーセプトロン:脳内の情報の保存と整理のための確率的モデル。心理学レビュー、65巻6号:386。 [R61]ジョセフ、R. D.(1961年)。パーセプトロン理論への貢献。博士論文、コーネル大学 [R62]ローゼンブラット、F.(1962年)。神経動力学の原理。スパルタン、ニューヨーク。 [ST61] K. スタインブッフ。レルンマトリックス。(学習行列。)Kybernetik, 1(1):36-45, 1961年。 [TUR1] A. M. チューリング。インテリジェント・マシーン。未発表技術報告書、1948年。インスDC、編集者。AMチューリング全集—機械的知能。エルゼビア・サイエンス・パブリッシャーズ、1992年。 [STI81] S. M. スティグラー。ガウスと最小二乗法の発明。Ann. Stat. 9(3):465-474, 1981年。 [WID62]ウィドロウ、B. とホフ、M.(1962年)。適応ニューロンネットワークにおけるデジタル情報の連想的保存と検索。『生物学的プロトタイプと合成システム』、1巻160号、1962年。

10年前:強化学習(RL)プロンプトエンジニア[1](第5.3節)。適応的な思考の連鎖:強化学習ニューラルネットは抽象的な推論と意思決定のために「世界モデル」ネットにクエリを学習します。1990年のニューラルワールドモデル[2]によるミリ秒単位の計画や、1991年の適応ニューラルサブゴールジェネレーター[3,4]による階層的計画のさらなる発展。 [1] J. シュミットフーバー(JS, 2015)。『思考を学ぶことについて:強化学習コントローラとリカレントニューラル・ニューラル・ワールド・モデルの新規結合のためのアルゴリズム情報理論』。ArXiv 1210.0118 [2] JS(1990年)。世界を微分可能にする:非定常環境における動的強化学習と計画のための完全反復自己教師ありニューラルネットワークの利用について。TR FKI-126-90、TUM。(この報告書では、生成的対立ネットワークを通じて人工的好奇心と内発的動機付けも導入されました。) [3] JS(1991年)。アクションシーケンスのサブゴールを生成することを学びます。ICANN'91 論文集、967-972ページ。 [4] JS & R. ヴァンジードラー(1992年)。ニューラルサブゴールジェネレーターを用いた単純な軌道の計画。SAB'92 論文集、196-202ページ、MITプレス。