现代人工智能基于人工神经网络（NNs）。谁发明了它们？ 生物神经网络在1880年代被发现[CAJ88-06]。术语“神经元”是在1891年创造的[CAJ06]。许多人认为NN是在此之后发展起来的。但事实并非如此：第一批“现代”NN，具有2层单元，是在两个多世纪前（1795-1805）由勒让德（1805）和高斯（1795，未发表）发明的[STI81]，当时计算的成本比2025年贵了数万亿倍。 确实，人工神经网络的术语直到1900年代才被引入。例如，1943年讨论了某些非学习型NN[MC43]。关于简单NN学习规则的非正式想法在1948年发表[HEB48]。关于NN的进化计算在1948年的一份未发表报告中提到[TUR1]。各种具体的学习型NN在1958年[R58]、1961年[R61][ST61-95]和1962年[WID62]发表。 然而，尽管这些20世纪中期的NN论文具有历史意义，但它们与现代人工智能的关系实际上比高斯和勒让德的更古老的自适应NN要少得多，这种NN至今仍被广泛使用，是所有NN的基础，包括最近的更深层NN[DL25]。 高斯-勒让德NN的输入层有多个输入单元，输出层则假设由一个输出单元组成。为了简单起见，假设后者由一个输出单元组成。每个输入单元可以保存一个实值数字，并通过一个具有实值权重的连接与输出单元相连。NN的输出是输入和其权重的乘积之和。给定一组输入向量和每个向量的期望目标值，NN权重会被调整，以使NN输出与相应目标之间的平方误差之和最小化[DLH]。现在，NN可以用来处理以前未见过的测试数据。 当然，那时这并不被称为NN，因为人们甚至还不知道生物神经元的存在——第一张神经细胞的显微图像是在1836年由瓦伦丁创建的，而“神经元”这个术语是在1891年由瓦尔德耶创造的[CAJ06]。相反，这种技术被称为最小二乘法，在统计学中也被广泛称为线性回归。但它在数学上与今天的线性2层NN是相同的：相同的基本算法，相同的误差函数，相同的自适应参数/权重。这种简单的NN执行“浅层学习”，与具有许多非线性层的“深度学习”相对[DL25]。事实上，许多现代NN课程开始时介绍这种方法，然后转向更复杂、更深层的NN[DLH]。 甚至早在1800年代的应用与今天的应用也相似：学习预测序列的下一个元素，给定前面的元素。这就是CHATGPT所做的！第一个通过NN进行模式识别的著名例子可以追溯到200多年前：1801年高斯通过收集来自先前天文观测的噪声数据点，重新发现了矮行星谷神星，然后使用这些数据调整预测器的参数，基本上学习从训练数据中进行概括，以正确预测谷神星的新位置。这使年轻的高斯声名鹊起[DLH]。 古老的高斯-勒让德NN至今仍在无数应用中使用。与2010年代以来一些令人印象深刻的人工智能应用中使用的NN相比，主要区别是什么？后者通常更深，并且有许多中间学习“隐藏”单元。谁发明了这个？简短的回答是：伊瓦赫年科和拉帕（1965）[DEEP1-2]。其他人对此进行了改进[DLH]。另请参见：谁发明了深度学习[DL25]？ 一些人仍然认为现代NN在某种程度上受到了生物大脑的启发。但这根本不是真的：在生物神经细胞被发现的几十年前，纯粹的工程和数学问题解决已经导致了现在所称的NN。事实上，在过去的两个世纪中，人工智能研究并没有太大变化：截至2025年，NN的进展仍主要由工程驱动，而不是由神经生理学的见解驱动。（某些追溯到几十年前的例外[CN25]证实了这一规则。） 脚注1：在1958年，简单的NN以高斯和勒让德的风格与输出阈值函数结合，获得了称为感知器的模式分类器[R58][R61][DLH]。令人惊讶的是，作者[R58][R61]似乎并不知道在统计学领域著名的更早的NN（1795-1805），即“最小二乘法”或“线性回归”。值得注意的是，今天最常用的2层NN是高斯和勒让德的，而不是1940年代[MC43]和1950年代[R58]的（那些甚至不可微分）！ 精选参考文献（更多参考文献见[NN25] - 请参见上面的链接）： [CAJ88] S. R. Cajal. Estructura de los centros nerviosos de las aves. Rev. Trim. Histol. Norm. Patol., 1 (1888), pp. 1-10. [CAJ88b] S. R. Cajal. Sobre las fibras nerviosas de la capa molecular del cerebelo. Rev. Trim. Histol. Norm. Patol., 1 (1888), pp. 33-49. [CAJ89] Conexión general de los elementos nerviosos. Med. Práct., 2 (1889), pp. 341-346. [CAJ06] F. López-Muñoz, J. Boya b, C. Alamo (2006). Neuron theory, the cornerstone of neuroscience, on the centenary of the Nobel Prize award to Santiago Ramón y Cajal. Brain Research Bulletin, Volume 70, Issues 4–6, 16 October 2006, Pages 391-405. ...