現代人工智慧是基於人工神經網絡（NNs）。誰發明了它們？ 生物神經網絡是在1880年代被發現的[CAJ88-06]。"神經元"這個術語是在1891年創造的[CAJ06]。許多人認為NN是在那之後發展的。但事實並非如此：第一個"現代"的NN，擁有2層單元，是在兩個多世紀前（1795-1805）由勒讓德（1805）和高斯（1795，未發表）發明的[STI81]，當時計算的成本比2025年貴了數萬億倍。 確實，人工神經網絡的術語直到1900年代才被引入。例如，某些非學習型NN在1943年被討論過[MC43]。關於簡單NN學習規則的非正式想法在1948年發表[HEB48]。關於NN的進化計算在1948年的一份未發表報告中提到[TUR1]。各種具體的學習型NN在1958年[R58]、1961年[R61][ST61-95]和1962年[WID62]發表。 然而，雖然這些1940年代中期的NN論文具有歷史意義，但它們實際上與現代人工智慧的關聯比高斯和勒讓德的更古老的自適應NN要少得多，後者至今仍被廣泛使用，是所有NN的基礎，包括最近的更深層NN[DL25]。 高斯-勒讓德NN來自兩個多世紀前[NN25]，擁有一個輸入層和幾個輸入單元，以及一個輸出層。為了簡化，假設後者由一個輸出單元組成。每個輸入單元可以持有一個實值數字，並通過一個具有實值權重的連接與輸出單元相連。NN的輸出是輸入和其權重的乘積之和。給定一組輸入向量和每個向量的期望目標值，NN的權重會被調整，以使NN輸出與相應目標之間的平方誤差之和最小化[DLH]。現在，NN可以用來處理之前未見過的測試數據。 當然，那時這並不被稱為NN，因為人們甚至不知道生物神經元的存在——第一張神經細胞的顯微圖像是在幾十年後由瓦倫丁於1836年創造的，而"神經元"這個術語是由瓦爾德耶於1891年創造的[CAJ06]。相反，這種技術被稱為最小二乘法，在統計學中也被廣泛稱為線性回歸。但它在數學上與今天的線性2層NN是相同的：相同的基本算法，相同的誤差函數，相同的自適應參數/權重。這種簡單的NN執行"淺層學習"，與擁有許多非線性層的"深度學習"相對[DL25]。事實上，許多現代NN課程都是從介紹這種方法開始，然後轉向更複雜、更深層的NN[DLH]。 即使是1800年代早期的應用也與今天相似：學習預測序列的下一個元素，給定之前的元素。這正是CHATGPT所做的！第一個著名的通過NN進行模式識別的例子可以追溯到200多年前：1801年高斯重新發現了矮行星谷神星，他從之前的天文觀測中收集了噪聲數據點，然後用它們來調整預測器的參數，這本質上學會了從訓練數據中概括，以正確預測谷神星的新位置。這使得年輕的高斯聲名鵲起[DLH]。 古老的高斯-勒讓德NN至今仍在無數應用中使用。與2010年代以來一些令人印象深刻的AI應用中使用的NN相比，主要的區別是什麼？後者通常更深，擁有許多中間層的學習"隱藏"單元。誰發明了這個？簡短的回答是：伊瓦赫年科和拉帕（1965）[DEEP1-2]。其他人對此進行了改進[DLH]。另見：誰發明了深度學習[DL25]？ 一些人仍然相信現代NN在某種程度上受到生物大腦的啟發。但這根本不是真的：在生物神經細胞被發現的幾十年前，純粹的工程和數學問題解決已經導致了現在所稱的NN。事實上，在過去的兩個世紀中，人工智慧研究並沒有太大變化：截至2025年，NN的進展仍然主要由工程驅動，而不是由神經生理學的見解驅動。（某些追溯到幾十年前的例外[CN25]證實了這一規則。） 註腳1：在1958年，簡單的NN以高斯和勒讓德的風格與輸出閾值函數結合，以獲得稱為感知器的模式分類器[R58][R61][DLH]。令人驚訝的是，作者[R58][R61]似乎對更早的NN（1795-1805）並不知情，該NN在統計學領域被稱為"最小二乘法"或"線性回歸"。值得注意的是，今天最常用的2層NN是高斯和勒讓德的，而不是1940年代[MC43]和1950年代[R58]的（這些甚至不是可微分的）！ 選定的參考文獻（更多參考文獻見[NN25] - 請參見上面的鏈接）： [CAJ88] S. R. Cajal. Estructura de los centros nerviosos de las aves. Rev. Trim. Histol. Norm. Patol., 1 (1888), pp. 1-10. [CAJ88b] S. R. Cajal. Sobre las fibras nerviosas de la capa molecular del cerebelo. Rev. Trim. Histol. Norm. Patol., 1 (1888), pp. 33-49. [CAJ89] Conexión general de los elementos nerviosos. Med. Práct., 2 (1889), pp. 341-346. [CAJ06] F. López-Muñoz, J. Boya b, C. Alamo (2006). Neuron theory, the cornerstone of neuroscience, on the centenary of the Nobel Prize award to Santiago Ramón y Cajal. Brain Research Bulletin, Volume 70, Issues 4–6, 16 October 2006, Pages 391-405. ...