人類發(fā)明的機器學(xué)習(xí)（ML）算法簡直數(shù)不勝數(shù)。當然，大多數(shù)時候只有一小部分被用于研究和工業(yè)。然而，對于個人來說，理解并記住所有這些 ML 模型的細節(jié)仍然有點困難。有些人可能會有一個錯誤的印象，認為所有這些算法都是完全不相關(guān)的。更重要的是，當兩種算法似乎都有效時，如何選擇使用算法 A，還是 B？

人類發(fā)明的機器學(xué)習(xí)（ML）算法簡直數(shù)不勝數(shù)。當然，大多數(shù)時候只有一小部分被用于研究和工業(yè)。然而，對于個人來說，理解并記住所有這些 ML 模型的細節(jié)仍然有點困難。有些人可能會有一個錯誤的印象，認為所有這些算法都是完全不相關(guān)的。更重要的是，當兩種算法似乎都有效時，如何選擇使用算法 A，還是 B？

這篇文章的目的是為讀者提供一個不同的角度來看待 ML 算法。有了這些角度，算法可以在同樣的維度上進行比較，并且可以很容易地進行分析。本文在撰寫時考慮了兩個主要的 ML 任務(wù)——回歸和分類。

時間復(fù)雜度

在 RAM 模型下，算法所花費的“時間”是由算法的基本運算來度量的。雖然用戶和開發(fā)人員可能更關(guān)心算法用于訓(xùn)練模型的掛鐘時間，但在比較模型用于訓(xùn)練的時間時，使用最壞情況下的計算時間復(fù)雜度更公平。使用計算復(fù)雜度的好處是，可以忽略運行時使用的計算機能力、架構(gòu)以及底層編程語言等的差異，允許用戶關(guān)注算法基本操作的基本差異。

注意，在訓(xùn)練和測試期間，時間復(fù)雜度可能差別很大。例如，像線性回歸這樣的參數(shù)模型可能訓(xùn)練時間很長，但它們在測試期間很高效。