最小二乘法知識
在估計(jì)方法中，最大似然和最小二乘是經(jīng)常被使用到的，其中的最小二乘更是回歸的基礎(chǔ)。這就讓小編帶你回歸小二乘法。
最小二乘法知識 篇1
最小二乘法(又稱最小平方法)是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。其他一些優(yōu)化問題也可通過最小化能量或最大化熵用最小二乘法來表達(dá)。
1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來尋找谷神星都沒有結(jié)果。時年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里�！W爾伯斯根據(jù)高斯計(jì)算出來的軌道重新發(fā)現(xiàn)了谷神星。
高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動論》中。
法國科學(xué)家勒讓德于1806年獨(dú)立發(fā)明“最小二乘法”，但因不為世人所知而默默無聞。
二乘法(2張) 勒讓德曾與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭執(zhí)。
1829年，高斯提供了最小二乘法的優(yōu)化效果強(qiáng)于其他方法的證明，因此被稱為高斯-馬爾可夫定理。
以最簡單的一元線性模型來解釋最小二乘法。什么是一元線性模型呢?監(jiān)督學(xué)習(xí)中，如果預(yù)測的變量是離散的，我們稱其為分類(如決策樹，支持向量機(jī)等)，如果預(yù)測的變量是連續(xù)的，我們稱其為回歸�；貧w分析中，如果只包括一個自變量和一個因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的.自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。對于二維空間線性是一條直線;對于三維空間線性是一個平面，對于多維空間線性是一個超平面。
對于一元線性回歸模型, 假設(shè)從總體中獲取了n組觀察值(X1，Y1)，(X2，Y2)， …，(Xn，Yn)。對于平面中的這n個點(diǎn)，可以使用無數(shù)條曲線來擬合。要求樣本回歸函數(shù)盡可能好地?cái)M合這組值。綜合起來看，這條直線處于樣本數(shù)據(jù)的中心位置最合理。 選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為：使總的擬合誤差(即總殘差)達(dá)到最小。有以下三個標(biāo)準(zhǔn)可以選擇：
(1)用“殘差和最小”確定直線位置是一個途徑。但很快發(fā)現(xiàn)計(jì)算“殘差和”存在相互抵消的問題。
(2)用“殘差絕對值和最小”確定直線位置也是一個途徑。但絕對值的計(jì)算比較麻煩。
(3)最小二乘法的原則是以“殘差平方和最小”確定直線位置。用最小二乘法除了計(jì)算比較方便外，得到的估計(jì)量還具有優(yōu)良特性。這種方法對異常值非常敏感。
最常用的是普通最小二乘法( Ordinary Least Square，OLS)：所選擇的回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。(Q為殘差平方和)- 即采用平方損失函數(shù)。
最小二乘法知識 篇2
1.什么是最小二乘法？
很多人都會被“最小二乘法”這個詞誤導(dǎo)了，不知所云。我覺得從它的英文意思更容易理解。最小二乘法的英文是：least square method，英文直譯是平方最小。也就是說，使實(shí)際輸出與預(yù)測輸出的平方之和最小。同時最小二乘法也是損失函數(shù)（loss function）之一。
什么是損失函數(shù)（loss function）？
要理解損失函數(shù)，首先需要理解損失（loss）。預(yù)測值與真實(shí)值之差為損失（loss）。描述損失的函數(shù)稱為損失函數(shù)。損失函數(shù)常用于衡量模型的好壞。而平方損失函數(shù)也就是最小二乘法。
2.最小二乘法與梯度下降的區(qū)別和聯(lián)系？
相同點(diǎn)：最小二乘法和梯度下降都是通過求導(dǎo)來求損失函數(shù)的最小值。
不同點(diǎn)：最小二乘法是對△直接求導(dǎo)令成0來求出全局最小，非迭代法。而梯度下降是一種迭代法，先給定一個數(shù)值，然后環(huán)顧四周，向下降梯度最快的方向調(diào)整，在若干次迭代后找到局部最小（相當(dāng)于貪心算法）。
梯度下降法的缺點(diǎn)是：到最小的附近收斂變慢，并且對初始點(diǎn)的選擇極為敏感。
最小二乘法的缺點(diǎn)是：不適用于特征向量過多的情況。
【最小二乘法知識】相關(guān)文章：
必修三中的最小二乘法01-27
瓷器知識08-11
國學(xué)知識07-12
會計(jì)基礎(chǔ)知識之收入知識03-12
高考物質(zhì)知識點(diǎn):電場知識歸納09-29
植物知識體系知識點(diǎn)復(fù)習(xí)05-19
餐飲消防安全知識方面的知識02-18