Tahmin prosedürlerinin çoğu, bazı objektif işlevleri en aza indiren (veya maksimize eden) parametreleri bulmayı içerir. Örneğin, OLS ile kare artıkların toplamını en aza indiririz. Maksimum Olabilirlik Tahmini ile, günlük olabilirlik işlevini en üst düzeye çıkarırız. Fark önemsizdir: minimize etme, objektif fonksiyonun negatifini kullanarak maksimize etmeye dönüştürülebilir.
Bazen bu problem cebirsel olarak çözülebilir ve kapalı formda bir çözüm üretilebilir. OLS ile, birinci dereceden koşulların sistemini çözersiniz ve tanıdık bir formül elde edersiniz (muhtemelen cevabı değerlendirmek için bir bilgisayara ihtiyacınız olsa da). Diğer durumlarda, bu matematiksel olarak mümkün değildir ve bir bilgisayar kullanarak parametre değerlerini aramanız gerekir. Bu durumda, bilgisayar ve algoritma daha büyük bir rol oynar. Doğrusal Olmayan En Küçük Kareler buna bir örnektir. Açık bir formül alamazsınız; Tüm aldığınız bilgisayara uygulamak için gereken bir reçetedir. Tarif, parametrelerin ne olabileceği ve nasıl değişebileceği ile ilgili ilk tahminde bulunabilir. Daha sonra çeşitli parametre kombinasyonlarını deneyin ve hangisinin size en düşük / en yüksek objektif fonksiyon değerini verdiğini görün. Bu kaba kuvvet yaklaşımı ve uzun zaman alıyor. Örneğin,105 kombinasyon ve bu yalnızca şanslıysanız sizi doğru cevabın mahallesine yerleştirir. Bu yaklaşıma şebeke arama denir.
Veya bir tahminde bulunup, hedef fonksiyonundaki gelişmeler bir değerden daha az olana kadar bu yönde bir tahminde bulunabilirsiniz. Bunlar genellikle gradyan metotları olarak adlandırılır (genetiği algoritmalar ve benzetilmiş tavlama gibi, hangi yöne girmek için degradeyi kullanmayan başkaları olsa da). Bunun gibi bazı problemler, doğru cevabı hızlıca bulmanızı garanti eder (karesel fonksiyonlar). Diğerleri böyle bir garanti vermez. Global, optimum yerine yerelde sıkışıp kalmış olduğunuzdan endişe duyabilirsiniz, bu nedenle bir dizi ilk tahminde bulunmayı denersiniz. Çılgınca farklı parametrelerin size objektif fonksiyonun aynı değerini verdiğini farkedersiniz.
Sezgiyi elde etmenin güzel bir yolu. Tek regresörün kesişim noktası olduğu basit bir üstel regresyon modeliniz olduğunu varsayalım:
E[y]=exp{α}
Amaç fonksiyonu
QN(α)=−12N∑iN(yi−exp{α})2
Bu basit problemle her iki yaklaşım da mümkündür. Türev alarak elde ettiğiniz kapalı form çözümü . Ayrıca bunun yerine takarak başka bir şeyin size objektif fonksiyonun daha yüksek bir değer verdiğini doğrulayabilirsiniz . Bazı regresörleriniz varsa, analitik çözüm pencereden dışarı çıkar.α∗=lny¯ln(y¯+k)