7.1. Ocjena modela linearne regresije

Jedna od metoda ocjene koeficijenata linearne regresije jeste tzv. metoda najmanjih kvadrata (engleski OLS, ordinary least square). Korišćenjem ove metode dobijaju se regresioni koeficijenti koji minimiziraju kvadratno odstupanje regresione prave od pojedinačnih vrijednosti zavisne promjenljive. Ukoliko u matričnom obliku sa $X$ označimo set od $k$ različitih nezavisnih promjenljivih sa ukupno $n$ opservacija, a sa $Y$ nezavisnu promjenljivu takođe sa $n$opservacija, izraz za ocjenu regresionih koeficijenata putem metode najmanjih kvadrata ima formu:

$$\hat{\beta} = (X^{'}X)^{-1}X^{'}Y$$

Standardne greške ocijenjenih koeficijenata date su formulom:

$$se(\hat{\beta}) = \sqrt{\hat{\sigma}^2}(X^{'}X)^{-1}$$

gdje je $\hat{\sigma}^2$standardna greška regresije i računa se kao:

$$\hat{\sigma}^2 = (n-k-1)^{-1}\hat{\varepsilon}^{'}\hat{\varepsilon}$$

Izvođenje zaključka o statističkoj značajnosti ocijenjenih koeficijenata vrši se na osnovu empirijskih t vrijednosti i vjerovatnoća izvedenih iz tih vrijednosti. Izračunata t statistika dobija se kao:

$$t = \frac{\hat{\beta} - \beta_0}{se(\hat{\beta})}$$

dok se odgovarajuća p vrijednost dobija na osnovu funkcije kumulative vjerovatnoće t rasporeda za $n-k-1$ stepeni slobode. Poređenjem dobijenih p vrijednosti i određenog nivoa značajnosti izvodi se zaključak o statističkoj značajnosti ocijenjenih koeficijenata.

Primjer 58: U fajlu OLS.csv, dati su kvartalni podaci o vrijednostima PD-ijeva (kolona PD) sektora stanovništva i makroekonomskim indikatorima: BDP-u i promjenama stope nezaposlenosti (kolone GDP i UNEMP). Ocijeniti model linearne regresije u kome PD predstavlja zavisnu promjenljivu, dok BDP i promjena stope nezaposlenosti predstavljaju nezavisne promjenljive. Pored regresionih koeficijenata, prikazati i standardne greške tih ocjena, kao i t statistiku i odgovarajuće p vrijednosti za procjenu statističke značajnosti koeficijenata.

> #import podataka
> db <- read.csv("OLS.csv", header = TRUE)
> head(db)
        date          PD        GDP        UNEMP
1 30.06.2011 0.006352307 0.03647205  0.001098166
2 30.09.2011 0.013755036 0.01301340  0.000738216
3 31.12.2011 0.011773418 0.01959145  0.014984515
4 31.03.2012 0.002426234 0.05015856 -0.022696753
5 30.06.2012 0.010740290 0.01687268 -0.025271417
6 30.09.2012 0.001515230 0.06314364  0.002915853
> #definisanje zavisnih i nezavisnih promjenljivih
> Y <- as.matrix(db[, "PD", drop = FALSE])
> X <- as.matrix(cbind(1, db[, c("GDP", "UNEMP")]))
> #ocjena koeficijenata
> beta.coef <- solve(t(X) %*% X) %*% t(X) %*% Y
> beta.coef
               PD
1      0.01282138
GDP   -0.17466805
UNEMP  0.02989176
> #broj opservacija i nezavisnih promjenljivih
> n <- nrow(X)
> k <- ncol(X) - 1 
> #ocijenjene vrijednosti zavisne promjenljive
> Y.hat <- X %*% beta.coef
> #suma kvadrata odstupanja
> sse <- sum((Y - Y.hat)^2)
> sse
[1] 0.0001021677
> #standardna greska reziduala
> rse <- sqrt(sse / (n - k - 1))
> rse
[1] 0.002205703
> #standardna greska ocjene koeficijenata
> beta.coef.se <- sqrt(diag(rse^2 * solve(t(X) %*% X)))
> beta.coef.se
          1         GDP       UNEMP 
0.001295806 0.025787781 0.028863410 
> # t vrijednosti
> t.val <- beta.coef / beta.coef.se
> t.val
             PD
1      9.894520
GDP   -6.773287
UNEMP  1.035628
> #p vrijednosti
> p.val <- pt(abs(t.val), df = n - k - 1, lower.tail = FALSE) * 2
> p.val 
                PD
1     2.331995e-09
GDP   1.064356e-06
UNEMP 3.121548e-01
> #r funkcija
> lm.e <- lm(PD ~ GDP + UNEMP, data = db)
> lm.s <- summary(lm.e)
> lm.s$coef
               Estimate  Std. Error   t value     Pr(>|t|)
(Intercept)  0.01282138 0.001295806  9.894520 2.331995e-09
GDP         -0.17466805 0.025787781 -6.773287 1.064356e-06
UNEMP        0.02989176 0.028863410  1.035628 3.121548e-01

Ocijenjeni koeficijenti modela interpretiraju se u smislu jedinične promjene nezavisne promjenljive, pa na primjer možemo reći da za povećanje vrijednosti BDP-a za 1% (0.01) i zadržavanjem ostalih vrijednosti nezavisnih promjenljivih konstantnim, smanjuje vrijednost PD-ija za 0.17% (0.0017).