1.2. Manipulacije i agregacije podataka

Tokom analiza podataka čest slučaj je da nad sirovim, prikupljenim podacima treba izvršiti određene manipulacije, kao što su rekodiranje (zamjena određenih vrijednosti unutar vektora novim vrijednostima), transponovanje (zamjena kolona i redova data framea), podjela podataka po grupama itd. R i u tom dijelu ima veoma dobro razvijene i već ugrađene funkcije. Primjeri rekodiranja, transponovanja i podjele obilježja po grupama prikazani su narednim blokom R koda.

Primjer 9:

> #rekodiranje 
> x <- rep(1:2, 5)
> x
 [1] 1 2 1 2 1 2 1 2 1 2
> ifelse(x == 1, 999, x)
 [1] 999   2 999   2 999   2 999   2 999   2
> #transponovanje podataka
> mat <- matrix(1:6, ncol = 2)
> mat
     [,1] [,2]
[1,]    1    4
[2,]    2    5
[3,]    3    6
> t(mat)
     [,1] [,2] [,3]
[1,]    1    2    3
[2,]    4    5    6
> #podjela data frame-a po grupama
> DF <- data.frame(x = rep(1:2, 2), y = 1:4)
> DF
  x y
1 1 1
2 2 2
3 1 3
4 2 4
> #funkcija split dijeli data frame u odnosu na zadatu varijablu
> #naredni primjer: data frame DF bice podijeljen u odnosu na variajblu DF[,"x"]
> split(DF, DF[,"x"])
$`1`
  x y
1 1 1
3 1 3

$`2`
2 2 2
4 2 4

Agregacije podataka najčešće predstavljaju prvi korak u samom procesu analize ispitivane pojave. Kako je R prvenstveno namijenjen statističkim analizama, to ne iznenađuje činjenica da osnovna R konfiguracija već sadrži veliki broj funkcija koje je moguće koristiti u ove svrhe. Sve veći i češći zahtjevi za analizu i manipulaciju velikim brojem podataka doveli su do razvoja novih R paketa koji pružaju mogućnost korišćenja naprednijih funkcija za agregaciju podataka. Sljedeći primjeri daju pregled nekih agregacionih funkcija.

Generišemo vještački data frame (DF) dimenzija 100000 redova i 3 kolone:

Primjer 10:

> set.seed(123)
> DF <- data.frame(x = sample(1:3, 1e5, rep = TRUE), y = runif(1e5, 1, 100), z = rnorm(1e5, 10, 2))
> dim(DF)
[1] 100000      3

Sumiramo vrijednosti obilježja y i z :

> sum(DF$y)
[1] 5057166
> sum(DF$z)
[1] 999170.2

Izračunamo aritmetičku sredinu obilježja y za različite modalitete obilježja x koristeći neke od bazičnih funkcija:

> tapply(DF$y, DF$x, mean)
       1        2        3 
50.37350 50.53784 50.80428 
> aggregate(DF$y, list(group = DF$x), FUN = mean)
  group        x
1     1 50.37350
2     2 50.53784
3     3 50.80428

Iste procedure mogu biti odrađene korišćenjem funkcija iz pojedinih R paketa. Prvo, ukoliko paket već nije instaliran, neophodno ga je instalirati. Instalacija dodatnih paketa može biti odrađena preko:

1) R menija praćenjem sljedećih koraka: i) pokrenuti instalaciju:

ii) izabrati CRAN server

iii) izabrati paket koji zelite instalirati i pritisnuti OK:

2) direktno iz konzole pozivanjem funkcije install.packages i odabirom servera sa kojeg će paket biti instaliran; nakon instalacije neophodno je učitati instalirani paket u R okruženje, korišćenjem funckije library kako bi funkcije iz paketa bile dostupne.

Primjer 11:

> install.packages(pkgs = "plyr")
> library(plyr)

Primjer 12 (agregacija podataka):

> ddply(DF, .(x), summarise, avg_y = mean(y))
  x    avg_y
1 1 50.37350
2 2 50.53784
3 3 50.80428
> install.packages(pkgs = "data.table")
> library(data.table)
data.table 1.13.0 using 4 threads (see ?getDTthreads).  Latest news: r-datatable.com
> DT <- data.table(DF)
> DT[, list(avg_y = mean(y)), by = x]
   x    avg_y
1: 3 50.80428
2: 2 50.53784
3: 1 50.37350

Pored velikog broja agregacionih funkcija nekog obilježja po određenim modalitetima, R ima razvijene i procedure za repetitivne zadatke. Tako najčešće korišćene procedure jesu for, while i repeat.

Primjer 13:

> #for petlja
> for	(i in 1:5) {
+ print(i)
+ }
[1] 1
[1] 2
[1] 3
[1] 4
[1] 5
> #while petlja
> x <- 1
> while (x < 6) {
+ print(x)
+ x <- x + 1
+ }
[1] 1
[1] 2
[1] 3
[1] 4
[1] 5
> #repeat loop
> x <- 1
> repeat	{
+ print(x)
+ x <- x + 1
+ if(x > 5) {break}
+ }
[1] 1
[1] 2
[1] 3
[1] 4
[1] 5

Funkcije koje u izvornom kodu imaju neku od repetitivnih funkcija, a već su dio osnovne R konfiguracije, spadaju u grupu često upotrebljavanih funkcija. Najpoznatije među njima su funckije iz apply familije.

Primjer 14:

> db <- data.frame(x = 1:5, y = 5:1)
> #suma svih kolona pojedinacnih redova
> apply(db, 1, sum)
[1] 6 6 6 6 6
> #suma pojedinacnih kolona
> apply(db, 2, sum)
 x  y 
15 15 
> #suma pojedinacnih kolona - rezultat vektor
> sapply(db, sum)
 x  y 
15 15 
> #suma pojedinacnih kolona - rezultat lista
> lapply(db, sum)
$x
[1] 15

$y
[1] 15