thumb|400px|right| Nekoliko skupova (x, y) tačaka, sa Pearsonovim koeficijentom korelacije sa x i y za svaki skup. Korelacija odražava snagu i smjer linearne veze (gornji red), ali ne i nagib te veze (sredina), niti mnoge aspekte nelinearnih odnosa (dno). Napomena: lik u centru ima nagib 0, ali u tom slučaju koeficijent korelacije nije definiran jer varijansa Y iznosi nula. Korelacija (lat. con = sa, relatio = odnos) je međuodnos ili međusobna povezanost između različitih pojava predstavljenih vrijednostima dvaju varijabli. Pri tome povezanost znači da je vrijednost jedne varijable moguće s određenom vjerojatnošću predvidjeti na osnovi saznanja o vrijednosti druge. Školski primjeri povezanosti su naprimjer saznanje o uticaju količine saliniteta na brojnost nekih vrsta riba ili školjki ili o povezanosti slane hrane i visokog krvnog pritiska i sl.
Promjena vrijednosti jedne varijable utiče na promjene druge varijable. Varijabla koja svojom vrijednošću utiče na drugu naziva se neovisna varijabla. Varijabla na koju ona utiče naziva se ovisna varijabla. Naprimjer, unošenje više soli u organizam utiče na porast krvnog pritiska, dok porast krvnog pritiska ne utiče na povećanje unošenja soli u organizam. U ovom primjeru unos soli je neovisna, a povećanje krvnog pritiska je ovisna varijabla. Mogući su slučajevi da dvije varijable istovremeno utiču jedna na drugu, pa su u tom slučaju obje varijable istovremeno i ovisne i neovisne.Croxton, Frederick Emory; Cowden, Dudley Johnstone; Klein, Sidney (1968) Applied General Statistics, Pitman. (page 625)Dietrich, Cornelius Frank (1991) Uncertainty, Calibration and Probability: The Statistics of Scientific and Industrial Measurement 2nd Edition, A. Higler. (Page 331)Aitken, Alexander Craig (1957) Statistical Mathematics 8th Edition. Oliver & Boyd. (Page 95)
Definicija Najpoznatija mjera ovisnosti između dvije veličine je Pearsonov koeficijent korelacije proizvoda i tačaka (PPMCC), ili Pearsonov koeficijent korelacije, koji se obično naziva jednostavno koeficijent korelacije. Matematički je definiran kao kvalitet najmanjih kvadrata koji odgovaraju izvornim podacima. Dobija se uzimajući omjer kovarijancije dviju varijabli o kojima je riječ u datom numeričkom skupu podataka, normaliziran na kvadratni korijen njihove varijance. Matematički se jednostavno dijeli kovarijacija dviju varijabli sa umnoškom njihove standardne devijacije. Karl Pearson razvio je koeficijent iz slične, ali malo drugačije ideje Francisa Galtona.
Pearsonov koeficijent korelacije proizvoda i trenutka pokušava uspostaviti liniju koja najbolje prolazi kroz skup podataka od dvije varijable, u osnovi postavljajući očekivane vrijednosti, a rezultirajući Pearsonov koeficijent korelacije pokazuje koliko je stvarni skup podataka udaljen od očekivanih vrijednosti. Ovisno o predznaku datog Pearsonovog koeficijenta korelacije, može se naći negativna ili pozitivna korelacija, ako postoji bilo kakva veza između varijabli posmatranih skupova podataka.
Koeficijent korelacije populacije između dvije slučajne varijable i sa očekivanom vrijednostima i i standardnom devijacijom i definirana je kao:
gdje je očekivana vrijednost operatora, srednje kovarijanse, a je široko korištena alternativna notacija koeficijenta korelacije. Pearsonova korelacija je definirana samo ako su obje standardne devijacije konačne i pozitivne. Alternativna formula čisto u smislu trenutaka je:
je široko korištena alternativna notacija koeficijenta korelacije. Pearsonova korelacija je definirana samo ako su obje standardne devijacije konačne i pozitivne. Alternativna formula čisto u smislu trenuci je: . To se potvrđuje komutativnim svojstvom množenja.
Korelacija i neovisnost Posljedica je Cauchyja-Schwarzova nejednakost da apsolutna vrijednost Pearsonovog koeficijenta korelacije nije veća od 1. Stoga se vrijednost koeficijenta korelacije kreće između –1 i +1. Koeficijent korelacije je +1 u slučaju savršene direktne (rastuće) linearne veze (korelacije), –1 u slučaju savršene inverzne (opadajuće) linearne veze (antikorelacija),Dowdy, S. and Wearden, S. (1983). "Statistics for Research", Wiley. pp 230 i neka vrijednost u otvorenom intervalu u svim ostalim slučajevima, ukazujući na stupanj linearne ovisnosti između varijabli. Kako se približava nuli, manje je odnosa (bliži nekoreliranim). Što je koeficijent bliži ili −1 ili +1, to je jača korelacija između varijabli.
Ako su varijable neovisne, Pearsonov koeficijent korelacije je 0, ali obrnuto nije tačno, jer koeficijent korelacije otkriva samo linearne zavisnosti između dvije varijable.
Naprimjer, pretpostavimo da je slučajna varijabla simetrično raspoređena oko nule, a i . Tada je u potpunosti određen , tako da i savršeno ovise, ali njihova korelacija je nula ; oni su nepovezani. Međutim, u posebnom slučaju kada su i zajednički normalna, neusklađenost je ekvivalentna neovisnosti.
Iako nekorelirani podaci ne podrazumijevaju nužno neovisnost, može se provjeriti jesu li slučajne varijable neovisne ako je njihova međusobna informacija 0.
Koeficijent korelacije uzorka S obzirom na niz mjeri par indeksiran sa , koeficijent korelacije uzorka može se koristiti za procjenu Pearsonove korelacije populacije između i . Koeficijent korelacije uzorka definiran je kao:
gdje su i prosjeci uzoraka i , a i su korigirane standardne devijacije i .
Ekvivalentni izrazi za su
gdje su and nekorigirane standardne devijacije uzoraka i .
Ako su i rezultati mjerenja koja sadrže grešku mjerenja, realna ograničenja koeficijenta korelacije nisu od -1 do +1, ali su u manjem rasponu. Za slučaj linearnog modela s jednom neovisnom varijablom, koeficijent determinacije (R kvadrat) je kvadrat , Pearsonovog koeficijenta proizvod-moment.
Primjer Razmotrimo zajedničku raspodjelu vjerovatnoće i dane u donjoj tabeli.Example== Consider the joint probability distribution of and given in the table below.
Za ovu zajedničku distribuciju, marginalne raspodjele su:
Ovo daje sljedeća očekivanja i odstupanja:
Stoga:
Odnos između varijabli Međuodnos između dvije varijable, može se grafički prikazati pomoću dvodimenzijskog grafikona, tzv. dijagrama raspršenja. Vrijednosti jedne varijable prikazane su na x osi, a druge na y osi dijagrama. Tačke presjeka kreću se oko određenog pravca koji se naziva linija regresije. Što su tačke bliže pravcu, korelacija je veća, a što su raspršenije korelacija je manja. Osim u slučaju „savršene“ korelacije, u praksi je vizuelno vrlo teško odrediti stepen povezanosti između varijabli. Ovisno o međusobnom odnosu dviju varijabli među kojima postoji korelacija, ona može biti linearna ili nelinearna. Kod linearne korelacije, tačke su grupirane oko pravca. Kod nelinearne korelacije, one su grupirane oko neke druge krive.
Dvije promatrane varijable s ciljem utvrđivanja njihove korelacijske povezanosti mogu imati četiri različite relacije: Pozitivna korelacija je onda kada mala vrijednost jedne varijable odgovara maloj vrijednosti druge, kao i kada velika vrijednost jedne varijable odgovara velikoj vrijednosti druge. Negativna korelacija javlja se kada mala vrijednost jedne varijable odgovara velikoj vrijednosti druge i obratno. Nemonotonu korelaciju onbilježava pojava da vrijednost jedne varijable u nekim intervalima odgovara maloj vrijednosti druge varijable, a u drugim intervalima velikoj vrijednosti. Ako se korelacija više nego jednom mijenja od pozitivne prema negativnoj, takva korelacija naziva se ciklična korelacija. Korelacija ne postoji u primjerima kada se na osnovu vrijednosti jedne varijable ne može ništa zaključiti niti pretpostaviti o vrijednosti druge varijable, tada. U takvom grafikonu, tačke su raspršene.
Koeficijenti korelacije Koeficijenti korelacije izražavaju mjeru povezanosti između dvije varijable u jedinicama koje su nezavisne o konkretnim jedinicama mjere u kojima su iskazane vrijednosti varijabli. Postoji više koeficijenata korelacije koji se koriste u različitim slučajevima. Prilikom analize linearnih modela, u praksi se najčešće koristi Pearsonov koeficijent korelacije. U modelima koji nisu linearni, najčešće se koristi Spearmanov koeficijent korelacije.
Pearsonov koeficijent korelacije thumb|280px|Primjer raspršenih dijagrama različitih skupova podataka s različitim koeficijentima korelacije
Pearsonov koeficijent korelacije koristi se u slučajevima kada između varijabli datog modela postoji linearna povezanost i neprekidna normalna distribucija. Vrijednost Pearsonovog koeficijenta korelacije kreće se od +1 (savršena pozitivna korelacija) do –1 (savršena negativna korelacija). Predznak koeficijenta upućuje na smjer korelacije: da li je pozitivna ili negativna, ali nas upućuje i na snagu korelacije. Pearsonov koeficijent korelacije bazira se na usporedbi stvarnog međuuticaja promatranih varijabli, u odnosu na maksimalni mogući uticaj dviju varijabli. Označava se malim slovom r. Za izračun koeficijenta korelacije potrebna su tri različite sume kvadrata (SS): suma kvadrata varijable X, suma kvadrata varijable Y i suma umnožaka varijabli X i Y.
Suma kvadrata varijable X jednaka je zbitru kvadrata odstupanja vrijednosti varijable X od njezine prosječne vrijednosti:
Prosječna vrijednost varijable X jednaka je:
Zbir kvadrata varijable Y jednak je sumi kvadrata odstupanja vrijednosti varijable Y od njene prosječne vrijednosti:
Prosječna vrijednost varijable Y jednaka je:
Zbir umnožaka varijabli X i Y jednaka je sumi umnožaka odstupanja vrijednosti varijabli X i Y od njihovih prosjeka:
Koeficijent korelacije jednak je omjeru:
U slučaju da među varijablama ne postoji linearna povezanost, može se izvesti odgovarajuća transformacija kojom se vrijednosti varijabli modela svode na linearne.
Spearmanov koeficijent korelacije Spearmanov koeficijent korelacije (korelacija rangova) koristi se za mjerenje povezanosti među varijablama u slučajevima kada nije moguće primjeniti Pearsonov koeficijent korelacije. Temelji se na mjeri dosljednosti povezanosti između poređenih varijabli, a oblik povezanosti (npr. linearni oblik koji je preduvjet za korištenje Pearsonovog koeficijenta) nije bitan. Slučajevi u kojima se koristi Spearmanov koficijent su npr. kada među varijablama ne postoji linearna veza, a nije moguće primijeniti odgovarajuću transformaciju kojom bi se povezanost prevela u linearnu (npr. veza između seizmičkog atributa i bušotinskog podataka u naftnoj geologiji). Spearmanov koeficijent korelacije kao rezultat daje približnu vrijednost koeficijenta korelacije koji se smatra njegovom dovoljno dobrom približnom vrijednošću. Prilikom analize Spearmanovog koeficijenta, vrijednosti varijabli potrebno je rangirati i na takav način svesti na zajedničku mjeru. Najjednostavniji način rangiranja je da se najmanjoj vrijednosti svake varijable pridijeli rang 1, sljedećoj po veličini rang 2 i tako sve do posljednje kojoj se pridjeljuje maksimalan rang. Izračunavanje koeficijenta radi se korištenjem vrijednosti pridijeljenih rangova. Spearmanov koeficijent označavaju se kao ili ,
Formula za izračun Spearmanovog koeficijenta korelacije je:
gdje je d razlika vrijednosti rangova dvije promatrane varijable, a n je broj različitih serija.
Matrica korelacije