Από Quantitative
Όταν οι τιμές των δύο μεταβλητών που εκφράζουν τις ιδιότητες σχετίζονται με τέτοιο τρόπο ώστε η μία -έστω η y- να μπορεί να προβλεφθεί καλύτερα, όταν η άλλη -η x- είναι γνωστή, τότε λέμε ότι τα x και y σχετίζονται (θετικά ή αρνητικά). Η απλούστερη μορφή συσχέτισης είναι η γραμμική. Δηλαδή η γραμμική παλινδρόμηση, είναι μία στατιστική προσπάθεια απεικόνισης, της σχέσης δύο ή περισσότερων μεταβλητών x και y. Η μεταβλητή y, ονομάζεται εξαρτημένη και η χ, ανεξάρτητη. Στην περίπτωση που έχουμε μια μόνο ανεξάρτητη μεταβλητή x, τότε η γραμμική παλινδρόμηση, ονομάζεται απλή. Το μοντέλο απεικόνισης της σχέσης ανάμεσα στα X και Y, ονομάζεται γραμμική συσχέτιση.
Residuals:
Coefficients:
Γραφική απεικόνιση:
> plot(δέντρα.prd, δέντρα.res, xlab="Predicted όγκος", + ylab="Std. Residuals") > abline(h=0,lty=2) > title("Std. Residuals vs Fitted Values") > qqnorm(δέντρα.res,ylab="Std. Residuals", + main="Normal Plot of Std. Residuals") > qqline(δέντρα.res)
Η κατανομή της Υ και η Γραμμή παλινδρόμησης
Coefficients: (Intercept) consumption
Παρατηρούμε ένα R2 = 0.3971 το οποίο είναι ένδειξη για την έλλειψη γραμμικότητας της σχέσης εισοδήματος και κατανάλωσης (μόλις το 39,71% της διακύμανσης του εισοδήματος εξηγείται απο την κατανάλωση). Καμμία απο τις 2 παραμέτρους δεν φαίνεται να διαφέρουν στατιστικά σημαντικά απο το μηδέν όπως φαίνεται με τους t ελέγχους. Επίσης, με τον έλεγχο F φαίνεται οτι η υπόθεση οτι οι συντελεστές μπορούν να μηδενίζονται ταυτόχρονα δεν απορρίπτεται. Επομένως το μοντέλο δεν φαίνεται σε καμμία περίπτωση κατάλληλο για συμπερασματολογία και προβλέψεις.
Οι μη προσδιοριστικές σχέσεις μεταξύ μεταβλητών ονομάζονται στοχαστικές – στατιστικές (stochastic, probabilistic) σχέσεις. Στην περίπτωση αυτή, αν επαναλάβουμε το πείραμα πολλές φορές θέτοντας το Χ στο ίδιο επίπεδο X = xi τότε στην τιμή i x της X δεν αντιστοιχεί μια μόνο τιμή i y της Υ αλλά, γενικά, αντιστοιχεί ένα πλήθος διαφορετικών τιμών της Υ. Για παράδειγμα, αν X είναι η τιμή ενός προϊόντος και Υ είναι η ζήτησή του, η Υ βρίσκεται σε στοχαστική σχέση-εξάρτηση από τη X , γιατί η ζήτηση ενός προϊόντος επηρεάζεται και από άλλους παράγοντες όπως είναι το ύψος του εισοδήματος των καταναλωτών, οι τιμές ομοειδών προϊόντων, οι καταναλωτικές συνήθειες, κ.ά.
Γενικά, δύο μεταβλητές που συνδέονται είτε με συναρτησιακή-προσδιοριστική σχέση είτε με στοχαστική σχέση λέγονται «εξαρτημένες». Αν υπάρχει εξάρτηση μεταξύ δύο μεταβλητών, τότε μπορούμε τη μια από αυτές να τη χαρακτηρίσουμε ως «αιτία» και την άλλη ως «αποτέλεσμα». Αυτό όμως, μόνο στην περίπτωση που η εξάρτηση οφείλεται σε σχέση αιτιότητας των δύο μεταβλητών και όχι σε μια απλή συμμεταβολή η οποία μπορεί να οφείλεται σε εξάρτηση των δύο μεταβλητών από μια τρίτη μεταβλητή. Αν, για παράδειγμα, X είναι το ετήσιο εισόδημα μιας οικογένειας και Υ, Ζ είναι τα ποσά που ξοδεύει η οικογένεια αυτή σε ένα έτος για κρέας και για αγορά λογοτεχνικών βιβλίων, τότε: αν διαπιστώσουμε σε ένα σύνολο οικογενειών σχέση μεταξύ των Χ και Υ (ή μεταξύ των Χ και Ζ) δεχόμαστε ότι υπάρχει εξάρτηση μεταξύ των δύο μεταβλητών και τότε μπορούμε να χαρακτηρίσουμε τη Χ ως «αιτία» και την Υ (ή τη Ζ) ως «αποτέλεσμα». Αν όμως διαπιστωθεί σχέση μεταξύ των Υ και Ζ (που είναι πολύ πιθανό, αφού και οι δύο μεταβάλλονται με το ετήσιο εισόδημα Χ) ασφαλώς θα πρόκειται για «νόθα» εξάρτηση. Για να περιγράψουμε τη στοχαστική εξάρτηση δύο μεταβλητών Χ και Υ προσπαθούμε να βρούμε, όπως και στην προσδιοριστική εξάρτηση, μια σχέση μεταξύ των Χ και Υ η οποία όμως τώρα δε θα δίνει ακριβή αλλά προσεγγιστική μόνο εικόνα της εξάρτησης των Χ και Υ και τα σημεία του διαγράμματος διασποράς των Χ και Υ δε θα βρίσκονται πάνω, αλλά, γύρω από μια καμπύλη. Μια μέθοδος που χρησιμοποιείται για την περιγραφή της στοχαστικής εξάρτησης δύο μεταβλητών είναι η μέθοδος των ελαχίστων τετραγώνων και αυτή θα εφαρμόσουμε στη συνέχεια για να μελετήσουμε την πιο απλή μορφή στοχαστικής εξάρτησης, τη γραμμική.
Επομένως, στην εξίσωση Y =α + β ⋅ X , πρέπει να προσθέσουμε έναν ακόμη όρο ε ο οποίος, για δεδομένη τιμή της Χ, να περιγράφει τη διαφορά της παρατηρούμενης από τη θεωρητική (α + β ⋅ X ) τιμή της Υ. Δηλαδή, ε = Y − (α + β ⋅ X ) . Προκύπτει, επομένως, το στοχαστικό μοντέλο
ΠΑΡΑΔΕΙΓΜΑ ΣΤΗ ΘΕΩΡΙΑ
REFRESSION:2008.200_1_2008.200_ 40.778_.000
P-VALUE =O --Bma1645 14:29, 20 Οκτωβρίου 2011 (EEST)ΤΣΑΚΙΡΑΚΗ ΑΛΚΥΟΝΗ
Εισαγωγή
Δύο διαφορετικές ιδιότητες του ίδιου συστήματος ή ατόμου είναι δυνατόν να σχετίζονται ποσοτικά: π.χ. η ηλικία και το βάρος ενός παιδιού έχουν κάποια θετική συσχέτιση (όσο μεγαλύτερο είναι το παιδί τόσο πιο μεγάλο βάρος έχει) και λέμε ότι το βάρος είναι αύξουσα συνάρτηση της ηλικίας του παιδιού. Η σχέση όμως μπορεί να είναι και αρνητική π.χ. όσο μεγαλύτερη είναι η συγκέντρωση σε δηλητηριώδη αέρια στην ατμόσφαιρα, τόσο μικρότερη είναι η διάρκεια ζωής των ζώντων οργανισμών στην περιοχή αυτή.
Επομένως, προβλήματα όπου προσπαθούμε να ποβλέψουμε τη συμπεριφορά μιας μεταβλητής βασισμένης σε μια άλλη,ονομάζονται προβλήματα παλινδρόμησης.Όταν έχουμε μόνο δύο τ.μ,τότε μιλάμε για απλή παλινδρόμηση. Έστω λοιπόν ότι ενδιαφερόμαστε να βρούμε την ενδεχόμενη σχέση μεταξύ δύο μεταβλητών, όπως: Αν ύψος Χ δαπανών για διαφήμιση ενός προϊόντος που επιφέρουν όγκο πωλήσεων Υ. Αν η κατανάλωση Υ για ένα αγαθό αυξάνει με το εισόδημα Χ ενός νοικοκυριού.Για την εύρεση της σχέσης μεταξύ των δύο μεταβλητών Χ και Υ,το πρώτο βήμα είναι να δημιουργήσουμε ζεύγη τιμών από αυτές τις μεταβλητές,τις τιμές Χ να τις τοποθετήσουμε στον οριζόντιο άξονα,ενώ τις τιμές Υ να τις τοποθετήσουμε στον κατακόρυφο άξονα.Το διάγραμμα που θα προκύψει μας δίνει την πρώτη εικόνα για την ενδεχόμενη σχέση μεταξύ των Χ και Υ.
Όταν οι τιμές των δύο μεταβλητών που εκφράζουν τις ιδιότητες σχετίζονται με τέτοιο τρόπο ώστε η μία -έστω η y- να μπορεί να προβλεφθεί καλύτερα, όταν η άλλη -η x- είναι γνωστή, τότε λέμε ότι τα x και y σχετίζονται (θετικά ή αρνητικά). Η απλούστερη μορφή συσχέτισης είναι η γραμμική. Δηλαδή η γραμμική παλινδρόμηση, είναι μία στατιστική προσπάθεια απεικόνισης, της σχέσης δύο ή περισσότερων μεταβλητών x και y. Η μεταβλητή y, ονομάζεται εξαρτημένη και η χ, ανεξάρτητη. Στην περίπτωση που έχουμε μια μόνο ανεξάρτητη μεταβλητή x, τότε η γραμμική παλινδρόμηση, ονομάζεται απλή. Το μοντέλο απεικόνισης της σχέσης ανάμεσα στα X και Y, ονομάζεται γραμμική συσχέτιση.
Τα συσχετισμένα δεδομένα μπορούν να παρασταθούν γραφικά με ένα διάγραμμα διασποράς (scatter diagram), όπου κάθε παρατήρηση παριστάνεται σε ένα σύστημα ορθογωνίων συντεταγμένων με ένα σημείο με συντεταγμένες x και y. Συνήθως η μέτρηση της μιας ιδιότητας, της x, είναι ελεγχόμενη και παρατηρούμε την μέτρηση της άλλης ιδιότητας. Το διάγραμμα είναι απαραίτητο να γίνει, προκειμένου να βεβαιωθούμε ότι η σχέση είναι γραμμική. Αν το σμήνος των σημείων έχει σχήμα κεκλιμένης έλλειψης τότε μπορούμε να πούμε, ότι η σχέση που συνδέει τα x και τα y είναι γραμμική της μορφής:
y=α+βx+ei
Ευθεία Γραμμικής Παλινδρόμησης
Η ευθεία αυτή y=α+βχ λέγεται ευθεία γραμμικής παλινδρόμησης και είναι ο απλούστερος τύπος μοντέλου που συνδέεει τα x και τα y. O συντελεστής α είναι η τιμή του y για χ=0(intercept) και το β είναι η κλίση (slope) της ευθείας. Για μια δοσμένη ευθεία τα α και β είναι σταθερές, με το β να προσδιορίζει την κλίση της ευθείας. Το ei είναι το σφάλμα πρόβλεψης. Εάν η παρατήρηση y δεν υπόκειται σε σφάλματα,δηλ. αν για κάποια τιμή της ανεξάρτητης μεταβλητής χ,μπορούμε να προβλέψουμε ακριβως την τιμή του y .
Ορισμός
Ένα μοντέλο που δίνει την δυνατότητα στο y , να μη βρίσκεται ακριβως στην ευθεία y=α+βχ είναι το: y=α+βχ+e όπου e είναι ένα τυχαίο σφάλμα και παριστάνει τη διαφορά της παρατηρούμενης τιμής y, για δοσμένο x, από τη θεωρητική τιμή α+βx.Αυτού του είδους τα μοντέλα καλούνται στοχαστικά (stochastic models,probabilistic models.) Όσον αφορά τα σφάλματα e υποθέτουμε ότι είναι τυχαία με μέση τιμή E(e)=0.Έτσι ,αφού τα α και τα β είναι άγνωστες σταθερές ισχύει: E(y)=α+βx.
Ετεροσκεδαστικό Διάγραμμα Απεικόνισης
Η γραφική παράσταση που προκύπτει μετά την τοποθέτηση n τιμών(x1 , y1)...(xn , yn)των Χ και Υ σε ένα ορθογώνιο σύστημα συντεταγμένων ονομάζεται ΕΤΕΡΟΣΚΕΔΑΣΤΙΚΟ ΔΙΑΓΡΑΜΜΑ ΑΠΕΙΚΟΝΙΣΗΣ.
Fwteini Εστω ότι η ελαστικότητα ενός υλικού συνδέεται γραμμικά με το μήκος χ της παραμόρφωσης.Δέκα μετρήσεις έδωσαν τα παρακάτω αποτελέσματα:
mikos = c(5,8,12,14,19,25,29,31,33,34) elastikotita=c(69,67,65,56,42,41,38,35,32,30)
Για να δούμε αν υπάρχει γραμμικκή εξάρτηση μεταξύ αυτών των δεδομένων χρησιμοποιώντας το R θα κανουμε τα εξής:
> mikos = c(5,8,12,14,19,25,29,31,33,34) > elastikotita=c(69,67,65,56,42,41,38,35,32,30) > study = data.frame(mikos, elastikotita) > boxplot(mikos ~ elastikotita) > summary(lm(mikos~elastikotita)) Call: lm(formula = mikos ~ elastikotita) Residuals: Min 1Q Median 3Q Max -5.8064 -0.9627 0.6921 1.3301 3.1112 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 53.87323 2.78843 19.32 5.35e-08 *** elastikotita -0.69207 0.05616 -12.32 1.75e-06 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 2.565 on 8 degrees of freedom Multiple R-squared: 0.9499, Adjusted R-squared: 0.9437 F-statistic: 151.8 on 1 and 8 DF, p-value: 1.751e-06
Γραφική απεικόνιση:
> plot(elastikotita~mikos) > abline(lm.result)
- Για να βρούμε το συντελεστή παλινδρόμισης β
> results<-lm(elastikotita~mikos) > res=resid(results) > b1=(coef(results)) > s=sqrt(sum(res^2)/(10-2)) > SE=s/sqrt(sum((elastikotita-mean(elastikotita))^2)) > t=(b1-(-1))/SE > pt(t,8,lower.tail=FALSE) (Intercept) mikos 6.712817e-22 9.992401e-01
- Για να απομονώσουμε τα κατάλοιπα της παλινδρόμισης
> resid(lm.result)
1 2 3 4 5 6 7
-0.4619772 1.6558935 5.1463878 -1.1083650 -8.2452471 -1.0095057 1.4809886
8 9 10
1.2262357 0.9714829 0.3441065
- Για να απομονώσουμε τους συντελεστές παλινδρόμισης:
> coef(lm.result) (Intercept) mikos 76.325095 -1.372624
- Για να απομονώσουμε τις προσεγγίσεις:
> fitted(lm.result)
1 2 3 4 5 6 7 8
69.46198 65.34411 59.85361 57.10837 50.24525 42.00951 36.51901 33.77376
9 10
31.02852 29.65589
> fitted(lm.result)+resid(lm.result)
1 2 3 4 5 6 7 8 9 10
69 67 65 56 42 41 38 35 32 30
- Για να απομοσώσουμε τα σφάλματα των συντελεστών παλινδρόμισης:
>coefficients(summary(lm(mikos~elastikotita)))
Estimate Std. Error t value Pr(>|t|)
(Intercept) 53.873233 2.7884318 19.32026 5.345076e-08
elastikotita -0.692068 0.0561643 -12.32221 1.751447e-06
Παράδειγμα 1 - Γραμμική παλινδρόμηση μεταξύ δυο πληθυσμών (με χρήση του στατιστικού πακέτου R)
Παίρνω για κάποιες μετοχές την τιμή τους και την αντίστοιχη ανώτερη τιμή.
a=c(0.64,0.69,0.13,9.02,1.25,7.68,5.44,0.8,0.17,0.92,0.79,2.47,2.09,1.77,1.24,0.78,0.08,0,1.11,1.48,11.2,0.14,0.33,8.94,0.52,0.51,1.1,1.42,4.1,2.72,4.8,6.52,0.68,1.25) b=c(0.64,0.72,0,9.02,1.25,7.68,5.52,0.8,0.17,0.93,0.8,2.54,2.12,0,1.29,0.8,0.08,0,1.12,1.49,11.62,0.16,0.33,0,0.52,0.51,0,1.43,0,0,4.84,6.56,0.73,0)
Για να βρούμε τη γραμμή παλινδρόμησης αυτών έχουμε:
> plot(a,b) > abline(lm(b~a))
> lm(b~a)
Call:
lm(formula = b ~ a)
Coefficients:
(Intercept) a
-0.08453 0.80387
> summary(lm(b~a))
Call:
lm(formula = b ~ a)
Residuals:
Min 1Q Median 3Q Max
-7.1020 0.1046 0.2497 0.3830 2.7012
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.08453 0.36992 -0.229 0.82
a 0.80387 0.09697 8.290 1.80e-09 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.661 on 32 degrees of freedom
Multiple R-Squared: 0.6823, Adjusted R-squared: 0.6723
F-statistic: 68.72 on 1 and 32 DF, p-value: 1.803e-09
Για να ελέγξουμε αν μπορεί το β1 να είναι -1 εκτελούμε τα παρακάτω:
> results<-lm(b~a) > res=resid(results) > b1=(coef(results))'a' > s=sqrt(sum(res^2)/(n-2)) > SE=s/sqrt(sum((a-mean(a))^2)) > t=(b1-(-1))/SE > pt(t,13,lower.tail=FALSE) [1] 4.782464e-12 < 0.05 άρα απορρίπτεται η μηδενική υπόθεση, ότι δηλαδή το β1 να είναι -1 .
- Απομονώνουμε συντελεστές παλινδρόμησης
> coef(results) (Intercept) a -0.08453343 0.80386732
- Απομονώνουμε τις προσεγγίσεις από την παλινδρόμηση.
> fitted(results)
1 2 3 4 5 6 7 8 9 10
0.42994165 0.47013502 0.01996932 7.16634978 0.92030072 6.08916758 4.28850478 0.55856042 0.05212401 0.65502450
11 12 13 14 15 16 17 18 19 20
0.55052175 1.90101885 1.59554927 1.33831172 0.91226204 0.54248308 -0.02022404 -0.08453343 0.80775929 1.10519020
21 22 23 24 25 26 27 28 29 30
8.91878054 0.02800799 0.18074279 7.10204040 0.33347758 0.32543890 0.79972062 1.05695816 3.21132258 2.10198568
31 32 33 34
3.77402970 5.15668149 0.46209635 0.92030072
- Απομονώνουμε τα σφάλματα των συντελεστών.
> coefficients(summary(results))
Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.08453343 0.3699209 -0.2285176 8.206980e-01
a 0.80386732 0.0969740 8.2895140 1.803206e-09
Παράδειγμα 2
Θέλουμε να μετρήσουμε τι όγκο τής ξυλείας των δέντρων από τις μετρήσεις για το ύψος και το διάμετρο τους.
Μας δίνονται τα παρακάτω δεδομένα:
Διάμετρος ύψος όγκος
8.3 70 10.3
8.6 65 10.3 8.8 63 10.2 10.5 72 16.4
10.7 81 18.8
10.8 83 19.7
Call: lm(formula = όγκος ~ διάμετρος + I(διάμετρος * διάμετρος) + ύψος, data = δέντρα)
Residuals:
Min 1Q Median 3Q Max
-6.4065 -2.6493 -0.2876 2.2003 8.4847
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -57.9877 8.6382 -6.713 2.75e -07 ***
διάμετρος 4.7082 0.2643 17.816 < 2e-16 ***
ύψος 0.3393 0.1302 2.607 0.0145 *
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 3.882 on 28 degrees of freedom
Multiple R-Squared: 0.948, Adjusted R-squared: 0.9442
F-statistic: 255 on 2 and 28 DF, p-value: < 2.2e-16
- Απομονώνουμε συντελεστές παλινδρόμησης
(Intercept) -57.9877
διάμετρος 4.7082
ύψος 0.3393
- Απομονώνουμε τις προσεγγίσεις από την παλινδρόμηση
> fitted(results)
1 2 3 4 5 6
0.11582883 0.14720958 0.17686186 0.05919131 0.12066468 0.15575111
7 8 9 10 11 12
0.11480262 0.05148096 0.09200658 0.04797237 0.07382512 0.04809206
13 14 15 16 17 18
0.04809206 0.07275901 0.03764563 0.03566543 0.13130916 0.14346152
19 20 21 22 23 24
0.06665975 0.21123665 0.03580935 0.04541796 0.04994875 0.11142518
25 26 27 28 29 30
0.06930648 0.08841762 0.09603041 0.10641665 0.10982638 0.10982638
31
0.22705852
- Απομονώνουμε τα σφάλματα των συντελεστών.
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -57.9877 8.6382 -6.713 2.75e -07 ***
διάμετρος 4.7082 0.2643 17.816 < 2e-16 ***
ύψος 0.3393 0.1302 2.607 0.0145 *
Γραφική απεικόνιση:
> plot(δέντρα.prd, δέντρα.res, xlab="Predicted όγκος", + ylab="Std. Residuals") > abline(h=0,lty=2) > title("Std. Residuals vs Fitted Values") > qqnorm(δέντρα.res,ylab="Std. Residuals", + main="Normal Plot of Std. Residuals") > qqline(δέντρα.res)
Απλή Γραμμική Παλινδρόμηση
Η ανάλυση (απλής)παλινδρόμησης είναι μια στατιστική μεθοδολογία η οποία απεικονίζει ουσιαστικά την σχέση μεταξύ 2 μεταβλητών έτσι ώστε η μια μεταβλητή να μπορεί να προβλεφθεί απο ην άλλη.
Χρησιμοποιείται πλέον ευρέως σαν μεθοδολογία σε τομείς όπως κοινωνικές επιστήμες, βιολογία, οικονομικά αλλά και στην διοίκηση επιχειρήσεων (για προβλέψεις τμών, πωλήσεων κλπ.).
Ορισμένα παραδείγματα εφαρμογής της μεθοδολογίας είναι:
- Διερεύνηση της σχέσης πωλήσεων και διαφημιστικής δαπάνης (και πρόβλεψη πωλήσεων), διερεύνηση ύψους και βάρος, εισοδήματος και κατανάλωσης κλπ.
Το πρώτο βήμα για να πραγματοποιηθεί η μελέτη αυτή είναι η κατασκευή μιας μαθηματικής εξίσωσης (μοντέλου) που να περιγράφει την σχέση μεταξύ των 2 υπό εξέταση μεταβλητών. Εδώ θα μελετήσουμε την απλούστερη περίπτωση (που όμως έχει μεγάλη εφαρμογή και χρησιμοποιείται ευρέως σε πραγματικά προβλήματα) της απλής γραμμικής σχέσης μεταξύ των 2 υπό εξέταση μεταβλητών -ανάλυση απλής παλινδρόμησης-.
Κύριο πρόβλημα σε αυτή την ενότητα αποτελεί η διερεύνηση της σχέσης μεταξύ δυο μεταβλητών Χ, Υ (π.χ. Χ: ηλικία και Y: πίεση αίματος). Το γενικό πρόβλημα περιγράφεται ως εξής: από έναν (θεωρητικά άπειρο) πληθυσμό λαμβάνουμε ένα δείγμα μεγέθους n και για κάθε άτομο του δείγματος καταγράφουμε τις τιμές δύο μεταβλητών Χ, Υ. Με βάση λοιπόν τα ζεύγη τι- μών (Χ1,Υ1), (X2,Υ2), …, (Xn,Υn) του δείγματος (π.χ. Χi: Ηλικία σε έτη i-ατόμου, Yi: Πίεση αίματος i-ατόμου) επιθυμούμε να διερευνήσουμε τη σχέση μεταξύ των μεταβλητών X, Y. Επιπλέον θεωρούμε ότι
• Η μεταβλητή X η οποία καλείται ανεξάρτητη (independent) ή ερμηνευτική μεταβλητή δεν θεωρείται τυχαία, ενώ • Η μεταβλητή Y η οποία καλείται εξαρτημένη (dependent) ή μεταβλητή απόκρισης θεωρείται τυχαία μεταβλητή.
Παράδειγμα. Από n = 12 γυναίκες λαμβάνουμε τις ακόλουθες τιμές της πίεσης του αίματος και της αντίστοιχης ηλικίας σε έτη:
Ηλικία (Χ) 36 38 42 42 47 49 55 56 60 63 68 72 Πίεση αίματος (Υ) 118 115 125 140 128 145 150 147 155 149 152 160
Το πρώτο πράγμα που μπορούμε να κάνουμε είναι να δούμε τη «σχέση» των συγκεκριμένων μεταβλητών στο επίπεδο.
Παρατηρούμε ότι όσο αυξάνεται η X (Age) τόσο αυξάνεται και η Υ (Pressure). Μάλιστα φαίνεται ότι τα σημεία (Xi,Yi) βρίσκονται «κοντά» σε μία ευθεία, π.χ. την y = b0 + b1x, δηλαδή Υi ≈ b0 + b1Xi , i = 1, 2, …, n για κάποιες σταθερές b0, b1. Οι αποκλίσεις Υi − b0 + b1Xi, i = 1, 2,…,n των σημείων (Xi,Yi) από την ευθεία αυτή φαίνονται τυχαίες.
Μοντέλο Απλής Γραμμικής Παλινδρόμησης
Στη περίπτωση αυτή έχουμε μια εξαρτημένη μεταβλητή (Y) και μια ανεξάρτητη μεταβλητή X (predictor variable) μέσω της οποίας υπολογίζονται οι τιμές της Y και η εξίσωση(παλινδρόμησης) η οποία τις συνδέει είναι γραμμική.
Yi = β0 + β1Xi + εi
όπου
- Yi είναι η τιμή της ανεξάρτητης μεταβλητής στην i παρατήρηση της X μεταβλητής.
- β0,β1 παράμετροι, συντελεστές παλινδρόμησης. (Η β0 ονομάζεται και τεταγμένη στην αρχή μηδέν).
- Xi είναι η τιμή της ανεξάρτητης μεταβλητής στην i παρατήρηση
- εi είναι το τυχαίο σφάλμα ή κατάλοιπο, δηλαδή η διαφορά μεταξύ της πραγματικής τιμής της Υ και της τιμής πρόβλεψης που προκύπτει από το μοντέλο. Ισχύει E(εi) = 0 και σ2(εi) = σ2. Επίσης τα σφάλματα θεωρούμε οτι είναι ασυσχέτιστα, δηλαδή ισχύει σ(εi,εj) = 0, για κάθε
- Το μοντέλο της απλής γραμμικής παλινδρόμησης θέτει μία γραμμική συσχέτιση ανάμεσα στην αναμενόμενη ή μέση τιμή του Y, εξαρτημένη μεταβλητή, και X,ανεξάρτητη μεταβλητή ή μεταβλητή πρόβλεψης: Yi=b0+b1Xi
- Οι ακριβείς τιμές της Y διαφέρουν από τις αναμενόμενες κατά ένα «ανεξήγητο» τυχαίο σφάλμα: Yi=E[Yi]+ei=b0+b1Xi+ei
Υποθέσεις της απλής γραμμικής παλινδρόμησης
- Η σχέση ανάμεσα στα X και Y μοιάζει με μία ευθεία.Συγκεκριμένα, ο μέσος της κάθε (κανονικής) κατανομής της Yi ισούται με: Ε(Yi)=β0 + β1Xi.
Όλοι οι μέσοι βρίσκονται σε μια ευθεία γραμμή που αποτελεί τη γραμμή παλινδρόμησης του πληθυσμού.
- Για κάθε συγκεκριμένη τιμή της Χ αντιστοιχούν πολλές τιμές της Υ (στο δείγμα φυσικά περιλαμβάνεται μία) που κατανέμονται κανονικά.
- Οι τιμές της ανεξάρτητης μεταβλητής X θεωρούνται γνωστές (όχι τυχαίες);η μοναδική τυχαιότητα στις τιμές της Y εμφανίζεται από την ύπαρξη του σφάλματος ei.
- Τα σφάλματα ei κατανέμονται κανονικά με μέσο 0 και διακύμανση σ2. Τα σφάλματα διαδοχικών παρατηρήσεων είναι ασυσχέτιστα (δεν αλληλοεξαρτώνται).
- Άρα:e~ N(0,σ2)
- Οι ατομικές παρατηρήσεις της εξαρτημένης μεταβλητής Υ είναι μεταξύ τους ανεξάρτητες.
Χαρακτηριστικά Μοντέλου Παλινδρόμησης
- Η εξαρτημένη μεταβλητή Yi αποτελείται απο 2 μέρη. Απο το σταθερό όρο(ντετερμινιστικό) β0 + β1Xi και απο τον τυχαίο όρο εi. Επομένως η εξαρτημένη μεταβλητή Y είναι μια τυχαία μεταβλητή.
- Απο την στιγμή που ισχύει οτι E(εi) = 0, ισχύει οτι E(Yi) = β0 + β1Xi. Η μεταβλητή Yi απέχει απο την προβλεπόμενη τιμή μέσω της εξίσωσης παλινδρόμησης εξαιτιας του τυχαίου όρου εi.
- Ισχύει ότι σ2(Yi) = σ2(β0 + β1Xi + εi) = σ2(εi) = σ2
- τα τυχαία σφάλματα ή κατάλοιπα εi θεωρούμε οτι είναι ασυσχέτιστα.
Ερμηνεία παραμέτρων παλινδρόμησης
- β0 : Είναι ουσιαστικά το σημείο τομής της ευθείας (εξίσωσης) παλινδρόμησης με τον άξονα των Υ. Δίνει ουσιαστικά το μέσο της συνάρτησης πιθανότητας στο X=0. Όταν η τιμή X=0 δεν παίζει κάποιο ρόλο στο μοντέλο, δεν έχει η παράμετρος κάποιο συγκεκριμένο νόημα.
- β1 : Είναι η κλίση της ευθείας παλινδρόμησης και σημαίνει αλλαγή στην μέση τιμή της συνάρτησης πιθανότητας του Y ανά μονάδα αύξησης του X.
Η κατανομή της Υ και η Γραμμή παλινδρόμησης
H μεταβλητή Υ στη σχέση Yt = β0 + β1Xt + ut είναι συνάτηση της τυχαίας μεταβλητής u και επομένως η Υ είναι επίσης τυχαία μεταβήτή. Επιπλέον, η κατανομή της Υ είναι κατανομή υπό συνθήκη, δεδομ'ενης της τιμής της Χ. Δηλαδή, σε κάθε τιμή της Χ δεν υπάρχει μία μόνο τιμή της Υ, αλλά ολόκληρη κατανομή. Αποδεικνύεται ότι ο μέσος E(Yt) και η διακύμανση V(Yt) της Υ, που είναι πραγματικά υπό συνθήκη μέσος και υπό συνθήκη διακύμανση της Xt, δίνονται από τις ακόλουθες σχέσεις:
E(Yt) = β0 + β1Xt
V(Yt) = σ2
Παράδειγμα
Έχουμε για 10 χρόνια δεδομένα για εισόδημα και κατανάλωση μιας οικογένειας και θέλουμε να εκτιμήσουμε το γραμμικό μοντέλο το οποίο συνδέει το εισόδημα και την κατανάλωση.
Income(Y) = α + β * consumption(X) + ε
'Εισόδημα' 'Κατανάλωση'
15478 11214
14574 10321
21456 14587
18541 15624
19213 15420
22147 15641
20011 13548
19654 11110
21547 12584
17412 9852
Διαμορφώνουμε τα δεδομένα και δημιουργούμε στο R το γραμμικό μοντέλο το οποίο συνδέει εισόδημα και κατανάλωση.
> income=c(15478,14574,21456,18541,19213,22147,20011,19654,21547,17412) > consumption=c(11214,10321,14587,15624,15420,15641,13548,11110,12584,9852) > problem.fit=lm(income~consumption) > problem.fit
Coefficients: (Intercept) consumption
9816.5516 0.7072
Εκτιμήθηκαν οι εκτιμητές του μοντέλου με τη μέθοδο των ελαχίστων τετραγώνων.
> summary(problem.fit)
Residuals:
Min 1Q Median 3Q Max
-2541.7 -2079.1 620.6 1309.8 2830.9
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 9816.5516 4057.3107 2.419 0.0419 *
consumption 0.7072 0.3081 2.295 0.0508 .
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 2102 on 8 degrees of freedom Multiple R-squared: 0.3971, Adjusted R-squared: 0.3217 F-statistic: 5.268 on 1 and 8 DF, p-value: 0.05084
Παρατηρούμε ένα R2 = 0.3971 το οποίο είναι ένδειξη για την έλλειψη γραμμικότητας της σχέσης εισοδήματος και κατανάλωσης (μόλις το 39,71% της διακύμανσης του εισοδήματος εξηγείται απο την κατανάλωση). Καμμία απο τις 2 παραμέτρους δεν φαίνεται να διαφέρουν στατιστικά σημαντικά απο το μηδέν όπως φαίνεται με τους t ελέγχους. Επίσης, με τον έλεγχο F φαίνεται οτι η υπόθεση οτι οι συντελεστές μπορούν να μηδενίζονται ταυτόχρονα δεν απορρίπτεται. Επομένως το μοντέλο δεν φαίνεται σε καμμία περίπτωση κατάλληλο για συμπερασματολογία και προβλέψεις.
Γραμμική Παλινδρόμηση Άλλη μία Θεώρηση
Ανάλυση Παλινδρόμησης
Με την ανάλυση παλινδρόμησης (regression analysis) εξετάζουμε τη σχέση μεταξύ δύο ή περισσοτέρων μεταβλητών με σκοπό την πρόβλεψη των τιμών της μιας, μέσω των τιμών της άλλης (ή των άλλων). Σε κάθε πρόβλημα παλινδρόμησης διακρίνουμε δύο είδη μεταβλητών: τις ανεξάρτητες ή ελεγχόμενες ή επεξηγηματικές (independent, predictor, casual, input, explanatory variables) και τις εξαρτημένες ή απόκρισης (dependent, response variables). Σε πειραματικές έρευνες, ανεξάρτητη μεταβλητή X είναι εκείνη την οποία μπορούμε να ελέγξουμε, δηλαδή, να καθορίσουμε τις τιμές της (π.χ. το ύψος της διαφημιστικής δαπάνης ενός προϊόντος, ο αριθμός των λειτουργούντων ταμείων σε ένα υποκατάστημα τραπέζης, η ποσότητα λιπάσματος, η θερμοκρασία επεξεργασίας ενός προϊόντος). Εξαρτημένη μεταβλητή Y είναι εκείνη στην οποία αντανακλάται το αποτέλεσμα των μεταβολών στις ανεξάρτητες μεταβλητές (π.χ. η ζήτηση ενός προϊόντος, ο χρόνος αναμονής των πελατών ενός υποκαταστήματος τραπέζης, η απόδοση μιας καλλιέργειας, η αντοχή ενός υλικού). Σε μη πειραματικές έρευνες (δειγματοληψίες) η διάκριση μεταξύ ανεξάρτητων και εξαρτημένων μεταβλητών δεν είναι πάντοτε σαφής γιατί καμία μεταβλητή δεν είναι ελεγχόμενη αλλά όλες είναι τυχαίες (π.χ. το ύψος και το βάρος των φοιτητών, οι ώρες μελέτης των φοιτητών ενός πανεπιστημιακού τμήματος και η απόδοση τους σε ένα τεστ, οι εβδομάδες εμπειρίας ενός εργάτη σε μια επιχείρηση και ο αριθμός των ελαττωματικών προϊόντων που παράγει, η κατάταξη δέκα προϊόντων από έναν κριτή και η κατάταξη των ιδίων προϊόντων από έναν άλλο κριτή, ο αριθμός των πωλήσεων μουσικών CD σε μια περιοχή και ο αριθμός των νέων στην ίδια περιοχή). Ας θεωρήσουμε δύο μεταβλητές X , Y . Αν οι μεταβλητές αυτές συνδέονται με μια σχέση της μορφής Y = f (X ) μέσω της οποίας για κάθε τιμή της X μπορούμε να προβλέψουμε ακριβώς την τιμή της Y , δηλαδή, αν οι τιμές της Y δεν υπόκεινται σε σφάλματα, τότε λέμε ότι οι δύο μεταβλητές συνδέονται με τη συναρτησιακή- προσδιοριστική (deterministic) σχέση Y = f (X ) . Για παράδειγμα, το ρεύμα που καταναλώνει μια οικογένεια σε ένα δίμηνο και το ποσό που πληρώνει για την κατανάλωση αυτή συνδέονται με συναρτησιακή-προσδιοριστική σχέση. Επίσης, το ποσό που καταθέτει κάποιος στο Ταμιευτήριο και ο τόκος που παίρνει για το ποσό αυτό, συνδέονται με συναρτησιακή-προσδιοριστική σχέση. Σε αυτές τις περιπτώσεις τα σημεία του διαγράμματος διασποράς βρίσκονται όλα πάνω στην καμπύλη που έχει εξίσωση Y = f (X ) και όσες φορές και αν επαναλάβουμε το πείραμα θέτοντας το Χ στο ίδιο επίπεδο i X = x , θα παίρνουμε πάντα την ίδια τιμή για το Υ.
Για παράδειγμα, η εξίσωση Y = (X − 4)2 + 1 (που παριστάνει μια παραβολή) περιγράφει προσδιοριστικά τη σχέση μεταξύ των Χ και Υ του παρακάτω πίνακα:
xi yi 1 10 2 5 3 2 4 1 5 2 6 5 7 10
Οι μη προσδιοριστικές σχέσεις μεταξύ μεταβλητών ονομάζονται στοχαστικές – στατιστικές (stochastic, probabilistic) σχέσεις. Στην περίπτωση αυτή, αν επαναλάβουμε το πείραμα πολλές φορές θέτοντας το Χ στο ίδιο επίπεδο X = xi τότε στην τιμή i x της X δεν αντιστοιχεί μια μόνο τιμή i y της Υ αλλά, γενικά, αντιστοιχεί ένα πλήθος διαφορετικών τιμών της Υ. Για παράδειγμα, αν X είναι η τιμή ενός προϊόντος και Υ είναι η ζήτησή του, η Υ βρίσκεται σε στοχαστική σχέση-εξάρτηση από τη X , γιατί η ζήτηση ενός προϊόντος επηρεάζεται και από άλλους παράγοντες όπως είναι το ύψος του εισοδήματος των καταναλωτών, οι τιμές ομοειδών προϊόντων, οι καταναλωτικές συνήθειες, κ.ά.
Γενικά, δύο μεταβλητές που συνδέονται είτε με συναρτησιακή-προσδιοριστική σχέση είτε με στοχαστική σχέση λέγονται «εξαρτημένες». Αν υπάρχει εξάρτηση μεταξύ δύο μεταβλητών, τότε μπορούμε τη μια από αυτές να τη χαρακτηρίσουμε ως «αιτία» και την άλλη ως «αποτέλεσμα». Αυτό όμως, μόνο στην περίπτωση που η εξάρτηση οφείλεται σε σχέση αιτιότητας των δύο μεταβλητών και όχι σε μια απλή συμμεταβολή η οποία μπορεί να οφείλεται σε εξάρτηση των δύο μεταβλητών από μια τρίτη μεταβλητή. Αν, για παράδειγμα, X είναι το ετήσιο εισόδημα μιας οικογένειας και Υ, Ζ είναι τα ποσά που ξοδεύει η οικογένεια αυτή σε ένα έτος για κρέας και για αγορά λογοτεχνικών βιβλίων, τότε: αν διαπιστώσουμε σε ένα σύνολο οικογενειών σχέση μεταξύ των Χ και Υ (ή μεταξύ των Χ και Ζ) δεχόμαστε ότι υπάρχει εξάρτηση μεταξύ των δύο μεταβλητών και τότε μπορούμε να χαρακτηρίσουμε τη Χ ως «αιτία» και την Υ (ή τη Ζ) ως «αποτέλεσμα». Αν όμως διαπιστωθεί σχέση μεταξύ των Υ και Ζ (που είναι πολύ πιθανό, αφού και οι δύο μεταβάλλονται με το ετήσιο εισόδημα Χ) ασφαλώς θα πρόκειται για «νόθα» εξάρτηση. Για να περιγράψουμε τη στοχαστική εξάρτηση δύο μεταβλητών Χ και Υ προσπαθούμε να βρούμε, όπως και στην προσδιοριστική εξάρτηση, μια σχέση μεταξύ των Χ και Υ η οποία όμως τώρα δε θα δίνει ακριβή αλλά προσεγγιστική μόνο εικόνα της εξάρτησης των Χ και Υ και τα σημεία του διαγράμματος διασποράς των Χ και Υ δε θα βρίσκονται πάνω, αλλά, γύρω από μια καμπύλη. Μια μέθοδος που χρησιμοποιείται για την περιγραφή της στοχαστικής εξάρτησης δύο μεταβλητών είναι η μέθοδος των ελαχίστων τετραγώνων και αυτή θα εφαρμόσουμε στη συνέχεια για να μελετήσουμε την πιο απλή μορφή στοχαστικής εξάρτησης, τη γραμμική.
Απλή Γραμμική
Αν το διάγραμμα διασποράς δύο μεταβλητών X και Y έχει μορφή επιμήκους κεκλιμένης έλλειψης ή πλατυσμένου J, η σχέση των X και Y είναι κατά προσέγγιση γραμμική. Στην περίπτωση αυτή έχουμε την απλούστερη μορφή παλινδρόμησης, την απλή γραμμική παλινδρόμηση όπου υπάρχει μόνο μια ανεξάρτητη μεταβλητή X και η εξαρτημένη μεταβλητή Υ μπορεί να προσεγγισθεί ικανοποιητικά από μια γραμμική συνάρτηση του Χ.
Η γραμμική σχέση Y =α + β ⋅ X δε μπορεί, ασφαλώς, να περιγράψει τη γραμμική στοχαστική εξάρτηση των μεταβλητών Χ και Υ αφού αν, για παράδειγμα, Χ είναι η τιμή ενός προϊόντος και Υ είναι η ζήτηση του προϊόντος αυτού, και διατηρήσουμε τη Χ στο ίδιο επίπεδο 1 X = x1 τότε οι αντίστοιχες τιμές του Υ θα είναι φυσικά διαφορετικές στις διάφορες επαναλήψεις. Επίσης, αν Χ είναι η ποσότητα λιπάσματος και Υ είναι η απόδοση μιας καλλιέργειας, και διατηρήσουμε τη Χ στο ίδιο επίπεδο 1 X = x1 τότε οι αντίστοιχες τιμές του Υ θα είναι φυσικά διαφορετικές στις διάφορες επαναλήψεις αφού παράγοντες όπως, η θερμοκρασία, οι βροχοπτώσεις, η ποιότητα του εδάφους, θα επηρεάζουν, επίσης, την παραγωγή. Επιπλέον, συμβαίνει να παρατηρούνται και σφάλματα μέτρησης των τιμών της Υ (λόγω οργάνων ή ελλιπούς πληροφόρησης). Έτσι, για 1 X = x2 το αντίστοιχο Y1 είναι μια τυχαία μεταβλητή 1 Y που ακολουθεί κάποια κατανομή. Ομοίως, για X = x2 θα έχουμε κάποια άλλη κατανομή Y2 κ.ό.κ..
Επομένως, στην εξίσωση Y =α + β ⋅ X , πρέπει να προσθέσουμε έναν ακόμη όρο ε ο οποίος, για δεδομένη τιμή της Χ, να περιγράφει τη διαφορά της παρατηρούμενης από τη θεωρητική (α + β ⋅ X ) τιμή της Υ. Δηλαδή, ε = Y − (α + β ⋅ X ) . Προκύπτει, επομένως, το στοχαστικό μοντέλο
Y =α + β ⋅ X +ε .
Για λόγους απλούστευσης των υπολογισμών και εφικτότητας λύσης του προβλήματος, κάνουμε κάποιες υποθέσεις, όπως E(ε)=0 και E(Y / X) =α + β ⋅ X Δηλαδή, υποθέτουμε ότι τα σφάλματα έχουν μέση τιμή μηδέν και ότι για τις διάφορες τιμές της Χ, οι αντίστοιχες μέσες τιμές της Υ βρίσκονται πάνω σε μια ευθεία. Η ευθεία αυτή Ε(Y / X) =α + β ⋅Χ , ονομάζεται πληθυσμιακή ευθεία παλινδρόμησης.
ΠΑΡΑΔΕΙΓΜΑ ΣΤΗ ΘΕΩΡΙΑ
ΕΣΤΩ ΟΤΙ ΘΕΛΟΥΜΕ ΝΑ ΔΙΕΡΕΥΝΗΣΟΥΜΕ ΤΗ ΣΧΕΣΗ ΜΕΤΑΞΥ ΜΕΤΑΒΛΗΤΩΝ Χ(ΗΛΙΚΙΑ) & Υ(ΠΙΕΣΗ ΑΤΟΜΟΥ)
n=12ΓΥΝΑΙΚΕΣ
Χ=36, 3842, 42, 47, 49, 55, 56, 60, 63, 68, 72
Υ=118, 115, 125,140, 128, 145, 150, 147, 155, 149, 152, 160
ΤΑ ΣΗΜΕΙΑ (Χ,Υ) ΒΡΙΣΚΟΝΤΑΙ ΚΟΝΤΑ ΣΕ ΜΙΑ ΕΥΘΕΙΑ
y=b0+b1x
Yi≈bo+biX,I=1, 2, 3, ..., n για κάποιες σταθερές b0,b1
ΤΑ Χi & Yi συνδέονται με
Yi=b0+b1Χi+εi, i=1, 2,..., n
b0 kai b1 =δύο άγνωστες σταθερές
ενώ ε1,..,εn=ανεξάρτητες τυχαιές μεταβλητές που ακολουθούν κανονική κατανομή Ν(0,σ^2)και συνήθως καλούνται σφάλματα μετρήσεων.
Η0: b1=0,Η1: b1≠0
R=.896
R^2=.803
AD.R^2=.783
STD ERROR=7.02
ANOVA TABLE
SS _ df _ MS _ F _ Sig
REFRESSION:2008.200_1_2008.200_ 40.778_.000
RESIDUAL:492.467_ 10_ 49.247_
TOTAL:2500.667_11
P-VALUE =O --Bma1645 14:29, 20 Οκτωβρίου 2011 (EEST)ΤΣΑΚΙΡΑΚΗ ΑΛΚΥΟΝΗ
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου