Πολυδιάστατο γραμμικό μοντέλο

Από Quantitative

Γενικά

Η πολυδιάστατη γραμμική παλινδρόμηση αποτελεί μια επέκταση της απλής παλινδρόμησης. Στην απλή παλινδρόμηση μελετάται η σχέση μεταξύ της εξαρτημένης μεταβλητής Υ και της ανεξάρτητης μεταβλητής Χ ενώ στην πολυδιάστατη παλινδρόμηση μελετάται η σχέση μεταξύ Υ και των ανεξάρτητων μεταβλητών X₁

Επεκτείνουμε το απλό γραμμικό μοντέλο σε πολυδιάστατο, δεχόμενοι οτι η εξαρτημένη μεταβλητή Y είναι μια γραμμική συνάρτηση των Κ ανεξάρτητων μεταβλητών X₁,...,X₂ και του τυχαίου σφάλματος ε. Αυτό το μοντέλο αποτελεί μία φυσική επέκταση του απλού γραμμικού μοντέλου. Το πολυδιάστατο γραμμικό μοντέλο έχει ως εξής:

Υ = a + b₁x₁ + b₂x₂ + ... + b_kx_k + v , (1)

όπου Υ είναι η εξαρτημένη μεταβλητή,a είναι ο Y-σταθερός όρος της επιφάνειας παλινδρόμησης και κάθε b_i , i = 1,2,...,k είναι η κλίση της επιφάνειας παλινδρόμησης ως προς την αντίστοιχη μεταβλητή Xi, x₁,...,x_k τιμές από τις ανεξάρτητες μεταβλητές X₁,...,X_k, αντίστοιχα και v είναι το τυχαίο σφάλμα.

Προϋποθέσεις του μοντέλου: 1. ν~N(0,s²), ανεξάρτητο από άλλα σφάλματα. 2. Οι μεταβλητές Xi είναι ασυσχέτιστες με τα κατάλοιπα.

Οι μεταβλητές αυτές καλούνται και προβλεπτικές ή ερμηνευτικές. Στόχος είναι να υπολογίσουμε τη συνολική προβλεπτική-ερμηνευτική (ως προς την εξαρτημένη μεταβλητή), ικανότητα τους.

Οι παραδοχές που κάνουμε για το σφάλμα είναι οι εξής:

1. το μοντέλο δίνεται από τη σχέση (1)
2. το τυχαίο σφάλμα v έχει μέσο 0 και σταθερά διακύμανση s² (ομοιοσκεδαστικότητα). Δηλαδή, Εv = 0 και Var v = s²
3. οι τυχαίες μεταβλητές Y₁,...,Y_n είναι ανεξάρτητες τ.μ.

Για x₁ = x_1i, x₂ = x_2i,...,x_k = x_ki, έχουμε

Y_i = a + b₁x_1i + b₂x_2i + ... + b_kx_ki + v_i, i = 1,...,n

Οι τρεις παραπάνω συνθήκες γράφονται ως εξής:

Οι τ.μ. Y_i, i = 1,...,n είναι ανεξάρτητες τ.μ. με

• Μέσο = a + b₁x_1i +...+ b_kx_ki και

• Διακύμανση = s²

οι συντελεστές (εκφρασμένοι σε z-τιμές) που μας πληροφορούν για το βαθμό σπουδαιότητας της κάθε προβλεπτικής μεταβλητής

Για να μετατρέψουμε τους συντελεστές παλινδρόμησης σε τυποποιημένους συντελεστές παλινδρόμησης τότε χρησιμοποιούμε τον παρακάτω τύπο:

Πολυδιάστατο (πολυμεταβλητό) γραμμικό μοντέλο

Πολλές φορές σε πρακτικά προβλήματα κρίνεται απαραίτητο να χρησιμοποιήσουμε 2 ή και περισσότερες ανεξάρτητες μεταβλητές, προκειμένου να περιγράψουμε με μεγαλύτερη ακρίβεια μια εξαρτημένη μεταβλητή.

Για παράδειγμα, αν θεωρήσουμε σαν εξαρτημένη μεταβλητή (Y), την τιμή πώλησης ενός διαμερίσματος, θα επηρεαζόταν, τόσο απο την επιφάνεια του διαμερίσματος σε τετραγωνικά μέτρα(X₁), όσο και απο την παλαιότητα του διαμερίσματος(X₂). Άν παραλείψουμε μια απο τις 2 μεταβλητές ξέρουμε οτι θα παραλείψουμε μια πηγή διακύμανσης της εξαρτημένης μεταβλητής και το μοντέλο παλινδρόμησης δεν θα περιγράφει καλά την εξαρτημένη μεταβλητή.

Τα μοντέλα παλινδρόμησης τα οποία περιέχουν περισσότερες απο μια μεταβλητή, ονομάζονται μοντέλα πολλαπλής παλινδρόμησης.

Μοντέλο 2 ανεξάρτητων μεταβλητών

Y_i = α + β₁X_i1 + β₂X_i2 + ε_i, i=1,2,...,n.

όπου Y_i είναι η τιμή της εξαρτημένης μεταβλητής στην i παρατήρηση

x_i1,x_i2 είναι οι τιμές των ανεξάρτητων μεταβλητών X₁,X₂ αντίστοιχα, στην i παρατήρηση

α,β₁,β₂ είναι οι παράμετροι του μοντέλου.

ε_i είναι ανεξάρτητες τυχαίες μεταβλητές οι οποίες αντιπροσωπεύουν τις αποκλίσεις (σφάλματα) απο την ευθεία παλινδρόμησης και ακολουθούν την κανονική κατανομή με μέση τιμή 0 και διακύμανση s² (N(0,s²))

Η συνάρτηση παλινδρόμησης (regression function) είναι: E(Y | X₁,X₂) = α + β₁X₁ + β₂X₂

Η συνάρτηση παλινδρόμησης oνομάζεται και συνάρτηση ανταπόκρισης (response function). Αρκετές φορές αναφέρεται σαν επιφάνεια παλινδρόμησης (regression surface) ή επιφάνεια ανταπόκρισης (responce surface). Ο όρος επιφάνεια είναι διότι στην περίπτωση αυτή η εξίσωση είναι μια επιφάνεια (επίπεδο) και όχι μια ευθεία όπως στην περίπτωση μιας μεταβλητής.

Ερμηνείες παραμέτρων πολλαπλής παλινδρόμησης:

• Το α αντιστοιχεί στο σημείο τομής του άξονα του Y και της επιφάνειας παλινδρόμησης.

• Το β₁ δείχνει την μεταβολή του E(Y) όταν το X₁ αυξάνει κατά μια μονάδα, ενώ το X₂ παραμένει σταθερό.

• Το Το β₂ δείχνει την μεταβολή του E(Y) όταν το X₂ αυξάνει κατά μια μονάδα, ενώ το X₁ παραμένει σταθερό.

Μοντέλο κ ανεξάρτητων μεταβλητών

Όταν έχουμε κ ανεξάρτητες μεταβλητές, το μοντέλο παλινδρόμησης είναι:

Y_i = α + β₁X_i1 + β₂X_i2 + ... + β_κX_iκ + ε_i , i=1,2,...,n.

όπου Y_i είναι η τιμή της εξαρτημένης μεταβλητής για την i παρατήρηση

X_i1,X_i2,...,X_iκ είναι οι τιμές των ανεξάρτητων μεταβλητών στην i παρατήρηση.

ε_i είναι ανεξάρτητες τυχαίες μεταβλητές οι οποίες αντιπροσωπεύουν τις αποκλίσεις (σφάλματα) απο την ευθεία παλινδρόμησης και ακολουθούν την κανονική κατανομή με μέση τιμή 0 και διακύμανση s² (N(0,s²))

Ερμηνείες παραμέτρων πολλαπλής παλινδρόμησης

• Το α είναι το E(Y), όταν X₁ = X2 = ... = X_κ = 0.

• Το β_i, (i=1,...,k) δείχνει την την μεταβολή της E(Y) όταν η μεταβλητή X_i αυξηθεί κατά μια μονάδα ενώ όλες οι άλλες ανεξάρτητες μεταβλητές παραμένουν σταθερές.

Παράδειγμα

Στην αξία ενός σπιτιού (Y) ξέρουμε οτι βασικό ρόλο παίζουν η επιφάνεια (X₁) και η παλαιότητα (X₂). Απο ένα ενδεικτικό δείγμα 10 σπιτιών, θα μελετήσουμε κατά πόσον εξαρτάται η αξία τους απο τις ανεξάρτητες μεταβλητές εφαρμόζοντας ένα μοντέλο παλινδρόμησης 2 μεταβλητών.

  'Διαμέρισμα (Y)'           'X1'         'X2'
      102                      95           12
       89                      67            8
       82                      72           17
       91                      83           14
      128                      104          13
       65                      46            5
       80                      82           28
       88                      93           32
       65                      77           40
       51                      54           26

> y=c(102,89,82,91,128,65,80,88,65,51)
> x1=c(95,67,72,83,104,46,82,93,77,54)
> x2=c(12,8,17,14,13,5,28,32,40,26)

> problem=lm(y~x1+x2)
> problem

Call:
lm(formula = y ~ x1 + x2)

Coefficients:
(Intercept)           x1           x2  
     19.967        1.084       -1.009  

Εδώ δημιουργήθηκε το μοντέλο παλινδρόμησης και βλέπουμε οτι η επιφάνεια επηρεάζει θετικά στην τιμή, ενώ η παλαιότητα αρνητικά.