F-έλεγχος

Από Quantitative

Με τον έλεγχο που αναπτύσουμε στην παράγραφο Ανάλυση της Διακύμανσης και Έλεγχοι Υποθέσεων μπορούμε να ελέγξουμε αν όλες οι μεταβλητές μας είναι στατιστικά σημαντικές ή οχι. Μπορεί όμως σε πολλές περιπτώσεις ορισμένες μεταβλητές να είναι σημαντικές ενώ οι υπόλοιπες όχι. Έτσι οδηγούμαστε στη σύγκριση δύο μοντέλων.

Το πρώτο μοντέλο, όπου όλες οι μεταβλητές μας υπεισέρχονται, ονομάζεται πλήρες μοντέλο, ενώ το δεύτερο, που περιέχει μόνο μερικές μεταβλητές, ονομάζεται αναγωγικό. Το δεύτερο είναι της ίδιας μορφής όπως το πρώτο, εκτός του οτι δεν περιέχει τις μεταβλητές που δεν είναι σημαντικές. Σχηματικά τα παραπάνω διατυπώνονται ως εξής:

Πλήρες Μοντέλο Y = a + b₁x₁ + ... + b_mx_m + b_{m + 1} + x_{m + 1} + ... + b_kx_k + v

Αναγωγικό Μοντέλο Υ = a + b₁x₁ + ... + b_mx_m + v: < math > b_{m + 1} = ... = b_k = 0 έναντι της εναλλακτικής Α: τουλάχιστον μία από τις παραμέτρους b είναι διαφορετική του 0; Χρησιμοποιούμε την εξής στατιστική ελέγχου:

F =  = 

όπου, SSE_A = Άθροισμα τετραγώνων σφαλμάτων για το αναγωγικό μοντέλο

MSE_P = Μέσο τετραγωνικό σφάλμα για το πλήρες μοντέλο

k-m = Πλήθος των προς έλεγχο b παραμέτρων

k+1 = Σύνολο παραμέτρων του μοντέλου μας

w = πλήθος των προς έλεγχο παραμέτρων

Πρόβλεψη στο πολυδιάστατο μοντέλο παλινδρόμησης

Από Quantitative

Ας θεωρήσουμε ότι έχουμε δύο ανεξάρτητες μεταβλητές x₁,x₂ και θέλουμε να προβλέψουμε την τιμή της Y, με , όταν x₁ = x₁₀ και x₂ = x₁₀.

Τότε μπορεί να δειχθεί οτι:

var(=s²varCovvar

Αν s² αντικατασταθεί με τον εκτιμητή του S²=, λαμβάνουμε τον εκτιμητή  για την  και το διάστημα εμπιστοσύνης για την πρόβλεψη του y είναι το

Αν είχαμε k ανεξάρτητες μεταβλητές τότε κάτω από κατάλληλες αλλαγές, όπως αντικαθιστώντας το t_{n − 3;a / 2} με t_{n − (k + 1);a / 2}, έχουμε το αντίστοιχο διάστημα εμπιστοσύνης για την πρόβλεψη του y_i.

Ανάλυση διακύμανσης και έλεγχοι υποθέσεων

Στατιστικά συμπεράσματα στο πολυδιάστατο γραμμικό μοντέλο

Από Quantitative

Θεωρούμε οτι τα τυχαία σφάλματα v_i του πολυδιάστατου γραμμικού μοντέλου Y = a + b₁x₁ + b₂x₂ + ... + b_kx_k + v ακολουθούν την Κανονική κατανομή Ν(0,1) και χωρίς βλάβη της γενικότητας να περιέχει μόνο τις δύο ανεξάρτητες τ.μ. X₁,X₂. Τότε μπορούμε εύκολα να συνοψίσουμε και να αποδείξουμε τα ακόλουθα:

1. Οι κατανομές των εκτιμητών των παραμέτρων

Οι εκτιμητές  ακολουθούν Κανονικές κατανομές με μέσους a,b₁ και b₂.

Αν με r₁₂ συμβολίσουμε τον συντελεστή συσχέτισης μεταξύ των ανεξάρτητων τυχαίων μεταβλητών X₁ και X₂, με

S₁₁ =  και S₂₂ = ,

τότε οι διακυμάνσεις δίνονται από τις εξής σχέσεις

var() = ,

var() = ,

var() = varCov() + var(),

Cov () = ,

Cov () = -[var() + Cov()],

Cov () = -[Cov() + var()].

Εκτίμηση διακύμανσης της πολλαπλής παλινδρόμησης και πολυδιάστατος συντελεστής συσχέτισης

Από Quantitative

Γενικά

Έχουμε συναντήσει οτι με τη βοήθεια της Μεθόδου των Ελαχίστων Τετραγώνων το πολυδιάστατο γραμμικό μοντέλο εκτιμάται από την:

 = ,

όπου τα  επιλέγονται έτσι ώστε να ελαχιστοποιούν την:

SSE = 

Η τελευταία ποσότητα, όπως και στην απλή παλινδρόμηση, χρησιμοποιείται για να εκτιμήσουμε τη διακύμανση s². Έτσι ένας εκτιμητής για το s² της Πολυδιάστατης Γραμμικής Παλινδρόμησης με k ανεξάρτητες μεταβλητές ορίζεται από τη σχέση:

S² =  =  = 

Γράψαμε το συμβολισμό μέσα στην παρένθεση για να υπενθυμίσουμε στον αναγνώστη οτι έχουμε τη διακύμανση των τιμών της Y σε σχέση με τις k ανεξάρτητες μεταβλητές.

Η μέση μεταβλητότητα είναι αμερόληπτος εκτιμητής της διακύμανσης,S², των σφαλμάτων του πληθυσμού , e , και συμβολίζεται : MSE==

Προσεγγιστικά : S=, αποτελεί ένα μέτρο κατά πόσο τα δεδομένα μας είναι προσαρμοσμένα γύρω από την ευθεία παλινδρόμησης. Για να μετρήσουμε πόσο καλά προσαρμόζονται γύρω από το υπερεπίπεδο παλινδρόμησης χρησιμοποιούμε τον πολυδιάστατο συντελεστή παλινδρόμησης που το συμβολίζουμε με R².