Γενικές έννοιες για τον έλεγχο υποθέσεων

Quantitative

Γενικές έννοιες για τον έλεγχο υποθέσεων

Για να μπορέσουμε να περιγράψουμε τον τρόπο αλλά και τα κριτήρια ελέγχου των υποθέσεων πρέπει πρώτα να θέσουμαι τις βασικές έννοιες που θα μας το επιτρέψουν.

Η υπόθεση ενός γεγονότος γίνεται σύχνα στη καθημερινότητα.Το να μπορέσεις να πεις αν η υπόθεση αυτή είναι αληθής είναι που πρέπει να απαντηθεί.Στην στατιστική θεωρούμε H₀ την πιθανότητα να είναι σωστή , και H₁ να αναληθής.Σημαντικη σημείωση είναι ότι αν ισχύει η μια δεν ισχύει η άλλη , είναι δηλαδή αποκλειστικές.

Με τον έλεγχο υποθέσεων προσπαθούμε να διαπιστώσουμε εάν τα δεδομένα του δείγματος υποστηρίζουν την υπόθεση ότι η παράμετρος του πληθυσμού έχει μια συγκεκριμένη τιμή.

Τα κύρια σημεία ελέγχου των υποθέσεων είναι τα εξής:

1)Η υπόθεση μηδέν (Ηο)είναι η υπόθεση που ελέγχουμε

2)Η υπόθεση μηδέν πάντα αναφέρεται σε μια ορισμένη τιμή της παραμέτρου του πληθυσμού , γι'αυτο και περιέχει το σύμβολο (=)

3)Η εναλλακτική υπόθεση (Η1) είναι αντίθετη από την υπόθεση μηδέν και διατυπώνει το συμπέρασμα που θα δεχτούμε εάν η μηδέν είναι λανθασμένη.

4)Γι΄αυτο το λόγο η Η1 δεν περιέχει το (=) αλλά βασίζεται στο μικρότερο (<), μεγαλύτερο (>), διάφορο του μηδενός ()

5)Κριτήρια ελέγχου είναι η μεταβλητή που ακολουθεί μια γνωστή κατανομή και η τιμή της προκύπτει από ένα τυχαίο δείγμα.

6)Το επίπεδο σημαντικότητας α , είναι η πιθανότητα που θέτει τα όρια μεταξύ πιθανού και απίθανου.

Στους στατιστικούς ελέγχους υποθέσεων:

• Επιθυμούμε να ελέγξουμε αν μία ή περισσότερες παράμετροι (π.χ. μέση τιμή μ) ενός πληθυσμού ικανοποιούν μια βασική υπόθεση (π.χ. μ = 100) έναντι μιας εναλλακτικής υπόθεσης (π.χ. μ > 100).

• Σχεδόν πάντοτε δεν είμαστε σε θέση να καταγράψουμε όλον τον πληθυσμό (ώστε να αποφανθούμε με βεβαιότητα για το αν ισχύει η βασική υπόθεση) οπότε αρκούμαστε σε ένα τυχαίο δείγμα από αυτόν.

• Με βάση αυτό το τυχαίο δείγμα θέλουμε να πάρουμε μια απόφαση: να απορρίψουμε ή όχι ότι ισχύει η βασική υπόθεση.

Συνήθως εργαζόμαστε ως εξής:

• Κατασκευάζουμε κάποια συνάρτηση του δείγματος (στατιστική συνάρτηση) η οποία, όταν ισχύει η βασική υπόθεση, ακολουθεί μια συγκεκριμένη (γνωστή) κατανομή. Ενώ όταν ισχύει η εναλλακτική υπόθεση, λαμβάνει «ακραίες» τιμές (πολύ «μεγάλες» ή πολύ «μικρές»).

• Αν, με βάση το τ.δ. που πήραμε, αυτή η στατιστική συνάρτηση λάβει κάποια «ακραία» τιμή τότε απορρίπτουμε την βασική υπόθεση. Το πότε μια τιμή θεωρείται «ακραία» ώστε να απορρίψουμε την βασική υπόθεση εξαρτάται από το «επίπεδο σημαντικότητας» που έχουμε προαποφασίσει.

Πιο συγκεκριμένα, το παραπάνω πρόβλημα και η αντιμετώπισή μπορεί να περιγραφεί ως εξής:

Έστω X₁ , X₂ ,..., X_n ένα τυχαίο δείγμα (ανεξ. ισόνομες τ.μ.) από έναν πληθυσμό με κατανομή F_ θ η οποία εξαρτάται από μια η περισσότερες παραμέτρους θ = θ1, θ2 …, θκ). Επιθυμούμε να ελέγξουμε την υπόθεση θ ∈ Θ0 έναντι της θ ∈ Θ1 όπου Θ0, Θ1 είναι υποσύνολα του παραμετρικού χώρου Θ (σύνολο επιτρεπτών τιμών των παραμέτρων θ) ενώ φυσικά τα Θ0, Θ1 είναι ξένα. Έχουμε λοιπόν τις υποθέσεις:

H0: θ ∈ Θ0, μηδενική (ή βασική) υπόθεση, H1: θ ∈ Θ1, εναλλακτική υπόθεση.

Στη συνέχεια, επιλέγουμε κατάλληλη στατιστική συνάρτηση T(X) = Τ( X₁ , X₂ ,…, X_n) του τ.δ. Χ1, Χ2, …, Χn η οποία, ζητάμε να έχει δύο χαρακτηριστικά:

- όταν ισχύει η Η0 να λαμβάνει τιμές σε μια «περιοχή» του R (σύμφωνα με μια γνωστή κατανομή FT χωρίς άγνωστες παραμέτρους), ενώ

- όταν ισχύει η Η1 να λαμβάνει τιμές εκτός της περιοχής αυτής (συνήθως «μεγαλύτερες»).

Με βάση τη συνάρτηση αυτή, αν x1, x2, …, xn είναι οι τιμές του δείγματος (πραγματοποίηση των X₁ , X₂ ,…, X_n), τότε, συνήθως,

- αν T(x) > c, απορρίπτουμε την H0: θ ∈ Θ0 - αν T(x) ≤ c, δεν απορρίπτουμε την H0: θ ∈ Θ0

To a (επίπεδο σημαντικότητας) είναι προεπιλεγμένο, συνήθως α = 0.05 ή α = 0.01. Δηλαδή απορρίπτουμε την Η0 όταν Τ(x)>c =  (1- α) άνω α -σημείο της κατανομής της T(X) όταν ισχύει η Η.

Πριν την έλευση των Η/Υ συνήθως υπήρχαν πίνακες με τιμές των παραπάνω άνω a-σημείων για συγκεκριμένες κατανομές και συγκεκριμένες τιμές του a. Σήμερα, ο έλεγχος μέσω των στατιστικών προγραμμάτων γίνεται (ισοδύναμα) χρησιμοποιώντας το p-value (ή significance value). Αν η περιοχή απόρριψης της H_O είναι της μορφής T(x) > c τότε το p-value των τιμών x του δείγματος είναι η πιθανότητα p-value = P(T(X) > T(x) / H₀ ) 1 - F₍T | H₀) η οποία μπορεί να θεωρηθεί ότι εκφράζει την πιθανότητα να εμφανιστεί ένα τόσο ή ακόμη και πιο«ακραίο» δείγμα από αυτό που εμφανίστηκε, δεδομένου ότι ισχύει η H_O

(συνήθως η T(X) είναι συνεχής οπότε μπορεί να θεωρηθεί ότι έχουμε ≥ μέσα στην παραπάνω πιθανότητα). Διαισθητικά, αν το pvalue είναι «κοντά» στο 0 τότε συμπεραίνουμε ότι είναι «απίθανο», δεδομένης της H_O, να εμφανιστεί αυτό το δείγμα, και όπως είναι φυσικό φτάνουμε στο συμπέρασμα ότι μάλλον δεν πρέπει να ισχύει η H_O.

Επομένως αντί να εξετάζουμε αν T(x) > c , ισοδύναμα εξετάζουμε:

- αν το p-value < a : απορρίπτουμε την Η0, ενώ

- αν p-value ≥ a : δεν απορρίπτουμε την Η0.

Αν το p-value είναι πάρα πολύ μικρό (π.χ. 0.0001) τότε απορρίπτουμε την H_O χωρίς δεύτερη σκέψη ενώ αν το p-value είναι σχετικά μικρό (π.χ. «κοντά» στο 0.05) τότε μπορεί μεν να απορρίψουμε την H_O αλλά με κάποια επιφυλακτικότητα. Στα στατιστικά πακέτα, μετά την εισαγωγή των τιμών x του δείγματος και την επιλογή του επιθυμητού ελέγχου, εμφανίζεται η τιμή του p-value που αντιστοιχεί στο x. Σύμφωνα με τα παραπάνω, αν η τιμή αυτή είναι μικρή (μικρότερη του a = 0.01 ή 0.05) τότε απορρίπτουμε την H_O. Το πλεονέκτημα από την χρήση του p-value είναι ότι δεν απορρίπτουμε ή δεχόμαστε απλώς την H_O αλλά μπορούμε να δούμε και πόσο πιθανή ήταν η εμφάνιση του δείγματος x που πήραμε υπό την H_O ενώ επίσης μπορούμε να την συγκρίνουμε άμεσα με όποιο a και αν επιλέξουμε.

Ο λόγος για τον οποίο το p-value συνήθως προϋποθέτει τη χρήση Η/Υ είναι διότι χωρίς τον Η/Υ δεν είναι πάντοτε εύκολο να υπολογιστεί ή να πινακοποιηθεί για κάθε τιμή του T(x).

Η λήψη μιας απόφασης σχετικά με τις υποθέσεις που έχουμε κάνει μπορεί να είναι σωστή ή λανθασμένη. Για την ακρίβεια υπάρχουν 4 διαφορετικές περιπτώσεις:

1. H H₀ να είναι αληθής και να αποφασιστεί η αποδοχή της.
2. Η H₀ να είναι ψευδής και να αποφασιστεί η απόρριψή της.
3. Η H₀ να είναι αληθής και να αποφασιστεί η απόρριψή της. Εδώ λέμε πως παρουσιάζεται σφάλμα τύπου Ι.
4. Η H₀ να είναι ψευδής και να αποφασιστεί η αποδοχή της, Εδώ λέμε πως παρουσιάζεται σφάλμα τύπου ΙΙ.

Με άλλα λόγια

Εκτός από τις μέσες τιμές, τυπικές αποκλίσεις κλπ, θέλουμε να βρούμε κατά πόσον αυτές οι παρατηρούμενες τάσεις εξαρτώνται από συγκεκριμένες συνθήκες ή προϋποθέσεις. Δηλαδή διατυπώνουμε μια θεωρία ή νόμο που συνοψίζει αυτό που βλέπουμε, υπό μορφή υπόθεσης. Η υπόθεση αυτή πρέπει να ελεγχθεί σε σχέση με άλλες πιθανές εξηγήσεις.

Η πιο απλή εξήγηση που φυσικά πρέπει να αποκλείσουμε πρώτη είναι τα αποτελέσματα να προέκυψαν κατά τύχη. Άρα, θα διατυπώσουμε μια αρχική "υπόθεση αναφοράς", τη μηδενική υπόθεση (συνήθως γράφεται συμβολικά ως H₀) κατά την οποία τα αποτελέσματα που πήραμε ήταν τυχαία. Ελέγχουμε κατά πόσον, δηλαδή με ποια πιθανότητα είναι δυνατό να συμβεί αυτό. Για το σκοπό αυτό, ορίζουμε ένα ποσοστό, κάτι σαν την εμπιστοσύνη που λέγαμε προηγουμένως, αρκετά μικρό, π.χ. 5% ή 1%. Αν η πιθανότητα ικανοποίησης της μηδενικής υπόθεσης για το δείγμα μας είναι κάτω από αυτό το ποσοστό, τότε τα αποτελέσματα είναι σημαντικά (significant) και μπορούμε να πούμε ότι η δική μας εναλλακτική υπόθεση, υπερτερεί της υπόθεσης ότι προέκυψαν τυχαία.

Το πώς ακριβώς διατυπώνουμε τη μηδενική υπόθεση εξαρτάται από τη φύση του προβλήματος. Π.χ. αν έχουμε δύο ενδεχόμενα, τότε αυτά μπορεί να είναι ανεξάρτητα που συνεπάγεται για το καθένα πιθανότητα Ρ = 50%

Βήματα ελέγχου στατιστικής υπόθεσης

1) Διατυπώνουμε τις υποθέσεις H₀ και H₁ ενώ ταυτόχρονα επιλέγουμε το επίπεδο σημαντικότητας α. Συνήθως παίρνουμε α=1% ή α=5%,

2) Καθορίζουμε με σαφήνεια τον πληθυσμό που μας ενδιαφέρει, την κατάλληλη στατιστική και την κατανομή που ακολουθεί

3) Καθορίζουμε το κριτηριο με το οποίο ελέγχουμε την υπόθεση. Το κριτήριο αυτό θα είναι μία από τις κατανομές z,t,x²,F.

4) Ανάλογα με το επίπεδο σημαντικότητας προσδιορίζουμε τις περιοχές αποδοχής και απόρριψης της H₀ και τέλος

5) Εξετάζουμε σε ποια περιοχή ανήκει η τιμή της στατιστικής που υπολογίζουμε από το δείγμα και προβαίνουμε στην ανάλογη στατιστική υπόθεση.

Παράδειγμα

Έρευνα αν οι μύγες των φρούτων έλκονται από το μέλι ή από το ξύδι. Μηδενική υπόθεση H₀: έλκονται εξίσου, άρα Ρ = 50% Δείγμα: n μύγες που πιάνονται και ποσοστό p που πιάστηκαν με το μέλι. Ορίζουμε εμπιστοσύνη 2% (δηλαδή δεχόμαστε τα αποτελέσματα ως σημαντικά αν είναι κάτω από 2% πιθανότητα να συμβεί το παρατηρούμενο αποτέλεσμα κατά τύχη). Πάμε στη διωνυμική κατανομή για p = 50% και μέγεθος δείγματος 15. Βρίσκουμε ότι για επιτυχίες (να πιαστούν με μέλι) = 12, 13, 14, 15, το άθροισμα των πιθανοτήτων είναι 1.7% < 2% ενώ για 11 επιτυχίες υπερβαίνει από μόνο του το 5% (είναι 0.059). Άρα, πρέπει να πιαστούν τουλάχιστον 12 μύγες με μέλι για να πούμε ότι είναι κάτω από 2% πιθανό να γίνει κατά τύχη. Το σύνολο των πιθανών αποτελεσμάτων που είναι σημαντικά αποτελεί την κρίσιμη περιοχή Αν πιάστηκαν π.χ. 13 μύγες τότε είναι μέσα στην κρίσιμη περιοχή και η εναλλακτική υπόθεση δικαιώνεται έναντι της μηδενικής.

Παρατήρηση Αν θέλαμε να ελέγξουμε κατά πόσο είναι πιθανό να τις πιάσουμε με το ξύδι, τότε θα θεωρούσαμε ότι θα είχαμε 2 αντί για 13 επιτυχίες. Αλλά το αποτέλεσμα είναι ποσοτικά ίδιο (συμμετρική κατανομή), άρα το μόνο που μπορεί να πει είναι ότι είναι απίθανο να έχει τόσο λίγες επιτυχίες κατά τύχη.Αυτό που μπορεί να πει σίγουρα είναι μια εναλλακτική υπόθεση κατά την οποία Ρ Φ 50%.