Capitolo 16 Appendice E: Confronto di due proporzioni

Il test di t, con tutte le sue varianti, è fondamentalmente basato sul rapporto tra una stima ed il suo errore standard, la cui sampling distribution è approssimativamente gaussiana o, più precisamente, segue la distribuzione di ‘t di Student’. Tuttavia, io posso testare ipotesi di ogni tipo, mi basta avere una qualunque statistica che descriva l’andamento dell’esperimento e conoscere la sua sampling distribution, assumendo che l’ipotesi nulla sia vera. Questa sampling distribution può essere empirica (cioè ottenuta per simulazione Monte Carlo) o meglio teorica, scelta in base a considerazioni di natura statistico-matematica; su di essa, vado a cercare la probabilità di trovare valori per la statistica in studio che siano tanto estremi o più estremi di quello da noi riscontrato.

16.1 Il test di ‘chi quadro’

Ad esempio, immaginiamo che io abbia una stima pari a 22 ed immaginiamo che la sampling distribution per questa stima, assumendo vera l’ipotesi nulla, segua la distribuzione di \(\chi^2\) con 10 gradi di libertà (per menzionare una qualunque distribuzione che non conosciamo ancora). Allora io posso ottenere un P-level per l’ipotesi nulla andandomi a guardare la probabilità di osservare un valore altrettanto estremo o più estremo di 22 (test ad una coda), come indicato nel box sottostante.

pchisq(22, 10, lower.tail = F)
## [1] 0.0151046

Il test di \(\chi^2\) funziona esattamente in questo modo ed è utilizzato per valutare la significatività della connessione tra due caratteri qualitativi, per i quali sia stata costruita una tabella delle contingenze (ricordate il Capitolo 3?).

Ad esempio, immaginiamo un esperimento per verificare se un coadiuvante aumenta l’efficacia di un insetticida. In questo esperimento, utilizziamo l’insetticida da solo e miscelato con il coadiuvante su due gruppi di insetti diversi. Nel primo gruppo (trattato con insetticida) contiamo 56 morti su 75 insetti trattate, mentre nel secondo gruppo (trattato con insetticida e coadiuvante) otteniamo 48 morti su 50 insetti trattati.

Nel capitolo 3 abbiamo visto come costruire una tabella di contingenze e come calcolare il \(\chi^2\) per misurare l’entità della connessione:

counts <- c(56, 19, 48, 2)
tab <- matrix(counts, 2, 2, byrow = T)
row.names(tab) <- c("I", "IC")
colnames(tab) <- c("M", "V")
tab
##     M  V
## I  56 19
## IC 48  2
summary( as.table(tab) )
## Number of cases in table: 125 
## Number of factors: 2 
## Test for independence of all factors:
##  Chisq = 9.768, df = 1, p-value = 0.001776

Il valore di \(\chi^2\) osservato è pari a 9.768, il che indica un certo grado di connessione, in quanto è diverso dal valore atteso in assenza di connessione che sarebbe zero (Capitolo 3). Tuttavia, noi non siamo interessati solo ai 125 insetti osservati, ma siamo interessati a trarre conclusioni generali e valide per l’intera popolazione che ha generato il nostro campione. A questo fine abbiamo bisogno di un test d’ipotesi formale; se non esiste connessione, la proporzione di insetti controllati dal trattamento dovrebbe la stessa, indipendentemente dalla presenza del coadiuvante. Cioè:

\[H_o :\pi_1 = \pi_2 = \pi\]

Vediamo che, come negli altri esempio, l’ipotesi nulla riguarda i parametri delle popolazioni (\(\pi_1\) e \(\pi_2\)), non quelli dei campioni (\(p_1\) e \(p_2\)). Ci chiediamo: se l’ipotesi nulla fosse vera (\(\pi_1 = \pi_2\)), quale sarebbe la sampling distribution per \(\chi^2\)? E soprattutto, quanto sarebbe probabile ottenere un valore alto come il nostro o più alto? Karl Pearson ha dimostrato che il valore di \(\chi^2\), quando l’ipotesi nulla è vera, segue la distribuzione di \(\chi^2\), con un numero di gradi di libertà pari a quelli della tabelle delle contingenze (bisogna prendere il minimo valore tra il numero di righe meno una e il numero di colonne meno una; vedi il Capitolo 3). Il box sottostante mostra come utilizzare la funzione ‘pchi()’ per il calcolo del P-level (in questo caso il test è ad una coda, perché la connessione implica valori di \(\chi^2\) alti e non bassi).

pchisq(9.768, df = 1, lower.tail = F)
## [1] 0.001775755

Vediamo che questo P-level era già disponibile nell’output della funzione summary(); essendo inferiore a 0.05, ci consente di rigettare l’ipotesi nulla, affermando che esiste una differenza significativa tra l’effetto dell’insetticida quando è utilizzato da solo e quando è utilizzando in abbinamento con un coadiuvante.

Allo stesso risultato, ma in modo più semplice, è possibile pervenire utilizzando la funzione chisq.test(), applicata alla tabella di contingenza:

chisq.test(tab, correct = F)
## 
##  Pearson's Chi-squared test
## 
## data:  tab
## X-squared = 9.768, df = 1, p-value = 0.001776

L’opzione ‘correct = F’ permette di evitare la correzione per la continuità (correzione di Yates), che è invece necessaria quando il numero dei soggetti è piccolo (minore di 30, grosso modo).

16.2 Confronto tra due proporzioni con simulazione di Monte Carlo

Vi sono situazioni nelle quali non vi è una chiara indicazione su quale sia la distribuzione di probabilità/densità più opportuna per descrivere la sampling distribution di una statistica sotto l’ipotesi nulla. Ciò è vero anche per il test di \(\chi^2\) appena esposto, per il quale la distribuzione di \(\chi^2\) è cosniderata solo una buona approssimazione.

In queste situazioni è possibile costruire una sampling distribution empirica analogamente a quanto abbiamo fatto in precedenza per il test di t di Student. Nel caso del test di \(\chi^2\), possiamo utilizzare la funzione r2dtable(), che, partendo da una situazione in cui l’ipotesi nulla è vera (cioè \(\pi_1 = \pi_2\)) e quindi i due caratteri sono indipendenti, produce tante tabelle di contingenza (nel nostro caso 10’000), rispettando i totali marginali della nostra tabella di partenza. Le tabelle prodotte sono restituite come lista, quindi possiamo utilizzare la funzione lapply() per applicare ad ogni elemento della lista la funzione che restituisce il \(\chi^2\) (‘chiSim’).

chiSim <- function(x) summary(as.table(x))$stat
set.seed(1234)
tabs <- r2dtable(10000, apply(tab, 1, sum), apply(tab, 2, sum))
chiVals <- as.numeric( lapply( tabs, chiSim) )
length(chiVals[chiVals > 9.768])
## [1] 19

Vediamo che vi sono 19 valori so 10’000 più alti di quello da noi osservato, quindi il P-value è 0.0019, molto simile a quello osservato con il test formale.

16.3 Esercizi

1. Uno sperimentatore ha impostato un esperimento per verificare l’effetto di un fungicida (A) in confronto al testimone non trattato (B), in base al numero di colonie fungine sopravvissute. Il numero delle colonie trattate è di 200 con 20 sopravvissute, mentre il numero di quelle non trattate è di 100, con 50 sopravvissute. Stabilire se i risultati possono essere considerati significativamente diversi, per un livello di probabilità del 5%.
2. Immaginate di aver riscontrato che, in determinate condizioni ambientali, 60 olive su 75 sono attaccate da Daucus olee (mosca dell’olivo). Nelle stesse condizioni ambientali, diffondendo in campo un insetto predatore siamo riusciti a ridurre il numero di olive attaccate a 12 su 75. Si tratta di una oscillazione casuale del livello di attacco o possiamo concludere che l’insetto predatore è stato un mezzo efficace di lotta biologica alla mosca dell’olivo?
3. Sono stati osservati 153 calciatori registrando la dominanza della mano e quella del piede e sono state riscontrate le seguenti frequenze: 26 con dominanza di mano e piede sinistro, 11 con dominanza mano sinistra e piede destro, 21 con dominanza mano destra e piede sinistro e 95 con dominanza di mano e piede destro. Sulla base di questi dati, possiamo concludere che esiste una dipendenza tra la dominanza della mano e del piede?
4. Un botanico ha valutato il numero di semi germinati per colza sottoposto a due diversi regimi termici dopo l’imbibizione (15 e 25°C). Per la temperatura più bassa, su 400 semi posti in prova, ne sono germinati 358. Alla temperatura più alta, su 380 semi in prova, ne sono germinati 286. Descrivere i due campioni, in termini di proporzione di semi germinati. Inferire la proporzione di germinati nell’intera popolazione di semi da cui è stato estratto il nostro campione casuale di 780 semi. Utilizzare opportunamente un intervallo di confidenza, sapendo che la varianza di una proporzione è una quantità fissa, che si calcola come \(p ( 1- p)\) (dove ‘p’ è la proporzione osservata. Esiste una differenza significativa tra le proporzioni delle due popolazioni? Esplicitare l’ipotesi nulla e calcolare la probabilità di errore relativa al suo rifiuto.