Statistica per Data Science
Report sulle tecniche statistiche a supporto del data science per il concorso CPI Sicilia (profilo SIST). Copre i fondamenti di probabilità, l'inferenza statistica (stima puntuale, MLE, Cramér-Rao), gli intervalli di confidenza, il test delle ipotesi (errori, potenza, p-value, multiple testing) e la regressione lineare. Fonti accademiche: ISLR, ESL, Imai (Quantitative Social Science).
1 PROBABILITÀ E VARIABILI CASUALI
La probabilità è il linguaggio formale dell'incertezza, base di tutta l'inferenza. Spazio di probabilità (Ω, F, P): esiti, eventi, misura di probabilità.
Concetti fondamentali
- Probabilità condizionata: P(A|B) = P(A∩B)/P(B); indipendenza: P(A∩B) = P(A)·P(B).
- Teorema di Bayes: P(A|B) = P(B|A)·P(A) / P(B) — aggiorna la probabilità a priori alla luce dei dati.
- Variabile casuale: mappa gli esiti in numeri; descritta da PMF (discreta) o PDF (continua) e dalla CDF.
- Valore atteso e varianza: E[X] (media), Var(X) = E[(X−μ)²]; momenti.
Teoremi limite
- Legge dei grandi numeri (LGN): la media campionaria converge alla media vera al crescere di n → giustifica la consistenza degli stimatori.
- Teorema del limite centrale (TLC): la somma/media di molte variabili i.i.d. tende a una distribuzione normale, qualunque sia la distribuzione di partenza → fonda gran parte dell'inferenza (test e intervalli).
2 INFERENZA E STIMA DEI PARAMETRI
L'inferenza statistica impara sui parametri ignoti (ciò che non si osserva) usando i dati (ciò che si osserva): congettura principiata, con assunzioni, proprietà formali e misura dell'incertezza.
Proprietà di uno stimatore
- Distorsione (bias): E[θ̂] − θ (non distorto se = 0);
- Varianza: Var(θ̂);
- MSE = bias² + varianza (errore quadratico medio);
- Consistenza: θ̂ → θ al crescere di n;
- Efficienza: a parità di non distorsione, varianza minima.
Metodi di stima
| Metodo | Idea |
|---|---|
| Metodo dei momenti | eguaglia momenti campionari e teorici |
| Massima verosimiglianza (MLE) | massimizza L(θ); consistente e asintoticamente efficiente |
| Bayesiana | posterior ∝ verosimiglianza × prior |
Limite di Cramér-Rao (CRLB)
Per ogni stimatore non distorto, Var(θ̂) ≥ 1/I(θ) (I = informazione di Fisher): nessuno stimatore corretto può essere più preciso di così. Più informazione ⟹ stima potenzialmente più precisa.
3 INTERVALLI DI CONFIDENZA E TEST D'IPOTESI
Intervalli di confidenza
Un IC al 95% è un intervallo che, su ripetuti campionamenti, contiene il parametro vero nel 95% dei casi (è la procedura a coprire il parametro, non "c'è il 95% di probabilità che il parametro stia dentro"). Per piccoli campioni si usa la t di Student; senza assunzioni distributive, il bootstrap.
Test delle ipotesi — procedura
È una "dimostrazione per assurdo stocastica": si assume vera l'ipotesi nulla H₀ e si verifica se i dati sono troppo improbabili sotto di essa. H₀ si rifiuta o non si rifiuta — mai "si accetta".
Errori e potenza
| H₀ vera | H₀ falsa | |
|---|---|---|
| Rifiuto H₀ | Errore I tipo (α) | Decisione corretta |
| Non rifiuto | Decisione corretta | Errore II tipo (β) |
- Livello α = P(rifiuto | H₀ vera); Potenza = 1−β = P(rifiuto | H₁ vera).
- Il test controlla α, non β; il lemma di Neyman-Pearson dà il test più potente (rapporto di verosimiglianza).
- p-value = probabilità, sotto H₀, di osservare dati altrettanto o più estremi. Non è la probabilità che H₀ sia vera.
Multiple testing
Testare molte ipotesi gonfia i falsi positivi (10 test indipendenti: P(almeno un p<0,05) ≈ 40%). Correzioni: Bonferroni (α/m, controlla il FWER) e Benjamini-Hochberg (controlla il FDR).
4 REGRESSIONE LINEARE
La regressione lineare modella la relazione tra una variabile risposta Y e uno o più predittori X. Stima i coefficienti con i minimi quadrati ordinari (OLS): minimizza la somma dei quadrati dei residui.
Elementi chiave
- Coefficienti β: variazione attesa di Y per variazione unitaria del predittore, a parità degli altri.
- R²: quota di varianza di Y spiegata dal modello.
- Teorema di Gauss-Markov: sotto le ipotesi classiche, OLS è lo stimatore lineare corretto a varianza minima (BLUE).
- Test t sui singoli coefficienti; test F sulla significatività congiunta (ANOVA).
Dalla statistica al machine learning
La regressione è anche il primo modello predittivo: da qui partono la regolarizzazione (ridge/lasso), la regressione logistica per la classificazione, e il trade-off bias-varianza alla base di tutto il data science (vedi report Data Mining, BI e Sistemi Web).
5 NUMERI E FORMULE CHIAVE
| Concetto | Formula / fatto |
|---|---|
| Teorema di Bayes | P(A|B) = P(B|A)P(A)/P(B) |
| MSE di uno stimatore | bias² + varianza |
| MLE | consistente + asintoticamente efficiente |
| Limite di Cramér-Rao | Var(θ̂) ≥ 1/I(θ) |
| Errore I tipo | α (rifiuto H₀ vera) |
| Errore II tipo | β (non rifiuto H₀ falsa) |
| Potenza del test | 1 − β |
| p-value | P(dati ≥ estremi | H₀) |
| Bonferroni | rifiuta se p < α/m (FWER) |
| Benjamini-Hochberg | controlla il FDR |
| Gauss-Markov | OLS = BLUE |
6 I TRABOCCHETTI PIÙ INSIDIOSI
| Tema | Risposta sbagliata | Risposta corretta |
|---|---|---|
| Esito di un test | "si accetta H₀" | H₀ si rifiuta o non si rifiuta |
| Significato del p-value | probabilità che H₀ sia vera | probabilità dei dati estremi sotto H₀ |
| Errore di I tipo | non rifiutare H₀ falsa | rifiutare H₀ vera (falso positivo) |
| Cosa controlla il test | la potenza (β) | il livello α; potenza e α sono in trade-off |
| Significatività statistica | = rilevanza pratica | ≠: con n grande effetti minimi sono "significativi" |
| Interpretazione IC 95% | "95% di probabilità che il parametro stia dentro" | la procedura copre il vero nel 95% dei campioni |
| MSE | solo varianza | bias² + varianza |
| Teorema del limite centrale | vale solo se i dati sono normali | vale qualunque sia la distribuzione di partenza (n grande) |
| Molti test simultanei | nessuna correzione | correggere FWER/FDR (Bonferroni, B-H) |
Fonti: ISLR (James-Witten-Hastie-Tibshirani); ESL (Hastie-Tibshirani-Friedman); Imai, Quantitative Social Science. Report compilato per RIPAM Studio — Giugno 2026 / RIPAM Studio | @fcapurso