Data Science e Data Mining
Report 5000 ufficiale: apprendimento statistico, supervised/unsupervised, processo KDD/CRISP-DM, bias-varianza e overfitting, validazione, metodi (alberi, ensemble, SVM, clustering), data science nella PA + 25 concetti chiave + 15 trabocchetti.
1 Che cos'è l'apprendimento statistico
L'apprendimento statistico (statistical learning / machine learning) è l'insieme dei metodi per stimare una funzione predittiva m(X) dai dati e farla generalizzare a dati nuovi. Estende l'econometria: dove questa mira a stimare e interpretare parametri causali, il machine learning mira soprattutto alla predizione e sa gestire l'alta dimensione (moltissime variabili) tramite la regolarizzazione.
- Data mining = processo di estrazione di conoscenza (pattern, regole, relazioni) da grandi masse di dati.
- Data science = disciplina più ampia che unisce statistica, informatica e conoscenza di dominio per trarre valore dai dati.
2 Le due grandi famiglie
| Famiglia | Obiettivo | Etichette Y | Task tipici | Metodi |
|---|---|---|---|---|
| Supervised (supervisionato) | predire Y da X | note | regressione (Y continua), classificazione (Y categorica) | regressione lineare/logistica, alberi, random forest, SVM, reti neurali |
| Unsupervised (non supervisionato) | scoprire struttura nei dati | assenti | clustering, riduzione di dimensionalità | k-means, GMM, PCA/SVD |
Distinzione d'esame: regressione → output numerico continuo; classificazione → output categorico (etichetta di classe).
3 Il processo: KDD e CRISP-DM
Il data mining è una fase di un processo più ampio, il KDD (Knowledge Discovery in Databases):
- Selezione dei dati
- Pre-processing / pulizia (dati mancanti, rumore)
- Trasformazione (feature engineering)
- Data mining (applicazione degli algoritmi)
- Interpretazione e valutazione dei pattern
Lo standard industriale è CRISP-DM (6 fasi cicliche): Business Understanding → Data Understanding → Data Preparation → Modeling → Evaluation → Deployment. La preparazione dei dati assorbe tipicamente la quota maggiore del lavoro.
4 Il problema centrale: generalizzare (bias-varianza)
Tutto ruota attorno al trade-off bias-varianza:
- Bias (distorsione): errore da modello troppo semplice → underfitting.
- Varianza: errore da modello troppo flessibile che insegue il rumore → overfitting (ottimo sul training, pessimo sul test).
- L'errore atteso si decompone in bias² + varianza + errore irriducibile (σ²).
Un modello va scelto al punto di equilibrio: né troppo rigido né troppo complesso. Controllo della complessità: regolarizzazione (ridge L2, lasso L1), pruning degli alberi, early stopping.
5 Come misurare l'errore vero: validazione
Non si valuta un modello sui dati con cui è stato addestrato. Tecniche di ricampionamento:
- Train/test split: si tiene da parte una porzione di dati per il test.
- K-fold cross-validation: i dati si dividono in K parti; a turno una fa da test e K−1 da training → media degli errori. Caso limite LOOCV (K = n).
- Bootstrap: ricampionamento con reimmissione per stimare la variabilità.
⚠️ Data leakage: se informazioni del test "filtrano" nel training (es. normalizzare prima di splittare), la stima dell'errore diventa illusoriamente ottimistica. Errore grave da evitare.
6 I metodi principali
| Metodo | Tipo | Idea chiave |
|---|---|---|
| Regressione lineare / OLS | supervised (regressione) | retta ai minimi quadrati |
| Regressione logistica | supervised (classificazione) | probabilità di classe, cross-entropy |
| Alberi di decisione (CART) | supervised | split ricorsivi, interpretabili |
| Random Forest / Bagging | ensemble | media di molti alberi → riduce la varianza |
| Boosting (es. gradient boosting) | ensemble | alberi in sequenza, ognuno corregge il precedente |
| SVM (Support Vector Machine) | supervised | massimizza il margine, kernel trick |
| Reti neurali | supervised | strati di neuroni, backpropagation |
| k-means | unsupervised | partiziona in k cluster (centroidi) |
| PCA / SVD | unsupervised | riduce le dimensioni preservando la varianza |
7 Data mining classico: i tre compiti storici
- Classificazione: assegnare i record a classi predefinite (es. contribuente a rischio / non a rischio).
- Clustering (segmentazione): raggruppare record simili senza classi note (es. segmentare gli utenti).
- Regole associative (market basket analysis): scoprire co-occorrenze «se A allora B», misurate da supporto e confidenza (algoritmo Apriori).
8 Data science nella Pubblica Amministrazione
Applicazioni: predizione del gettito, scoring del rischio (evasione, frodi), segmentazione di contribuenti/utenti, nowcasting di indicatori economici, ottimizzazione dei servizi.
Cautele specifiche per la PA
- Interpretabilità dei modelli (spiegabilità delle decisioni automatizzate);
- validazione onesta (no data leakage, no overfitting);
- protezione dei dati (GDPR), divieto di decisioni interamente automatizzate su dati personali senza garanzie (art. 22 GDPR);
- attenzione ai bias nei dati che possono generare discriminazioni.
9 25 concetti chiave
| # | Concetto | In sintesi |
|---|---|---|
| 1 | Apprendimento statistico | stimare m(X) e generalizzare |
| 2 | Data mining | estrarre pattern da grandi dati |
| 3 | Supervised | Y note (regressione/classificazione) |
| 4 | Unsupervised | Y assenti (clustering/PCA) |
| 5 | Regressione | output numerico continuo |
| 6 | Classificazione | output categorico (classe) |
| 7 | Clustering | gruppi senza etichette |
| 8 | Processo KDD | selezione→pre-processing→trasf.→mining→valutaz. |
| 9 | CRISP-DM | 6 fasi cicliche standard |
| 10 | Bias | errore da modello troppo semplice |
| 11 | Varianza | errore da modello troppo flessibile |
| 12 | Overfitting | insegue il rumore, non generalizza |
| 13 | Underfitting | modello troppo rigido |
| 14 | Errore atteso | bias² + varianza + σ² |
| 15 | Regolarizzazione | ridge (L2), lasso (L1) |
| 16 | K-fold CV | K parti, media degli errori |
| 17 | LOOCV | cross-validation con K = n |
| 18 | Bootstrap | ricampionamento con reimmissione |
| 19 | Data leakage | info del test nel training → bias ottimistico |
| 20 | Random forest | ensemble di alberi (bagging) |
| 21 | Boosting | alberi in sequenza |
| 22 | SVM | massimizza il margine, kernel |
| 23 | k-means | k centroidi |
| 24 | PCA | riduzione dimensionale |
| 25 | Regole associative | supporto e confidenza (Apriori) |
10 15 trabocchetti d'esame
| # | Trabocchetto | Risposta corretta |
|---|---|---|
| 1 | "La classificazione produce un output numerico" | FALSO — output categorico; il numerico è la regressione |
| 2 | "Il clustering è supervisionato" | FALSO — è non supervisionato (niente Y) |
| 3 | "L'overfitting dà pochi errori sul test" | FALSO — ottimo sul training, pessimo sul test |
| 4 | "Alto bias = modello troppo flessibile" | FALSO — alto bias = troppo semplice (underfitting) |
| 5 | "Si valuta il modello sui dati di training" | FALSO — su dati nuovi (test/CV) |
| 6 | "LOOCV usa metà dei dati per il test" | FALSO — lascia fuori un solo dato per volta |
| 7 | "Normalizzare prima dello split è buona prassi" | FALSO — causa data leakage |
| 8 | "Random forest è un singolo albero" | FALSO — è un ensemble di molti alberi |
| 9 | "PCA serve a classificare" | FALSO — serve a ridurre le dimensioni (unsupervised) |
| 10 | "k-means richiede etichette note" | FALSO — è unsupervised |
| 11 | "Data science e data mining sono sinonimi esatti" | FALSO — il mining è una fase del processo più ampio |
| 12 | "La regressione logistica prevede valori continui" | FALSO — prevede probabilità di classe (classificazione) |
| 13 | "Più il modello è complesso, meglio generalizza" | FALSO — oltre un punto peggiora (overfitting) |
| 14 | "Il GDPR non riguarda i modelli predittivi" | FALSO — art. 22: limiti alle decisioni automatizzate |
| 15 | "Le regole associative si misurano con bias e varianza" | FALSO — con supporto e confidenza |