Synthèse

Vue d’ensemble

Cette synthèse est organisée en sept grandes branches stables. Les CM, TP, annexes et exercices viennent progressivement enrichir ces chapitres au lieu de créer une nouvelle structure à chaque séance.

Chapitre	Grande branche	Contenu qui y sera regroupé
1	Fondements probabilistes	variables aléatoires, pmf/pdf/cdf, espérance, variance, quantiles, transformations, LLN
2	Modèles probabilistes et distributions	lois usuelles, paramètres, support, mgf, standardisation, relations entre lois
3	Dépendance et variables multivariées	lois jointes, marginales, conditionnelles, indépendance, covariance, corrélation, normale multivariée
4	Statistiques descriptives et échantillonnage	population/échantillon, statistiques empiriques, TCL, distributions d’échantillonnage, propriétés de $\bar X$ et $S^2$
5	Estimation et incertitude	estimateurs, moments, maximum de vraisemblance, biais, variance, MSE, simulation, bootstrap, intervalles de confiance
6	Tests d’hypothèses	une/deux populations, moyennes, variances, p-values, erreurs de type I/II
7	Régression et modèles statistiques	régression linéaire, inférence/prédiction, ANOVA, séries temporelles, introduction au GPR

Fil conducteur du cours

Toujours relier

$$\text{question réelle} \rightarrow \text{données} \rightarrow \text{modèle probabiliste} \rightarrow \text{méthode statistique} \rightarrow \text{calcul} \rightarrow \text{interprétation}.$$

1. Fondements probabilistes

Source principale : slides Statistics 2026–2027, bloc “Back to probabilities”. Cette branche fixe le langage probabiliste réutilisé dans toute la suite du cours.

Expérience, événements et variable aléatoire

Pour une expérience aléatoire, $\Omega$ désigne l’ensemble des résultats possibles $\omega$. À chaque événement $A\subseteq\Omega$ est associée une probabilité $P(A)\in[0,1]$, avec $P(\Omega)=1$.

Variable aléatoire et réalisation

Une variable aléatoire est une fonction

$$X:\Omega\to\mathbb R.$$

On note la variable par une majuscule $X$ et une réalisation observée par une minuscule $x$ :

$$X(\omega)=x.$$

Le support (ou range) de $X$, noté ici $\mathcal S_X$, est l’ensemble des valeurs que $X$ peut prendre.

	Variable discrète	Variable continue
Support	fini ou dénombrable	intervalle de $\mathbb R$ ou $\mathbb R$
Objet probabiliste	pmf $p(x)$	pdf $f(x)$
Probabilité en un point	$P(X=x)=p(x)$	$P(X=x)=0$
Probabilité sur un intervalle	somme des masses	aire sous la densité
Espérance	somme sur le support	intégrale sur le support

PMF, PDF et CDF

Convention de notation

Lorsqu’une seule variable aléatoire $X$ est étudiée, on utilise les notations légères du cours :

$$p(x)\quad\text{pour la pmf},\qquad f(x)\quad\text{pour la pdf},\qquad F(x)\quad\text{pour la cdf}.$$

Les indices $X$, $Y$, $(X,Y)$ sont réservés aux situations où plusieurs variables interviennent et où ils évitent une ambiguïté.

Cas discret — probability mass function (pmf)

Pour une variable aléatoire discrète,

$$p(x)=P(X=x),\qquad x\in\mathcal S_X.$$

La pmf vérifie

$$p(x)\ge0, \qquad \sum_{x\in\mathcal S_X}p(x)=1.$$

Pour $a<b$,

$$P(a<X<b) = \sum_{\substack{x\in\mathcal S_X\\a<x<b}}p(x).$$

Les bornes comptent dans le cas discret. Par exemple,

$$P(a\le X\le b) = \sum_{\substack{x\in\mathcal S_X\\a\le x\le b}}p(x).$$

Réflexe — variable discrète

On additionne des probabilités ponctuelles. Si l’on demande $P(X\ge k)$, on somme les valeurs admissibles $x\ge k$ ou on utilise le complément via la cdf.

Cas continu — probability density function (pdf)

Pour une variable aléatoire continue, la densité $f$ vérifie

$$f(x)\ge0$$

et

$$\int_{\mathcal S_X}f(x)\,dx=1.$$

Pour $a<b$,

$$P(a<X<b)=\int_a^b f(x)\,dx.$$

Comme $P(X=a)=P(X=b)=0$ pour une variable continue,

$$P(a<X<b) = P(a\le X<b) = P(a<X\le b) = P(a\le X\le b).$$

Piège — densité ≠ probabilité ponctuelle

Pour une variable continue,

$$f(x)\neq P(X=x)$$

et

$$P(X=x)=0.$$

La valeur $f(x)$ est une densité. Une probabilité correspond à une aire sous la courbe.

Réflexe — variable continue

On intègre la densité sur l’intervalle demandé. Par exemple,

$$P(X\ge a)=\int_a^{+\infty}f(x)\,dx =1-F(a)$$

pour une variable continue.

Fonction de répartition — cumulative distribution function (cdf)

La cdf est définie pour une variable discrète ou continue par

$$F(x)=P(X\le x).$$

Pour une variable discrète,

$$F(x)=\sum_{\substack{t\in\mathcal S_X\\t\le x}}p(t).$$

Pour une variable continue de densité $f$,

$$F(x)=\int_{-\infty}^{x}f(u)\,du.$$

Lorsque $F$ est dérivable,

$$f(x)=F'(x).$$

Une identité utile, valable en général, est

$$P(a<X\le b)=F(b)-F(a).$$

Dans le cas continu, les probabilités aux bornes valent zéro, donc on peut aussi écrire simplement

$$P(a<X<b)=F(b)-F(a).$$

PMF, PDF et CDF en une ligne

• discrète : $p(x)$ donne directement $P(X=x)$ ;
• continue : $f(x)$ est une densité, une probabilité est une intégrale ;
• cdf : $F(x)=P(X\le x)$ cumule la probabilité jusqu’à $x$.

Quantiles

Définition — quantile

Pour $p\in[0,1]$, le quantile d’ordre $p$, noté $q_p$, est défini dans le cours par

$$P(X\le q_p)=p.$$

Si $X$ est continue et que sa cdf $F$ est inversible,

$$q_p=F^{-1}(p).$$

L’interprétation est directe :

$$P(X\le q_p)=p, \qquad P(X>q_p)=1-p.$$

Par exemple,

• $q_{0.05}$ laisse 5 % de probabilité à gauche et 95 % à droite ;
• $q_{0.50}$ est la médiane ;
• $q_{0.25}$ et $q_{0.75}$ sont les premier et troisième quartiles.

Pour une variable continue dont le support commence en $a$, trouver $q_p$ revient à résoudre

$$p = F(q_p) = \int_a^{q_p}f(x)\,dx.$$

Méthode — trouver un quantile

1. identifier la probabilité cumulée demandée $p$ ;
2. écrire $F(q_p)=p$ ;
3. résoudre pour $q_p$ ou lire le quantile dans une table ;
4. si la variable n’est pas standardisée, revenir à son échelle d’origine.

Quantiles d’une loi normale

Si

$$X\sim N(\mu,\sigma^2)$$

et si $z_p$ désigne le quantile d’ordre $p$ de $Z\sim N(0,1)$, alors

$$q_p=\mu+\sigma z_p.$$

En effet,

$$P(X\le q_p)=p \iff P\!\left(Z\le\frac{q_p-\mu}{\sigma}\right)=p.$$

Pour la normale standard,

$$z_{0.025}=-1.96, \qquad z_{0.975}=1.96.$$

Ainsi, pour $X\sim N(10,3^2)$,

$$q_{0.025}=10+3(-1.96)=4.12,$$ $$q_{0.975}=10+3(1.96)=15.88.$$

Attention à la notation des tables

Les slides définissent aussi $z_\alpha$ par une probabilité en queue droite :

$$P(Z\ge z_\alpha)=\alpha.$$

Ce $z_\alpha$ est donc le quantile d’ordre $1-\alpha$ :

$$z_\alpha=q_{1-\alpha}.$$

Ne pas confondre cette notation avec $z_p$ défini directement par $P(Z\le z_p)=p$.

Pour une normale, SciPy permet de récupérer directement un quantile avec

from scipy.stats import norm
norm.ppf(p, loc=mu, scale=sigma)

Espérance et moments

L’espérance $E(X)=\mu_X$ représente la valeur moyenne théorique obtenue sur un très grand nombre de répétitions.

Cas discret

Pour une variable discrète de support $\mathcal S_X$,

$$E(X)=\sum_{x\in\mathcal S_X}x\,p(x).$$

Plus généralement,

$$E(h(X))=\sum_{x\in\mathcal S_X}h(x)\,p(x).$$

Cas continu

Pour une variable continue de support $\mathcal S_X$ et de densité $f$,

$$E(X)=\int_{\mathcal S_X}x\,f(x)\,dx.$$

Si le support est un intervalle $[a,b]$,

$$E(X)=\int_a^b x\,f(x)\,dx.$$

Si le support est tout $\mathbb R$,

$$E(X)=\int_{-\infty}^{+\infty}x\,f(x)\,dx.$$

Plus généralement,

$$E(h(X))=\int_{\mathcal S_X}h(x)\,f(x)\,dx.$$

Le moment d’ordre $k$ est $E(X^k)$.

Pièges sur l’espérance

En général,

$$E(h(X))\neq h(E(X))$$

et

$$E(XY)\neq E(X)E(Y).$$

La seconde égalité est vraie notamment lorsque $X$ et $Y$ sont indépendantes.

Propriétés de linéarité :

$$E(X+Y)=E(X)+E(Y),$$ $$E(aX+b)=aE(X)+b.$$

Aucune hypothèse d’indépendance n’est nécessaire pour ces deux relations.

Mini-exemple — dé équilibré

Si $X$ est le résultat d’un dé équilibré,

$$p(x)=\frac16,\qquad x\in\{1,2,3,4,5,6\}.$$

Alors

$$E(X)=\frac{1+2+3+4+5+6}{6}=3.5.$$

$3.5$ n’est pas une face possible : l’espérance est une moyenne théorique, pas nécessairement une valeur observable.

Variance et écart-type

La variance mesure la dispersion autour de la moyenne :

$$\operatorname{Var}(X)=E\left[(X-E(X))^2\right].$$

La formule de calcul la plus utilisée est

$$\operatorname{Var}(X)=E(X^2)-E(X)^2.$$

L’écart-type est

$$\sigma_X=\sqrt{\operatorname{Var}(X)}.$$

Propriétés importantes :

$$\operatorname{Var}(a)=0,$$ $$\operatorname{Var}(a+bX)=b^2\operatorname{Var}(X).$$

Donc ajouter une constante déplace la distribution sans modifier sa dispersion, tandis que multiplier par $b$ multiplie la variance par $b^2$.

Pour deux variables quelconques,

$$\operatorname{Var}(aX+bY+c) =a^2\operatorname{Var}(X)+b^2\operatorname{Var}(Y)+2ab\operatorname{Cov}(X,Y).$$

Transformation d’une variable continue

Les slides Statistics 2026–2027 donnent explicitement, pour une transformation affine

$$Y=a+bX,\qquad b\neq0,$$

la densité

$$\boxed{ f_Y(y)=\frac1{|b|}\, f_X\!\left(\frac{y-a}{b}\right) }$$

avec le support obtenu en transformant le support de $X$ par $y=a+bx$.

Réflexe — transformation affine

Pour $Y=a+bX$ :

1. transformer le support de $X$ pour obtenir celui de $Y$ ;
2. utiliser directement

$$f_Y(y)=\frac1{|b|}f_X\!\left(\frac{y-a}{b}\right);$$

3. pour les moments, utiliser

$$E(Y)=a+bE(X), \qquad \operatorname{Var}(Y)=b^2\operatorname{Var}(X).$$

Loi des grands nombres

Pour des variables $X_1,\ldots,X_n$ de même espérance $\mu$ et variance finie, le cours rappelle que la moyenne empirique

$$\bar X_n=\frac1n\sum_{i=1}^n X_i$$

se rapproche de $\mu$ lorsque $n$ augmente :

$$\bar X_n\xrightarrow{P}\mu.$$

C’est le lien entre la quantité théorique $E(X)=\mu$ et la moyenne calculée sur de nombreuses observations.

Réflexe — une variable aléatoire

Avant tout calcul :

1. identifier si $X$ est discrète ou continue ;
2. identifier son support $\mathcal S_X$ ;
3. choisir pmf $p(x)$ ou pdf $f(x)$ ;
4. traduire la question en probabilité, espérance, variance ou quantile ;
5. utiliser une somme pour le discret et une intégrale sur le support pour le continu.

2. Modèles probabilistes et distributions

Source actuelle — Appendix 1. Le fichier est daté 2023–2024 mais est fourni avec les supports de statistiques disponibles pour 2026–2027. Il présente les distributions de probabilité supposées maîtrisées avant l’inférence statistique.

Cette branche sert de boîte à outils probabiliste : reconnaître une situation, identifier la loi, connaître son support, ses paramètres, son espérance et sa variance, puis utiliser ses propriétés pour construire d’autres variables aléatoires.

Réflexe de modélisation

Pour chaque variable aléatoire, identifier dans cet ordre :

1. discrète ou continue ;
2. support des valeurs possibles ;
3. situation réelle modélisée ;
4. distribution et paramètres ;
5. $E(X)$ et $\operatorname{Var}(X)$ ;
6. propriétés utiles pour une somme, une transformation ou un calcul de probabilité.

Carte rapide

Distributions discrètes

Distribution	Situation typique	Support	Espérance	Variance
Uniforme discrète	$n$ issues équiprobables	$\{x_1,\ldots,x_n\}$	$\frac1n\sum_i x_i$	$\frac1n\sum_i x_i^2-\mu^2$
Bernoulli $Be(p)$	un essai succès/échec	$\{0,1\}$	$p$	$p(1-p)$
Binomiale $Bi(n,p)$	nombre de succès en $n$ essais indépendants	$\{0,\ldots,n\}$	$np$	$np(1-p)$
Géométrique $Ge(p)$	nombre d’essais jusqu’au premier succès	$\{1,2,\ldots\}$	$1/p$	$(1-p)/p^2$
Poisson $Po(\lambda)$	nombre d’événements dans une unité de temps/espace	$\mathbb N$	$\lambda$	$\lambda$

Distributions continues

Distribution	Situation typique	Support	Espérance	Variance
Uniforme $U(a,b)$	valeurs uniformément réparties sur un intervalle	$[a,b]$	$(a+b)/2$	$(b-a)^2/12$
Normale $N(\mu,\sigma^2)$	quantité symétrique autour d’une valeur centrale	$\mathbb R$	$\mu$	$\sigma^2$
Exponentielle $Expo(\beta)$	durée / temps d’attente positif	$\mathbb R_+$	$\beta$	$\beta^2$
Gamma $Gamma(\alpha,\beta)$	quantité positive, notamment somme d’exponentielles	$\mathbb R_+$	$\alpha\beta$	$\alpha\beta^2$
Khi-deux $\chi_n^2$	somme de carrés de normales standards	$\mathbb R_+$	$n$	$2n$
Student $T_n$	rapport impliquant une normale et un $\chi^2$	$\mathbb R$	—	—
Fisher $F_{n_1,n_2}$	rapport de deux $\chi^2$ normalisés	$\mathbb R_+$	—	—

Distributions discrètes

Uniforme discrète

Si $X$ prend les valeurs $\{x_1,\ldots,x_n\}$ avec la même probabilité,

$$p(x_i)=\frac1n.$$

Alors

$$E(X)=\frac1n\sum_{i=1}^n x_i, \qquad \operatorname{Var}(X)=\frac1n\sum_{i=1}^n x_i^2-E(X)^2.$$

Cette loi modélise une expérience avec un nombre fini d’issues équiprobables.

Bernoulli

Une variable $X\sim Be(p)$ modélise un seul essai à deux issues :

$$X= \begin{cases} 1 & \text{avec probabilité }p,\\ 0 & \text{avec probabilité }1-p. \end{cases}$$

Sa pmf est

$$p(x)=p^x(1-p)^{1-x}, \qquad x\in\{0,1\}.$$

et

$$E(X)=p, \qquad \operatorname{Var}(X)=p(1-p).$$

Binomiale

Une variable $X\sim Bi(n,p)$ compte le nombre total de succès dans $n$ essais de Bernoulli lorsque :

• la probabilité de succès $p$ reste constante ;
• les essais sont mutuellement indépendants.

En posant $q=1-p$,

$$p(x)=\binom nx p^x q^{n-x}, \qquad x=0,1,\ldots,n.$$

La moment generating function (mgf) est

$$m_X(t)=(pe^t+q)^n,$$

et

$$E(X)=np, \qquad \operatorname{Var}(X)=npq=np(1-p).$$

Relations binomiales

Si $X_1,\ldots,X_n$ sont des Bernoulli indépendantes de même paramètre $p$,

$$X_1+\cdots+X_n\sim Bi(n,p).$$

Et si $X\sim Bi(n,p)$ et $Y\sim Bi(m,p)$ sont construits à partir d’essais indépendants de même probabilité de succès,

$$X+Y\sim Bi(n+m,p).$$

Géométrique

Une variable $X\sim Ge(p)$ compte le nombre d’essais nécessaires jusqu’au premier succès.

Avec $q=1-p$,

$$p(x)=q^{x-1}p, \qquad x=1,2,\ldots$$

Sa mgf est

$$m_X(t)=\frac{pe^t}{1-qe^t}, \qquad t<-\ln q,$$

et

$$E(X)=\frac1p, \qquad \operatorname{Var}(X)=\frac{q}{p^2}=\frac{1-p}{p^2}.$$

Poisson

Une variable $X\sim Po(\lambda)$ compte un nombre d’événements dans une unité de temps ou d’espace.

$$p(x)=e^{-\lambda}\frac{\lambda^x}{x!}, \qquad x\in\mathbb N.$$

Sa mgf est

$$m_X(t)=\exp\!\left(\lambda(e^t-1)\right),$$

et

$$E(X)=\lambda, \qquad \operatorname{Var}(X)=\lambda.$$

Approximation binomiale par Poisson

La loi de Poisson est une limite de la loi binomiale :

$$Bi\left(n,\frac{\lambda}{n}\right)\xrightarrow[n\to\infty]{}Po(\lambda).$$

L’Appendix propose comme règle pratique : si $n$ est grand (par exemple $n>50$) et $p$ petit (par exemple $p<0.1$),

$$Bi(n,p)\approx Po(np).$$

Distributions continues

Uniforme continue

Si $X\sim U(a,b)$,

$$f(x)= \begin{cases} \dfrac1{b-a} & x\in[a,b],\\ 0 & \text{sinon}. \end{cases}$$

Sa cdf est

$$F(x)= \begin{cases} 0 & x<a,\\ \dfrac{x-a}{b-a} & x\in[a,b],\\ 1 & x>b. \end{cases}$$

L’Appendix utilise également

$$m_X(t)=\frac{e^{tb}-e^{ta}}{t(b-a)}.$$

Enfin,

$$E(X)=\frac{a+b}{2}, \qquad \operatorname{Var}(X)=\frac{(b-a)^2}{12}.$$

Normale

Une variable $X\sim N(\mu,\sigma^2)$ possède la densité

$$f(x)=\frac1{\sigma\sqrt{2\pi}} \exp\!\left[-\frac12\left(\frac{x-\mu}{\sigma}\right)^2\right], \qquad x\in\mathbb R.$$

avec

$$E(X)=\mu, \qquad \operatorname{Var}(X)=\sigma^2,$$

et

$$m_X(t)=\exp\!\left(\mu t+\frac12t^2\sigma^2\right).$$

La densité est en cloche, symétrique autour de $\mu$. Le paramètre $\mu$ déplace le centre ; un $\sigma$ plus grand produit une distribution plus étalée.

Normale standard et convention des tables

La normale standard est

$$Z\sim N(0,1).$$

Les slides notent $z_\alpha$ la valeur telle que

$$P(Z\ge z_\alpha)=\alpha.$$

Ainsi,

$$z_\alpha=q_{1-\alpha}.$$

Par symétrie,

$$P(Z\le z)=1-P(Z\ge z),$$ $$P(Z\ge -z)=P(Z\le z),$$ $$P(Z\le -z)=P(Z\ge z).$$

Méthode — Standardiser une normale

Si

$$X\sim N(\mu,\sigma^2),$$

alors

$$Z=\frac{X-\mu}{\sigma}\sim N(0,1).$$

Pour calculer une probabilité avec les tables,

$$P(X\le x) =P\!\left(Z\le\frac{x-\mu}{\sigma}\right).$$

Toute transformation affine d’une normale reste normale :

$$X\sim N(\mu,\sigma^2) \quad\Longrightarrow\quad a+bX\sim N(a+b\mu,b^2\sigma^2).$$

Exponentielle

Une variable $X\sim Expo(\beta)$ est définie sur $\mathbb R_+$ par

$$f(x)=\frac1\beta e^{-x/\beta}\,\mathbf{1}_{\{x\ge0\}}.$$

Elle est utilisée notamment pour modéliser des durées, temps inter-arrivées, temps de fonctionnement ou temps d’attente.

$$E(X)=\beta, \qquad \operatorname{Var}(X)=\beta^2,$$

et

$$m_X(t)=(1-\beta t)^{-1}.$$

Piège de paramétrisation

Dans l’Appendix, $\beta$ est un paramètre d’échelle :

$$f(x)=\frac1\beta e^{-x/\beta},\qquad x\ge0.$$

Il faut donc conserver cette convention lorsque l’on lit les exercices du cours.

Gamma

Une variable $X\sim Gamma(\alpha,\beta)$, avec $\alpha,\beta>0$, a pour densité

$$f(x)= \frac1{\Gamma(\alpha)} \frac{x^{\alpha-1}}{\beta^\alpha} e^{-x/\beta}\,\mathbf{1}_{\{x\ge0\}}.$$

La fonction Gamma est

$$\Gamma(\alpha)=\int_0^{\infty} t^{\alpha-1}e^{-t}\,dt,$$

avec

$$\Gamma(\alpha+1)=\alpha\Gamma(\alpha),$$

et, pour $n\in\mathbb N$,

$$\Gamma(n)=(n-1)!.$$

Pour $X\sim Gamma(\alpha,\beta)$,

$$E(X)=\alpha\beta, \qquad \operatorname{Var}(X)=\alpha\beta^2,$$

et

$$m_X(t)=(1-\beta t)^{-\alpha}, \qquad t<\frac1\beta.$$

Propriétés importantes :

$$Gamma(1,\beta)=Expo(\beta),$$ $$X\sim Gamma(\alpha,\beta) \Longrightarrow cX\sim Gamma(\alpha,c\beta),\qquad c>0,$$

et si des variables indépendantes ont le même paramètre d’échelle $\beta$,

$$X_i\sim Gamma(\alpha_i,\beta) \quad\Longrightarrow\quad \sum_i X_i\sim Gamma\left(\sum_i\alpha_i,\beta\right).$$

Lorsque $\alpha=n\in\mathbb N$, une Gamma $(n,\beta)$ peut être vue comme la somme de $n$ exponentielles $Expo(\beta)$ indépendantes.

Khi-deux

Une variable $X\sim\chi_n^2$ est la somme des carrés de $n$ variables normales standards indépendantes :

$$X=Z_1^2+\cdots+Z_n^2, \qquad Z_i\overset{ind}{\sim}N(0,1).$$

Sa densité est

$$f(x)= \frac{1}{2^{n/2}\Gamma(n/2)} x^{n/2-1}e^{-x/2}, \qquad x>0.$$

La loi du khi-deux est un cas particulier de la Gamma :

$$\chi_n^2\equiv Gamma\left(\frac n2,2\right).$$

Donc

$$E(X)=n, \qquad \operatorname{Var}(X)=2n.$$

L’Appendix souligne que cette relation avec les normales devient importante plus tard pour l’inférence statistique et les tests d’hypothèses.

Student

Soient deux variables indépendantes

$$Z\sim N(0,1), \qquad Y\sim\chi_n^2.$$

Alors

$$T_n=\frac{Z}{\sqrt{Y/n}}$$

suit une loi de Student à $n$ degrés de liberté.

Sa densité est

$$f_{T_n}(t)= \frac{\Gamma\left(\frac{n+1}{2}\right)} {\sqrt{n\pi}\,\Gamma\left(\frac n2\right)} \left(1+\frac{t^2}{n}\right)^{-(n+1)/2}, \qquad t\in\mathbb R.$$

Propriétés indiquées dans l’Appendix :

• $T_n$ est symétrique autour de $0$ ;
• lorsque $n$ augmente, $T_n\to N(0,1)$ ;
• $T_1$ est une loi de Cauchy ;
• la loi de Student sera utilisée pour la validation de variables explicatives en régression.

Fisher–Snedecor

Soient deux variables indépendantes

$$X\sim\chi_{n_1}^2, \qquad Y\sim\chi_{n_2}^2.$$

Alors

$$F_{n_1,n_2}=\frac{X/n_1}{Y/n_2}$$

suit une loi de Fisher–Snedecor à $(n_1,n_2)$ degrés de liberté.

La propriété de réciprocité à retenir est

$$F\sim F(n_1,n_2) \quad\Longrightarrow\quad \frac1F\sim F(n_2,n_1).$$

L’Appendix relie cette loi à la comparaison de variances entre deux échantillons.

Relations entre les lois

Carte des relations à connaître

$$\text{Bernoulli indépendantes} \xrightarrow{\text{somme}} \text{Binomiale}$$ $$Bi(n,p) \xrightarrow[n\text{ grand},\,p\text{ petit}]{} Po(np)$$ $$\text{Exponentielles indépendantes} \xrightarrow{\text{somme}} Gamma$$ $$\chi_n^2=Gamma\left(\frac n2,2\right)$$ $$T_n=\frac{N(0,1)}{\sqrt{\chi_n^2/n}}$$ $$F_{n_1,n_2} = \frac{\chi_{n_1}^2/n_1}{\chi_{n_2}^2/n_2}.$$

Commandes Python mentionnées dans l’Appendix

from scipy.stats import binom, norm, expon, gamma

# Binomiale : P(X = k)
binom.pmf(k, n, p)

# Normale
norm.pdf(x, loc=mu, scale=sigma)
norm.cdf(x, loc=mu, scale=sigma)
norm.ppf(p, loc=mu, scale=sigma)

# Exponentielle, paramétrée par beta comme échelle
expon.pdf(x, scale=beta)
expon.cdf(x, scale=beta)

# Gamma, beta est le paramètre d'échelle
gamma.pdf(x, a=alpha, scale=beta)
gamma.cdf(x, a=alpha, scale=beta)

La diapositive de l’Appendix affiche a=μ dans l’appel à norm.cdf; la convention SciPy utilisée ici est loc=μ, cohérente avec l’appel norm.pdf de la même diapositive.

Checklist distributions

• reconnaître Bernoulli, Binomiale, Géométrique, Poisson, Uniforme, Normale, Exponentielle et Gamma à partir d’une situation ;
• connaître leur support, espérance et variance ;
• savoir standardiser $X\sim N(\mu,\sigma^2)$ avec $(X-\mu)/\sigma$ ;
• comprendre la convention de quantile $P(Z\ge z_\alpha)=\alpha$ utilisée dans le cours ;
• connaître les liens Gamma–Exponentielle et Gamma–$\chi^2$ ;
• reconnaître les constructions de Student et Fisher.

3. Dépendance et variables multivariées

Sources : slides 2026–2027 sur l’indépendance, la dépendance linéaire et les variables multivariées, complétés par l’Appendix 1 pour la normale multivariée.

Distribution jointe et marginales

Lorsque plusieurs variables sont observées ensemble, leur distribution jointe décrit leurs valeurs simultanées.

Pour deux variables discrètes,

$$p_{X,Y}(x,y)=P(X=x,Y=y).$$

Les marginales s’obtiennent en sommant sur l’autre variable :

$$p_X(x)=\sum_y p_{X,Y}(x,y), \qquad p_Y(y)=\sum_x p_{X,Y}(x,y).$$

Pour deux variables continues, la densité jointe est $f_{X,Y}(x,y)$ et

$$f_X(x)=\int_{-\infty}^{+\infty} f_{X,Y}(x,y)\,dy,$$ $$f_Y(y)=\int_{-\infty}^{+\infty} f_{X,Y}(x,y)\,dx.$$

Le moment croisé se calcule par

$$E(XY)=\sum_x\sum_y xy\,p_{X,Y}(x,y)$$

ou, dans le cas continu,

$$E(XY)=\int\!\!\int xy\,f_{X,Y}(x,y)\,dx\,dy.$$

Distribution conditionnelle

Pour des variables discrètes,

$$P(X=x\mid Y=y) =\frac{P(X=x,Y=y)}{P(Y=y)}.$$

Pour des variables continues,

$$f_{X\mid Y}(x\mid y) =\frac{f_{X,Y}(x,y)}{f_Y(y)}.$$

La même logique permet de calculer une espérance conditionnelle :

$$E(X\mid Y=y) =\sum_x x\,P(X=x\mid Y=y)$$

pour le cas discret, avec l’analogue intégral dans le cas continu.

Réflexe — joint → marginal → conditionnel

À partir d’une table ou d’une densité jointe :

1. obtenir les marginales ;
2. vérifier l’indépendance si nécessaire ;
3. seulement ensuite construire une distribution conditionnelle.

Indépendance

Deux variables $X$ et $Y$ sont indépendantes si la connaissance de l’une n’apporte pas d’information sur l’autre.

Pour toutes valeurs admissibles :

$$p_{X,Y}(x,y)=p_X(x)p_Y(y)$$

ou, dans le cas continu,

$$f_{X,Y}(x,y)=f_X(x)f_Y(y).$$

Si $X$ et $Y$ sont indépendantes,

$$E(XY)=E(X)E(Y).$$

Covariance

La covariance mesure la dépendance linéaire entre deux variables :

$$\operatorname{Cov}(X,Y) =E\left[(X-E(X))(Y-E(Y))\right].$$

La forme de calcul usuelle est

$$\operatorname{Cov}(X,Y) =E(XY)-E(X)E(Y).$$

Propriétés :

$$\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X),$$ $$\operatorname{Cov}(X,X)=\operatorname{Var}(X),$$ $$\operatorname{Cov}(aX+bY,Z) =a\operatorname{Cov}(X,Z)+b\operatorname{Cov}(Y,Z).$$

Si $X\perp Y$, alors

$$\operatorname{Cov}(X,Y)=0.$$

Piège majeur — covariance nulle ≠ indépendance

Toujours :

$$X\perp Y \Longrightarrow \operatorname{Cov}(X,Y)=0.$$

Mais en général,

$$\operatorname{Cov}(X,Y)=0 \not\Rightarrow X\perp Y.$$

Une dépendance non linéaire peut exister sans covariance. Un exemple classique est une relation du type $Y=X^2$ pour une distribution symétrique de $X$ autour de $0$.

Corrélation

Le coefficient de corrélation normalise la covariance :

$$\rho_{X,Y} =\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}.$$

Il est sans unité et vérifie

$$-1\le\rho_{X,Y}\le1.$$

• $\rho$ proche de $1$ : forte relation linéaire positive ;
• $\rho$ proche de $-1$ : forte relation linéaire négative ;
• $\rho$ proche de $0$ : faible ou absence de relation linéaire, sans conclure automatiquement à l’indépendance.

Si

$$Y=a+bX$$

avec une relation affine exacte, alors $\rho=1$ si $b>0$ et $\rho=-1$ si $b<0$.

Normale bivariée

Si $(X_1,X_2)$ suit une loi normale bivariée, l’Appendix utilise les paramètres

$$\mu_1,\mu_2,\sigma_1,\sigma_2, \qquad \rho\in[-1,1].$$

La densité s’écrit

$$f(x_1,x_2)= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\!\left[-\frac{Q(x_1,x_2)}{2(1-\rho^2)}\right],$$

avec

$$Q(x_1,x_2)= \left(\frac{x_1-\mu_1}{\sigma_1}\right)^2 + \left(\frac{x_2-\mu_2}{\sigma_2}\right)^2 -2\rho \left(\frac{x_1-\mu_1}{\sigma_1}\right) \left(\frac{x_2-\mu_2}{\sigma_2}\right).$$

Les marginales sont

$$X_1\sim N(\mu_1,\sigma_1^2), \qquad X_2\sim N(\mu_2,\sigma_2^2),$$

et la corrélation vaut $\rho$.

Cas spécial de la normale bivariée

Si $(X_1,X_2)$ est conjointement normal,

$$X_1\perp X_2\iff\rho=0.$$

C’est le cas important où une covariance nulle implique bien l’indépendance.

De plus, toute combinaison linéaire

$$Z=aX_1+bX_2$$

est normale avec

$$E(Z)=a\mu_1+b\mu_2,$$ $$\operatorname{Var}(Z)=a^2\sigma_1^2+b^2\sigma_2^2+2ab\rho\sigma_1\sigma_2.$$

Normale multivariée

On note

$$X=(X_1,\ldots,X_d)^\top\sim N_d(\mu,\Sigma),$$

où

$$\mu=(\mu_1,\ldots,\mu_d)^\top$$

est le vecteur des moyennes et $\Sigma$ la matrice de covariance.

Dans le cas multivarié normal,

$$\Sigma\text{ diagonale} \iff X_1,\ldots,X_d\text{ indépendantes}.$$

Pour une transformation affine

$$Y=a+BX,$$

la variable $Y$ reste multivariée normale avec

$$\mu_Y=a+B\mu,$$

$\Sigma_Y=B\Sigma B^\top.$

Réflexe — combinaison linéaire d’une normale multivariée

Si

$$X\sim N_d(\mu,\Sigma)$$

et si une variable scalaire est définie par

$$Y=a^\top X+b,$$

alors

$$\boxed{ Y\sim N\!\left(a^\top\mu+b,\;a^\top\Sigma a\right) }$$

donc

$$E(Y)=a^\top\mu+b, \qquad \operatorname{Var}(Y)=a^\top\Sigma a.$$

Dans la matrice de covariance,

$$\Sigma= \begin{pmatrix} \operatorname{Var}(X_1) & \operatorname{Cov}(X_1,X_2)\\ \operatorname{Cov}(X_1,X_2) & \operatorname{Var}(X_2) \end{pmatrix},$$

les termes diagonaux sont les variances et les termes hors diagonale sont les covariances.

Pour $Y=a_1X_1+a_2X_2+b$, la formule de variance peut aussi se lire sans matrices :

$$\operatorname{Var}(Y) = a_1^2\operatorname{Var}(X_1) + a_2^2\operatorname{Var}(X_2) + 2a_1a_2\operatorname{Cov}(X_1,X_2).$$

La constante $b$ modifie l’espérance mais pas la variance.

4. Statistiques descriptives et échantillonnage

Source principale : slides Statistics 2026–2027, blocs “Descriptive statistics” et “Normal random variable and CLT”. Cette branche marque la transition entre un modèle probabiliste théorique et des données observées.

Population, sample et données observées

• population : ensemble de toutes les observations, réponses, mesures ou comptages qui nous intéressent ;
• sample (échantillon) : sous-ensemble observé de cette population ;
• sample size (taille de l’échantillon) : nombre d’observations, noté $n$.

Random sample vs observed sample

Avant observation, on manipule les variables aléatoires

$$X_1,\ldots,X_n.$$

Après observation, on dispose des réalisations

$$x_1,\ldots,x_n.$$

Il faut donc distinguer la variable aléatoire de sa valeur observée.

Premiers résumés descriptifs

La sample mean (moyenne empirique) de $n$ observations est

$$\bar x=\frac1n\sum_{i=1}^n x_i.$$

La sample median (médiane empirique) est le quantile empirique d’ordre $0.5$ : 50 % des observations sont en dessous et 50 % au-dessus.

La moyenne décrit le centre de gravité des données. La médiane est souvent plus robuste aux valeurs extrêmes.

Théorique vs observé

Ne pas confondre :

Objet	Nature
$\mu=E(X)$	caractéristique théorique de la population/modèle
$\bar X$	statistique aléatoire avant observation
$\bar x$	valeur réellement calculée sur les données observées

Cette distinction deviendra centrale lors de l’estimation.

Théorème central limite — TCL

Soient $X_1,\ldots,X_n$ des variables iid — independent and identically distributed (indépendantes et identiquement distribuées) telles que

$$E(X_i)=\mu, \qquad \operatorname{Var}(X_i)=\sigma^2<\infty.$$

Le théorème central limite affirme que

$$\frac{\sqrt n(\bar X_n-\mu)}{\sigma} \xrightarrow{d} N(0,1).$$

Donc, pour $n$ suffisamment grand,

$$\bar X_n\approx N\left(\mu,\frac{\sigma^2}{n}\right).$$

Pour la somme

$$S_n=\sum_{i=1}^n X_i,$$

on obtient

$$S_n\approx N(n\mu,n\sigma^2).$$

Idée du TCL

Même si la loi des $X_i$ n’est pas normale, la moyenne ou la somme d’un grand nombre de variables iid devient approximativement normale.

C’est ce qui permet de transformer de nombreux problèmes en calculs avec la normale standard.

Approximation normale d’une binomiale

Une variable

$$Y\sim Bi(n,p)$$

peut s’écrire comme la somme de $n$ Bernoulli indépendantes. Par le TCL,

$$Y\approx N\left(np,np(1-p)\right).$$

On standardise alors avec

$$Z=\frac{Y-np}{\sqrt{np(1-p)}}.$$

Le critère pratique donné dans les slides pour que l’approximation soit raisonnable est

$$n> 9\frac{\max(p,1-p)}{\min(p,1-p)}.$$

Méthode — utiliser le TCL

1. identifier la variable ou la somme à approximer ;
2. calculer sa moyenne et sa variance ;
3. écrire l’approximation normale ;
4. standardiser ;
5. lire la probabilité dans les tables de la normale standard.

Pour une binomiale :

$$E(Y)=np, \qquad \operatorname{Var}(Y)=np(1-p).$$

Piège — le TCL n’est pas magique

Une approximation normale peut être mauvaise si l’échantillon est trop petit ou si $p$ est trop proche de $0$ ou de $1$. Il faut vérifier les conditions avant d’utiliser l’approximation.

Tableau de choix — distributions d’échantillonnage

	Distribution of $X$	$\mu$	$\sigma^2$	Statistics
$\bar X$	unknown and large $n$	ok	ok	$\dfrac{\bar X-\mu}{\sqrt{\sigma^2/n}}\sim\mathcal N(0,1)$
$S^2$	$\mathcal N(\mu,\sigma^2)$	-	ok	$(n-1)\dfrac{S^2}{\sigma^2}\sim\chi^2_{n-1}$
$\bar X$	$\mathcal N(\mu,\sigma^2)$	ok	-	$\dfrac{\bar X-\mu}{\sqrt{S^2/n}}\sim t_{n-1}$

This table is the key to understand Hypothesis testing.

5. Estimation et incertitude

Sources principales : slides Statistics 2026–2027, bloc “Estimation: moments and likelihood”, complétés par le TP2. L’objectif est de passer d’un modèle probabiliste contenant un paramètre inconnu aux données observées, puis de construire une règle qui estime ce paramètre.

Paramètre, estimateur et estimation observée

On suppose que

$$X_1,\ldots,X_n$$

forment un échantillon aléatoire issu d’un modèle de loi

$$f(x\mid\theta),$$

où $\theta$ est un paramètre inconnu du modèle.

À distinguer absolument

• paramètre $\theta$ : quantité fixe mais inconnue de la population ou du modèle ;
• estimator (estimateur) $\hat\theta=h(X_1,\ldots,X_n)$ : fonction de l’échantillon aléatoire ; c’est donc lui-même une variable aléatoire ;
• observed estimate (estimation observée) $\hat\theta_{\mathrm{obs}}=h(x_1,\ldots,x_n)$ : nombre obtenu après avoir remplacé les variables aléatoires par les données effectivement observées.

Ainsi,

$$\theta \quad\text{est inconnu et fixe,}$$ $$\hat\theta \quad\text{est aléatoire avant observation,}$$ $$\hat\theta_{\mathrm{obs}} \quad\text{est une valeur calculée sur les données.}$$

L’objectif n’est donc pas de “trouver exactement” $\theta$, mais de construire un estimateur qui se comporte bien lorsque l’échantillon varie.

Qualité d’un estimateur : biais, variance et MSE

Le bias (biais) mesure le décalage moyen entre l’estimateur et le vrai paramètre :

$$B(\hat\theta) = E(\hat\theta)-\theta.$$

Un estimateur est unbiased (non biaisé) si

$$E(\hat\theta)=\theta.$$

Sa variance

$$\operatorname{Var}(\hat\theta)$$

mesure à quel point sa valeur changerait d’un échantillon à l’autre.

La mean squared error — MSE (erreur quadratique moyenne) mesure l’erreur quadratique moyenne :

$$\operatorname{MSE}(\hat\theta) = E\!\left[(\hat\theta-\theta)^2\right].$$

Le cours utilise la décomposition

$$\boxed{ \operatorname{MSE}(\hat\theta) = \operatorname{Var}(\hat\theta) + B(\hat\theta)^2 }$$

Un faible biais ne suffit donc pas : deux estimateurs d’un même paramètre peuvent être comparés par leur biais et leur variance, ou directement par leur MSE.

Consistency et propriétés asymptotiques

La consistency (convergence) décrit ce qui se passe lorsque la taille de l’échantillon augmente. Un estimateur (\hat\theta_n) est consistant pour (\theta) si

$$\hat\theta_n\xrightarrow{P}\theta \qquad\text{quand }n\to\infty.$$

Intuitivement : avec de plus en plus de données, l’estimateur se concentre autour de la vraie valeur du paramètre.

Unbiased ≠ consistent

Ces deux propriétés ne répondent pas à la même question :

• unbiased (non biaisé) : pour une taille d’échantillon donnée, $E(\hat\theta)=\theta$ ;
• consistent : lorsque $n$ augmente, $\hat\theta_n$ converge vers $\theta$.

Un estimateur peut donc être biaisé pour tout $n$ fini tout en devenant correct asymptotiquement.

Les slides indiquent que les estimateurs par moments sont en général consistants, mais qu’ils n’ont pas nécessairement la plus petite variance.

Sous les conditions asymptotiques du cours, le MLE possède des propriétés plus fortes :

• il devient asymptotiquement non biaisé ;
• sa distribution devient asymptotiquement normale ;
• sa variance asymptotique est minimale parmi les estimateurs asymptotiquement non biaisés considérés.

L’idée à retenir n’est pas la preuve, mais le sens statistique :

$$\boxed{ n\text{ grand} \;\Longrightarrow\; \hat\theta_{\mathrm{MLE}} \text{ devient précis et approximativement normal} }$$

Method of Moments — MME

La method of moments (méthode des moments) part d’une idée simple :

les moments théoriques du modèle dépendent de $\theta$ ; les moments empiriques calculés sur l’échantillon doivent leur ressembler.

Le moment théorique d’ordre $k$ est

$$\mu_k(\theta)=E(X^k),$$

et le moment empirique correspondant est

$$M_k = \frac1n\sum_{i=1}^n X_i^k.$$

Si $\theta$ contient $d$ paramètres inconnus, on utilise en général $d$ moments et on résout

$$\mu_k(\hat\theta_{\mathrm{MM}}) = M_k, \qquad k=1,\ldots,d.$$

Dans le cas très fréquent d’un seul paramètre, le premier moment suffit souvent :

$$\boxed{ E_\theta(X)=\bar X }$$

puis on isole le paramètre.

Méthode — estimation par moments

1. identifier le paramètre inconnu ;
2. calculer un ou plusieurs moments théoriques $E_\theta(X^k)$ ;
3. calculer les moments empiriques correspondants ;
4. poser moment théorique = moment empirique ;
5. résoudre pour obtenir $\hat\theta_{\mathrm{MM}}$ ;
6. distinguer ensuite l’estimateur $\hat\theta_{\mathrm{MM}}$ de sa valeur observée $\hat\theta_{\mathrm{MM,obs}}$.

Maximum Likelihood Estimation — MLE

La maximum likelihood estimation — MLE (estimation par maximum de vraisemblance) utilise toute la forme du modèle probabiliste, pas seulement quelques moments.

Pour un échantillon iid observé $x_1,\ldots,x_n$, la likelihood (vraisemblance) est

$$\boxed{ L(\theta) = \prod_{i=1}^{n} f(x_i\mid\theta) }$$

pour un modèle continu, avec la même logique en remplaçant la pdf par la pmf dans le cas discret.

Lorsque les données $x_1,\ldots,x_n$ sont fixées, $L(\theta)$ est considérée comme une fonction du paramètre $\theta$. Elle mesure quelles valeurs de $\theta$ rendent l’échantillon observé le plus compatible avec le modèle.

Likelihood ≠ probabilité de $\theta$

$L(\theta)$ n’est pas une distribution de probabilité sur $\theta$.

Les données sont ici considérées comme observées et fixes ; c’est $\theta$ que l’on fait varier pour comparer les valeurs possibles du paramètre.

Le maximum likelihood estimator est défini par

$$\boxed{ \hat\theta_{\mathrm{MLE}} = \operatorname*{arg\,max}_{\theta} L(\theta) }$$

Comme un logarithme est strictement croissant, maximiser $L$ revient à maximiser la log-likelihood (log-vraisemblance)

$$\ell(\theta) = \ln L(\theta).$$

Pour des observations iid,

$$\boxed{ \ell(\theta) = \sum_{i=1}^{n}\ln f(x_i\mid\theta) }$$

Le logarithme transforme donc le produit de la likelihood en une somme beaucoup plus facile à dériver.

Méthode — maximum de vraisemblance

1. identifier le modèle $f(x\mid\theta)$, le domaine admissible de $\theta$ et le support ;
2. écrire la likelihood

$$L(\theta)=\prod_i f(x_i\mid\theta);$$

3. prendre le logarithme

$$\ell(\theta)=\ln L(\theta);$$

4. vérifier avant de dériver si le support ou la formule de $f$ dépend de $\theta$ ;
5. si $\ell$ est régulière sur le domaine intérieur, chercher les candidats avec

$$\ell'(\theta)=0;$$

6. vérifier qu’il s’agit bien d’un maximum et examiner les contraintes ou les bords du domaine ;
7. réécrire le résultat comme estimateur en fonction de $X_1,\ldots,X_n$.

Pourquoi deux exercices de MLE peuvent être très différents

La méthode statistique reste la même ; c’est le modèle probabiliste qui change.

Si le support est fixe et qu’une seule expression $f(x\mid\theta)$ s’applique à toutes les observations, la log-vraisemblance est souvent une fonction régulière : on peut généralement utiliser directement

$$\ell'(\theta)=0.$$

En revanche, si le paramètre détermine lui-même le support ou la branche de la densité à utiliser, faire varier $\theta$ peut faire passer une observation d’une expression de la densité à une autre. La likelihood devient alors par morceaux ; une simple dérivation globale peut ne pas suffire.

Leçon du TP2

• Exercice 3 : le support $[0,1]$ reste fixe et $\alpha$ modifie seulement la valeur de la densité ; la log-likelihood est régulière et le calcul par dérivation fonctionne directement.
• Exercice 2 : $\theta$ fixe aussi le point où la formule de la densité change ; lorsque $\theta$ traverse une observation $x_i$, la contribution de cette observation à la likelihood change de branche.

Donc :

$$\boxed{ \text{même méthode MLE} \;+\; \text{modèle différent} \;\Longrightarrow\; \text{calcul différent} }$$

MME et MLE ne donnent pas forcément le même estimateur

Les deux méthodes répondent à des idées différentes :

• MME : faire correspondre des caractéristiques théoriques et empiriques ;
• MLE : choisir le paramètre qui maximise la vraisemblance des données observées.

Elles peuvent parfois conduire au même estimateur — le cours montre par exemple que, pour une exponentielle paramétrée par son échelle $\beta$, les deux donnent $\hat\beta=\bar X$ — mais ce n’est pas une propriété générale.

Les slides indiquent aussi que, sous les conditions asymptotiques appropriées, le MLE est asymptotiquement non biaisé, asymptotiquement normal et possède une variance asymptotique minimale parmi les estimateurs asymptotiquement non biaisés considérés.

Réflexe estimation

Avant de calculer, écrire mentalement :

$$\text{données} \rightarrow \text{modèle }f(x\mid\theta) \rightarrow \theta\text{ inconnu} \rightarrow \text{méthode d’estimation} \rightarrow \hat\theta \rightarrow \text{biais / variance / MSE} \rightarrow \text{interprétation}.$$

Les parties simulation, bootstrap et intervalles de confiance seront ajoutées dans cette même branche lorsqu’elles seront travaillées dans le cours et les TP.

6. Tests d’hypothèses

Source : slides Statistics 2026–2027, p. 137–165. Fil conducteur : question réelle → modèle → hypothèses → statistique → décision → interprétation.

6.1. Pourquoi faire un test ?

Exemple du cours : une machine doit remplir les bouteilles à 500 ml. On mesure $n=20$ bouteilles pour déterminer si la moyenne réelle de production est conforme à cette valeur.

À identifier	Dans cet exemple
Population	Toutes les bouteilles produites par la machine
Échantillon observé	$x_1,\ldots,x_{20}$ ; moyenne $\bar x$ ; variance $s^2$
Paramètre inconnu	Moyenne $\mu$ et variance $\sigma^2$ de la production
Hypothèses de modèle	Volumes iid et normaux

La null hypothesis (hypothèse nulle) $H_0$ est l’affirmation testée ; l’alternative hypothesis (hypothèse alternative) $H_1$ exprime la différence recherchée.

$$H_0:\mu=500,\qquad H_1:\mu\ne500.$$

On ne connaît pas $\mu$ : on prend une décision à partir de l’échantillon, en maîtrisant le risque d’erreur de type I.

6.2. Les six étapes d’un test

1. Identifier population, données, paramètre et conditions (indépendance, normalité, variance connue ou non).
2. Écrire $H_0$ et $H_1$ ; choisir une alternative à droite, à gauche ou bilatérale.
3. Fixer $\alpha$, le significance level (niveau de signification), généralement 5 %.
4. Choisir $T(X)$ et sa distribution sous $H_0$ ; calculer $t_{\mathrm{obs}}=T(x)$.
5. Décider par région de rejet ou p-value : rejeter si $p<\alpha$, sinon ne pas rejeter $H_0$.
6. Interpréter dans le contexte : ce que les données permettent ou non d’affirmer.

Erreurs de décision

Réalité	Décision	Nom
$H_0$ vraie	Rejeter $H_0$	Type I, probabilité $\alpha$
$H_0$ fausse	Ne pas rejeter $H_0$	Type II, probabilité $\beta$
$H_0$ fausse	Rejeter $H_0$	Bonne décision ; puissance $1-\beta$

Que signifie une p-value ?

La p-value (valeur-p) est le plus petit niveau $\alpha$ qui conduirait au rejet pour les données observées. Elle se calcule sous $H_0$, du côté indiqué par $H_1$.

Alternative	Région de rejet	p-value
Paramètre $>$ valeur annoncée	Queue droite : $T>q_{1-\alpha}$	Aire sous $H_0$ à droite de $t_{\mathrm{obs}}$
Paramètre $<$ valeur annoncée	Queue gauche : $T<q_\alpha$	Aire sous $H_0$ à gauche de $t_{\mathrm{obs}}$
Paramètre $\ne$ valeur annoncée	Deux queues : $T<q_{\alpha/2}$ ou $T>q_{1-\alpha/2}$	Aire dans les deux extrémités ; pour Student symétrique : $2P(T\ge \lvert t_{\mathrm{obs}}\rvert\mid H_0)$

Ici $q_p$ désigne le quantile d’ordre $p$ de la loi pertinente (convention du formulaire officiel).

Piège fréquent — p-value

• $p<\alpha$ : rejeter $H_0$.
• $p\ge\alpha$ : ne pas rejeter $H_0$, jamais « accepter $H_0$ ».
• Une p-value ne vaut pas $P(H_0\mid\text{données})$. Le raccourci de la slide 152 (« $H_0$ likely/unlikely ») ne doit pas être lu comme une probabilité de l’hypothèse.

6.3. Tests sur une population normale

On suppose $X_1,\ldots,X_n$ iid de loi $N(\mu,\sigma^2)$.

Question	$H_0$	Statistique observée	Loi sous $H_0$
Moyenne, $\sigma^2$ inconnue	$\mu=\mu_0$	$\displaystyle T=\frac{\sqrt n(\bar x-\mu_0)}s$	Student $t_{n-1}$
Variance	$\sigma^2=\sigma_0^2$	$\displaystyle T=\frac{(n-1)s^2}{\sigma_0^2}$	$\chi^2_{n-1}$

Le test sur la moyenne compare l’écart $\bar x-\mu_0$ à son erreur standard. Celui sur la variance vérifie si la dispersion observée est compatible avec $\sigma_0^2$.

Exemple des slides 146–156 : sur le remplissage des bouteilles, le test bilatéral $H_0:\mu=500$ n’est pas rejeté à 5 %. Le service qualité vérifie aussi la dispersion en testant la limite d’écart-type $\sigma_0=20$ ml, via une statistique $\chi^2$.

6.4. Tests sur deux populations normales indépendantes

On dispose de deux échantillons avec $(n_1,\bar x_1,s_1^2)$ et $(n_2,\bar x_2,s_2^2)$.

Comparer les moyennes :

$$H_0:\mu_1-\mu_2=\delta.$$

Variance des populations	Loi de la statistique sous $H_0$
Commune connue : $\sigma^2$	Normale standard $N(0,1)$
Commune inconnue, supposée égale	Student $t_{n_1+n_2-2}$

Si $\sigma^2$ est connue :

$Z=\frac{(\bar x_1-\bar x_2)-\delta} {\sigma\sqrt{1/n_1+1/n_2}}\overset{H_0}{\sim}N(0,1).$

Si la variance commune est inconnue :

$T=\frac{(\bar x_1-\bar x_2)-\delta} {s_{\mathrm{pool}}\sqrt{1/n_1+1/n_2}}\overset{H_0}{\sim}t_{n_1+n_2-2}.$

La pooled variance (variance poolée) combine les deux variances d’échantillon :

$$\boxed{s_{\mathrm{pool}}^2= \frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}.}$$

Condition : employer cette Student poolée seulement si les variances de population sont supposées égales.

Comparer les variances : on teste $H_0:\sigma_1^2=\sigma_2^2$ avec la statistique de Fisher :

$$\boxed{T=\frac{s_1^2}{s_2^2} \overset{H_0}{\sim}F_{n_1-1,n_2-1}.}$$

Si $H_1:\sigma_1^2>\sigma_2^2$, une valeur élevée soutient $H_1$ : utiliser la queue droite. Pour l’exemple des deux machines, le cours obtient $p=1{,}59\%$ (slide 164) ; l’égalité des variances est donc rejetée à 5 %.

6.5. Choisir le bon test

Question concrète	Paramètre	Test dans les slides
Une moyenne contre une cible	$\mu$	Student à un échantillon, variance inconnue
Une variance contre une limite	$\sigma^2$	$\chi^2$ à un échantillon
Différence de moyennes de deux groupes	$\mu_1-\mu_2$	Normal si variance commune connue ; Student poolée sinon
Égalité de deux variances	$\sigma_1^2/\sigma_2^2$	Fisher à deux échantillons

Toujours vérifier les conditions et choisir le sens de $H_1$ avant le quantile. Les formules et régions de rejet complètes figurent dans le fichier formulaire.

---

7. Régression et modèles statistiques

Source : slides Statistics 2026–2027, p. 166–206. Progression : modèle → estimation → ajustement → incertitude → tests → intervalles → ANOVA. Les longues preuves matricielles marquées for information (slides 183–185) ne sont pas reprises.

7.1. Modèle et interprétation

Exemple du cours : on suspend une masse $M$ à un ressort et on mesure sa déformation $D$ (loi de Hooke). La régression décrit comment la réponse dépend d’un ou de plusieurs facteurs explicatifs.

$$\underbrace{Y_i=\beta_0+\beta_1x_i+\varepsilon_i}_{\text{simple regression}} \qquad \underbrace{Y_i=\beta_0+\sum_{j=1}^d\beta_jx_{i,j}+\varepsilon_i}_{\text{multiple regression}}.$$

La notation matricielle rassemble les $n$ observations : $\mathbf Y=\mathbf X\boldsymbol\beta+\boldsymbol\varepsilon$, avec $\mathbf X$ de dimension $n\times(d+1)$ (colonne de 1 pour l’intercept).

Statut	Ce que représente l’objet
Observé	Facteurs $x_{i,j}$ et réponses $y_i$
Inconnu	Intercept $\beta_0$, pentes $\beta_j$, variance des erreurs $\sigma^2$
Estimé	$\hat\beta_j$, $\hat\sigma^2$, réponse ajustée $\hat y_i$
Supposé dans le cours	Erreurs indépendantes et normales $N(0,\sigma^2)$ ; variance constante ; $\mathbf X$ de rang plein

Pente $\beta_j$ : variation moyenne attendue de $Y$ pour une unité supplémentaire de $x_j$, à autres facteurs constants. Intercept $\beta_0$ : valeur moyenne lorsque tous les facteurs sont nuls, si elle est interprétable.

Attention : une relation statistique (association) ne prouve pas une causalité.

7.2. Trouver la meilleure droite : least squares (moindres carrés)

Les fitted values (valeurs ajustées) sont $\hat y_i=\hat\beta_0+\hat\beta_1x_i$ en régression simple ; les residuals (résidus) sont $e_i=y_i-\hat y_i$.

Les coefficients choisis minimisent la sum of squared errors (SSE) :

$$\boxed{SSE=\sum_{i=1}^n(y_i-\hat y_i)^2.}$$

Sous les erreurs normales du cours, minimiser $SSE$ équivaut à maximiser la vraisemblance des coefficients.

Modèle	Estimateurs (slides 173–176)
Simple	$\displaystyle\hat\beta_1=\frac{S_{xy}}{S_{xx}},\quad\hat\beta_0=\bar y-\hat\beta_1\bar x$
Multiple, rang plein	$\displaystyle\hat{\boldsymbol\beta}=(\mathbf X^\top\mathbf X)^{-1}\mathbf X^\top\mathbf y$

Avec $S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y)$ et $S_{xx}=\sum_i(x_i-\bar x)^2$.

La hat matrix $H=\mathbf X(\mathbf X^\top\mathbf X)^{-1}\mathbf X^\top$ vérifie $\hat{\mathbf y}=H\mathbf y$ (slide 174).

Exemple de Hooke (slide 176) : $\hat\beta_0\simeq0{,}041$ et $\hat\beta_1\simeq0{,}506$ ; dans ce modèle, une hausse de masse de 1 kg correspond à une hausse moyenne estimée de déformation d’environ 0,506 m.

7.3. La qualité du modèle : SST, SSR, SSE et $R^2$

Pour des moindres carrés avec intercept :

Quantité	Sens	Formule
SST (total)	Variation autour de $\bar y$	$\sum_i(y_i-\bar y)^2$
SSR (regression)	Variation expliquée par la droite	$\sum_i(\hat y_i-\bar y)^2$
SSE (error)	Variation non expliquée	$\sum_i(y_i-\hat y_i)^2$

$$\boxed{SST=SSR+SSE,\qquad R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}.}$$

Exemple : si $SST=100$ et $SSE=25$, on obtient $R^2=75\%$. Cela signifie que le modèle explique 75 % de la variation observée autour de la moyenne sur cet échantillon. Le cours obtient $R^2=99{,}88\%$ pour le ressort.

Piège — un grand $R^2$

Ce n’est ni une preuve de causalité, ni une vérification des hypothèses sur les erreurs, ni une garantie de bonne prédiction sur de nouvelles données.

7.4. Fiabilité des estimations

Les coefficients estimés sont aléatoires avant observation : un autre échantillon donnerait d’autres valeurs.

Sous les hypothèses normales du cours (slides 181–187) :

$$E(\hat{\boldsymbol\beta})=\boldsymbol\beta, \qquad \operatorname{Var}(\hat{\boldsymbol\beta})= \sigma^2(\mathbf X^\top\mathbf X)^{-1}.$$

Les estimateurs sont unbiased (sans biais) : leur moyenne, sur des échantillons répétés, égale le vrai paramètre. Cela ne signifie pas que les prédictions soient parfaites.

L’estimateur sans biais de la variance des erreurs est :

$$\boxed{\hat\sigma^2=\frac{SSE}{n-d-1}.}$$

On retire $d+1$ degrés de liberté pour les coefficients estimés. Sous normalité, $SSE/\sigma^2\sim\chi^2_{n-d-1}$.

L’standard error (erreur standard) d’un coefficient est $SE(\hat\beta_j)=\hat\sigma\sqrt{c_{jj}}$, où $c_{jj}$ est la diagonale de $(\mathbf X^\top\mathbf X)^{-1}$. Pour une pente simple, $SE(\hat\beta_1)=\hat\sigma/\sqrt{S_{xx}}$.

7.5. Inférence : deux tests à ne pas confondre

Test global de Fisher : le modèle explique-t-il quelque chose ?

$H_0:\beta_1=\cdots=\beta_d=0,\qquad H_1:\text{au moins une pente est non nulle}.$

$\boxed{F^*=\frac{SSR/d}{SSE/(n-d-1)} \overset{H_0}{\sim}F_{d,n-d-1}.}$

On rejette $H_0$ pour une grande valeur de $F^*$ ou une p-value de queue droite inférieure à $\alpha$. Cela signifie qu’au moins une pente est non nulle, pas toutes. Attention à l’écriture inversée de la p-value sur la slide 190.

Test individuel de Student : un coefficient précis est-il significatif ?

$H_0:\beta_j=\beta_{j,0},\qquad T_j^*=\frac{\hat\beta_j-\beta_{j,0}}{SE(\hat\beta_j)} \overset{H_0}{\sim}t_{n-d-1}.$

Le rejet se fait dans la ou les queues dictées par $H_1$. En bilatéral, on rejette si $|T_j^*|>t_{n-d-1,1-\alpha/2}$, ou si $p<\alpha$.

Exemple ressort (slides 191–197) : la pente est significative ; pour $\beta_0$, le cours obtient $p=6{,}3\%$, donc on ne rejette pas $H_0:\beta_0=0$ à 5 %.

7.6. Intervalle de confiance vs intervalle de prédiction

Ce qu’on veut encadrer	Méthode	Interprétation
Coefficient inconnu $\beta_j$	Confidence interval (IC)	Précision de l’estimation du paramètre
Nouvelle réponse individuelle $Y_0$	Prediction interval (IP)	Incertitude sur une future observation, bruit compris

IC d’un coefficient au niveau $1-\alpha$ (slide 194) :

$$\boxed{IC_{1-\alpha}(\beta_j)= \hat\beta_j\pm t_{n-d-1,1-\alpha/2}\,SE(\hat\beta_j).}$$

Pour le test bilatéral $H_0:\beta_j=0$ au seuil $\alpha$, si 0 appartient à l’IC, on ne rejette pas $H_0$. Un IC fréquentiste de 95 % est une procédure qui contient le paramètre fixe dans 95 % des échantillonnages répétés ; ce n’est pas une probabilité attribuée au paramètre après calcul de l’IC.

IP pour une nouvelle observation — slide 199, comme sur la capture fournie. En régression simple, pour un nouveau facteur $x_0$ :

$$\hat y_0=\hat\beta_0+\hat\beta_1x_0,$$ $$\boxed{ IP_{1-\alpha}(Y_0)= \left[\hat y_0-S_{\mathrm{pred}}t_{n-2,1-\alpha/2}\,;\, \hat y_0+S_{\mathrm{pred}}t_{n-2,1-\alpha/2}\right]. }$$ $$\boxed{ S_{\mathrm{pred}}^2= \hat\sigma^2\left(1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}\right). }$$

Le $1$ correspond au bruit de la nouvelle observation. L’incertitude augmente quand $x_0$ s’éloigne de la moyenne $\bar x$. Pour $\alpha=5\%$, c’est un intervalle de prédiction à 95 %.

7.7. ANOVA : comparer des moyennes de groupes

Exemple officiel (slides 201–206) : 3 usines produisent des céramiques ; on mesure 10 résistances par usine, soit $n=30$ observations.

Élément	Nature
Réponse $Y$	Résistance (quantitative)
Facteur	Usine (catégorielle, $k=3$ groupes)
Paramètres inconnus	$\mu_1,\mu_2,\mu_3$
Conditions	Mesures indépendantes, normalité dans les groupes, variances communes

L’ANOVA — analysis of variance (analyse de la variance) teste :

$$\boxed{H_0:\mu_1=\mu_2=\mu_3,\qquad H_1:\text{au moins deux moyennes diffèrent}.}$$

Intuition : si la variation entre groupes est grande relativement à la variation au sein des groupes, l’égalité des moyennes est peu compatible avec les données.

ANOVA = régression catégorielle

On représente les 3 usines par deux dummy variables (variables indicatrices) ; l’usine 3 est la référence :

Usine	$D_1$	$D_2$	Moyenne du groupe
1	1	0	$\mu_1=\beta_0+\beta_1$
2	0	1	$\mu_2=\beta_0+\beta_2$
3 (référence)	0	0	$\mu_3=\beta_0$

Le modèle est $Y=\beta_0+\beta_1D_1+\beta_2D_2+\varepsilon$. Tester l’égalité des moyennes revient à tester $H_0:\beta_1=\beta_2=0$ : c’est le test F global.

Pour $k$ groupes et $n$ observations :

$$\boxed{F^*=\frac{SSR/(k-1)}{SSE/(n-k)} \overset{H_0}{\sim}F_{k-1,n-k}.}$$

Source (slide 206)	Somme des carrés	Degrés de liberté
Entre usines — SSR	41 050	2
Dans les usines — SSE	95 361	27
Total — SST	136 411	29

On obtient $F^*=5{,}81$, $p=0{,}00796$. À 5 %, on rejette l’égalité des moyennes, mais on ne sait pas quelles usines diffèrent.

Pièges ANOVA

• L’ANOVA teste les moyennes, pas les variances. L’égalité des variances est une condition du test classique (le cours mentionne Bartlett).
• Avec $k$ catégories et un intercept, employer $k-1$ indicatrices : la catégorie restante sert de référence. Sinon $\mathbf X$ n’est pas de rang plein.
• Un F significatif indique au moins deux moyennes différentes, sans identifier les groupes. Des comparaisons entre paires demandent des tests supplémentaires adaptés.

7.8. Carte de décision — du problème à la méthode

Question réelle	Méthode	Attention à…
Ajuster des coefficients	OLS / moindres carrés	Ne pas confondre bruit $\varepsilon_i$ et résidu $e_i$
Mesurer l’ajustement	$R^2$, SSE, SSR	Pas de preuve de causalité
Tester toutes les pentes	Fisher global	Ne signifie pas que toutes sont significatives
Tester une pente	Student	Loi sous $H_0$, $\alpha$, sens de $H_1$
Encadrer un paramètre	IC	Couverture fréquentiste correcte
Encadrer un individu futur	IP	Inclure le bruit dans $S_{\mathrm{pred}}^2$
Comparer les moyennes de $k$ groupes	ANOVA	Égalité des variances = condition, pas $H_0$

À vérifier au TP : interprétation d’un estimateur sans biais, dispersion des résidus (variance constante / hétéroscédasticité), choix entre tests et intervalles. Le fichier formulaire contient les formules d’examen détaillées.