Mathématiques · Écoles d'ingénieurs — INSEA

Processus stochastiques

Le cours expliqué simplement, les questions que tous les élèves se posent et des exercices type examen national. Programme marocain, gratuit.

📘 Fiche de cours

L'essentiel du cours

Un processus stochastique $\{X_n, n \in \mathbb{N}\}$ est une suite de variables aléatoires. Une chaîne de Markov à temps discret vérifie la propriété de Markov : $P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, ..., X_0 = i_0) = P(X_{n+1} = j | X_n = i) = p_{ij}$ . La matrice de transition $P = (p_{ij})$ est stochastique : $\sum_j p_{ij} = 1$ . La loi à l'instant $n$ est donnée par $\pi^{(n)} = \pi^{(0)} P^n$ . Un vecteur $\pi$ est stationnaire si $\pi P = \pi$ et $\sum \pi_i = 1$ .

Méthodes à maîtriser

Construction de la matrice $P$ : Identifier tous les états et calculer les probabilités de passage.
Calcul de $P^n$ : Utiliser la diagonalisation (si possible) : $P = Q D Q^{-1} \implies P^n = Q D^n Q^{-1}$ .
Recherche de l'état stationnaire : Résoudre le système linéaire $\pi P = \pi$ avec la contrainte de normalisation.

Exemples corrigés

Soit $P = \begin{pmatrix} 0.7 & 0.3 \\ 0.2 & 0.8 \end{pmatrix}$ . Pour trouver $\pi = (\pi_1, \pi_2)$ , on résout : $0.7\pi_1 + 0.2\pi_2 = \pi_1$ et $\pi_1 + \pi_2 = 1$ . On obtient $0.2\pi_2 = 0.3\pi_1 \implies \pi_2 = 1.5\pi_1$ . $2.5\pi_1 = 1 \implies \pi_1 = 0.4, \pi_2 = 0.6$ .

Erreurs fréquentes

Oublier que la somme des lignes de $P$ doit être égale à 1.
Confondre $\pi P = \pi$ (vecteur ligne) avec $P X = X$ (vecteur colonne).
Ne pas vérifier si la chaîne est irréductible avant de chercher une distribution stationnaire unique.

L'essentiel du cours

Un processus stochastique ${X_n, n \in \mathbb{N}}$ est une suite de variables aléatoires. Une chaîne de Markov à temps discret vérifie la propriété de Markov : $P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, ..., X_0 = i_0) = P(X_{n+1} = j | X_n = i) = p_{ij}$. La matrice de transition $P = (p_{ij})$ est stochastique : $\sum_j p_{ij} = 1$. La loi à l'instant $n$ est donnée par $\pi^{(n)} = \pi^{(0)} P^n$. Un vecteur $\pi$ est stationnaire si $\pi P = \pi$ et $\sum \pi_i = 1$.

Méthodes à maîtriser

Construction de la matrice $P$ : Identifier tous les états et calculer les probabilités de passage.
Calcul de $P^n$ : Utiliser la diagonalisation (si possible) : $P = Q D Q^{-1} \implies P^n = Q D^n Q^{-1}$.
Recherche de l'état stationnaire : Résoudre le système linéaire $\pi P = \pi$ avec la contrainte de normalisation.

Exemples corrigés

Soit $P = \begin{pmatrix} 0.7 & 0.3 \ 0.2 & 0.8 \end{pmatrix}$. Pour trouver $\pi = (\pi_1, \pi_2)$, on résout : $0.7\pi_1 + 0.2\pi_2 = \pi_1$ et $\pi_1 + \pi_2 = 1$. On obtient $0.2\pi_2 = 0.3\pi_1 \implies \pi_2 = 1.5\pi_1$. $2.5\pi_1 = 1 \implies \pi_1 = 0.4, \pi_2 = 0.6$.

Erreurs fréquentes

Oublier que la somme des lignes de $P$ doit être égale à 1.
Confondre $\pi P = \pi$ (vecteur ligne) avec $P X = X$ (vecteur colonne).
Ne pas vérifier si la chaîne est irréductible avant de chercher une distribution stationnaire unique.

🌉 Jisr : les mots du chapitre FR ⇄ AR

Tu as appris les sciences en arabe ? Touche un mot pour voir sa traduction et une explication en darija.

La question que tu n'oses pas poser en classe ? Pose-la à UstadZéro jugement, même en darija, même à minuit. Il t'explique pas à pas et corrige ta démarche. Gratuit.Commencer gratuitement

Défi flash : 4 questions

Sans compte

🎯 Processus stochastiques

1/4

Soit $P$ une matrice de transition. Quelle condition est toujours vraie ?

❓ Questions fréquentes

Qu'est-ce qu'une chaîne de Markov homogène ?

Une chaîne de Markov est dite homogène si les probabilités de transition $p_{ij}$ ne dépendent pas du temps $n$ . C'est-à-dire que $P(X_{n+1} = j | X_n = i)$ est constant pour tout $n$ .

💡 À retenir : La matrice de transition $P$ reste la même à chaque étape.

Une chaîne de Markov est dite homogène si les probabilités de transition $p_{ij}$ ne dépendent pas du temps $n$. C'est-à-dire que $P(X_{n+1} = j | X_n = i)$ est constant pour tout $n$.

💡 À retenir : La matrice de transition $P$ reste la même à chaque étape.

Chno hiya l'far9 bin l'etat récurrent o l'etat transitoire ?

L'etat récurrent howa l'etat li ila khrej mno l'system, kayn i7timal 100% (i7timal 1) annaho ghadi yreje3 lih. L'etat transitoire howa l'etat li ila khrej mno l'system, kayn i7timal sghir annaho mayrje3ch lih ga3.

💡 À retenir : Récurrent = retour certain ; Transitoire = retour incertain.

Comment calculer P^n pour une matrice de transition ?

Calculer les valeurs propres de $P$ .
Diagonaliser $P$ sous la forme $P = Q D Q^{-1}$ .
Calculer $P^n = Q D^n Q^{-1}$ où $D^n$ est la matrice diagonale avec les puissances des valeurs propres.

💡 À retenir : La valeur propre 1 est toujours présente pour une matrice stochastique.

Calculer les valeurs propres de $P$.
Diagonaliser $P$ sous la forme $P = Q D Q^{-1}$.
Calculer $P^n = Q D^n Q^{-1}$ où $D^n$ est la matrice diagonale avec les puissances des valeurs propres.

💡 À retenir : La valeur propre 1 est toujours présente pour une matrice stochastique.

Kifach n7seb l'etat stationnaire pi ?

Khassk t7el n-nidam dyal l'mo3adalat $\pi P = \pi$ (li hiya $\pi(P - I) = 0$ ) m3a charte $\sum \pi_i = 1$ .

💡 À retenir : $\pi$ est le vecteur propre à gauche associé à la valeur propre 1.

Khassk t7el n-nidam dyal l'mo3adalat $\pi P = \pi$ (li hiya $\pi(P - I) = 0$) m3a charte $\sum \pi_i = 1$.

💡 À retenir : $\pi$ est le vecteur propre à gauche associé à la valeur propre 1.

Une chaîne de Markov peut-elle avoir plusieurs états stationnaires ?

Oui, si la chaîne n'est pas irréductible (c'est-à-dire si elle est composée de plusieurs classes fermées), il peut y avoir plusieurs distributions stationnaires.

💡 À retenir : L'unicité est garantie si la chaîne est irréductible.

Est-ce que la propriété de Markov s'applique aux processus à temps continu ?

Oui, pour un processus à temps continu $\{X_t, t \geq 0\}$ , la propriété de Markov stipule que le futur dépend uniquement de l'état présent $X_t$ , indépendamment du passé.

💡 À retenir : Le principe reste le même, seule la modélisation mathématique change (générateurs infinitésimaux).

Oui, pour un processus à temps continu ${X_t, t \geq 0}$, la propriété de Markov stipule que le futur dépend uniquement de l'état présent $X_t$, indépendamment du passé.

💡 À retenir : Le principe reste le même, seule la modélisation mathématique change (générateurs infinitésimaux).

Wach l'matrice dyal transition khassha tkon dima carrée ?

Oui, darouri tkon carrée (n x n) 7itach l'3adad dyal l'etats li kaynin f l'bidaya howa nit l'3adad li kayn f n-nihaya.

💡 À retenir : La dimension de $P$ est égale au nombre d'états du système.

Oui, darouri tkon carrée (n x n) 7itach l'3adad dyal l'etats li kaynin f l'bidaya howa nit l'3adad li kayn f n-nihaya.

💡 À retenir : La dimension de $P$ est égale au nombre d'états du système.

Qu'est-ce qu'une matrice stochastique doublement stochastique ?

C'est une matrice où la somme de chaque ligne ET la somme de chaque colonne sont égales à 1.

💡 À retenir : Dans ce cas, la distribution uniforme est toujours stationnaire.

Comment vérifier si une chaîne est irréductible ?

Une chaîne est irréductible si, pour toute paire d'états $(i, j)$ , il existe un entier $n > 0$ tel que la probabilité de passer de $i$ à $j$ en $n$ étapes soit strictement positive ( $p_{ij}^{(n)} > 0$ ).

💡 À retenir : On peut visualiser cela par un graphe orienté où tous les sommets sont connectés.

Une chaîne est irréductible si, pour toute paire d'états $(i, j)$, il existe un entier $n > 0$ tel que la probabilité de passer de $i$ à $j$ en $n$ étapes soit strictement positive ($p_{ij}^{(n)} > 0$).

💡 À retenir : On peut visualiser cela par un graphe orienté où tous les sommets sont connectés.

Chno l'i7timal dyal l'etat Xn ila 3ndna pi^{(0)} ?

L'i7timal dyal l'etat f l'waqt $n$ howa l'vecteur $\pi^{(n)} = \pi^{(0)} P^n$ .

💡 À retenir : Il suffit de multiplier le vecteur initial par la puissance $n$ de la matrice.

L'i7timal dyal l'etat f l'waqt $n$ howa l'vecteur $\pi^{(n)} = \pi^{(0)} P^n$.

💡 À retenir : Il suffit de multiplier le vecteur initial par la puissance $n$ de la matrice.

La somme des probabilités d'une ligne peut-elle être supérieure à 1 ?

Non, par définition d'une loi de probabilité, la somme des probabilités de tous les événements possibles à partir d'un état donné doit être exactement égale à 1.

💡 À retenir : Si la somme est différente de 1, ce n'est pas une matrice de transition valide.

Pourquoi utilise-t-on les processus stochastiques en ingénierie ?

Ils servent à modéliser des systèmes incertains comme les files d'attente, la fiabilité des machines, ou le trafic réseau, permettant de prédire le comportement à long terme.

💡 À retenir : C'est un outil essentiel pour l'optimisation et la gestion des risques.

✍️ Exercices type examen national

Exercice 1

Un système possède deux états $E_1$ et $E_2$ . La matrice de transition est $P = \begin{pmatrix} 0.9 & 0.1 \\ 0.4 & 0.6 \end{pmatrix}$ .

Calculer $\pi^{(1)}$ sachant que $\pi^{(0)} = (1, 0)$ .
Déterminer la distribution stationnaire $\pi = (\pi_1, \pi_2)$ .

Exercice 1

Un système possède deux états $E_1$ et $E_2$. La matrice de transition est $P = \begin{pmatrix} 0.9 & 0.1 \ 0.4 & 0.6 \end{pmatrix}$.

Calculer $\pi^{(1)}$ sachant que $\pi^{(0)} = (1, 0)$.
Déterminer la distribution stationnaire $\pi = (\pi_1, \pi_2)$.

Voir la correction détaillée : inscription gratuite

Exercice 2

Soit une chaîne de Markov à 3 états $\{1, 2, 3\}$ de matrice $P = \begin{pmatrix} 0 & 1 & 0 \\ 0.5 & 0 & 0.5 \\ 0 & 1 & 0 \end{pmatrix}$ .

Montrer que la chaîne est irréductible.
Calculer $P^2$ .
La chaîne est-elle apériodique ?

Exercice 2

Soit une chaîne de Markov à 3 états ${1, 2, 3}$ de matrice $P = \begin{pmatrix} 0 & 1 & 0 \ 0.5 & 0 & 0.5 \ 0 & 1 & 0 \end{pmatrix}$.

Montrer que la chaîne est irréductible.
Calculer $P^2$.
La chaîne est-elle apériodique ?

Voir la correction détaillée : inscription gratuite

Exercice 3

Un serveur informatique est soit "En marche" (M), soit "En panne" (P). S'il est en marche, il reste en marche avec probabilité 0.95. S'il est en panne, il est réparé avec probabilité 0.6.

Écrire la matrice de transition.
Quelle est la probabilité que le serveur soit en panne après 2 étapes, sachant qu'il est en marche à $t=0$ ?

Exercice 3

Un serveur informatique est soit "En marche" (M), soit "En panne" (P). S'il est en marche, il reste en marche avec probabilité 0.95. S'il est en panne, il est réparé avec probabilité 0.6.

Écrire la matrice de transition.
Quelle est la probabilité que le serveur soit en panne après 2 étapes, sachant qu'il est en marche à $t=0$ ?

Voir la correction détaillée : inscription gratuite

Un prof de Mathématiques pour aller plus loin

Les cours du soir avec des profs vérifiés arrivent : inscris-toi pour être prévenu(e) en premier.

Être prévenu(e) gratuitement

Autres chapitres de Mathématiques

Espaces vectoriels et applications linéaires Réduction des endomorphismes Espaces préhilbertiens réels Analyse réelle : Suites et séries numériques Fonctions d'une variable réelle : Continuité, dérivabilité et développements limités Calcul intégral et équations différentielles Fonctions de plusieurs variables : Calcul différentiel Intégrales multiples et curvilignes Probabilités et variables aléatoires Statistique descriptive et inférentielle Recherche opérationnelle : Programmation linéaire Analyse numérique