Exercices: Matrice de transition et distribution invariante

Un graphe probabiliste à deux états $A$ et $B$ est tel que : de $A$, on reste en $A$ avec la probabilité $0{,}7$ et on passe en $B$ avec la probabilité $0{,}3$ ; de $B$, on passe en $A$ avec la probabilité $0{,}4$ et on reste en $B$ avec la probabilité $0{,}6$.

Écrire la matrice de transition $P$ de cette chaîne de Markov, en ordonnant les états $A$, $B$.

Soit la matrice de transition $P = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}5 & 0{,}5 \end{pmatrix}$ et la distribution initiale $\pi_0 = (1\ \ 0)$.

Calculer $\pi_1 = \pi_0 P$ et $\pi_2 = \pi_1 P$.

Vérifier que $\pi = \left(\dfrac{5}{7}\ \ \dfrac{2}{7}\right)$ est une distribution invariante pour la matrice $P = \begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}5 & 0{,}5 \end{pmatrix}$.

À Nantes, un service de vélos en libre-service a deux stations, $A$ et $B$. Un vélo pris en $A$ est rendu en $A$ avec la probabilité $0{,}6$ ; un vélo pris en $B$ est rendu en $B$ avec la probabilité $0{,}7$. Un vélo est en $A$ au jour $0$.

1. a) Écrire la matrice de transition $P$.

1. b) Calculer la probabilité que le vélo soit en $A$ au jour $2$.

1. c) Déterminer la distribution invariante de la chaîne.

Une chaîne de Markov a pour matrice de transition $P = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}2 & 0{,}8 \end{pmatrix}$ et pour distribution initiale $\pi_0 = (0{,}5\ \ 0{,}5)$. On note $\pi_n = (a_n\ \ b_n)$.

1. a) Justifier que $a_{n+1} = 0{,}7\,a_n + 0{,}2$.

1. b) Montrer que la suite $(a_n - \tfrac{2}{3})$ est géométrique.

1. c) En déduire $a_n$ en fonction de $n$ et la limite de $(\pi_n)$.

Une chaîne à trois états $1$, $2$, $3$ a pour matrice de transition $P = \begin{pmatrix} 0{,}5 & 0{,}5 & 0 \\ 0 & 0{,}5 & 0{,}5 \\ 0{,}5 & 0 & 0{,}5 \end{pmatrix}$.

1. a) Calculer $P^2$.

1. b) La distribution initiale est $\pi_0 = (1\ \ 0\ \ 0)$. Calculer $\pi_2$.

1. c) Déterminer la distribution invariante.

Une chaîne de Markov à deux états a pour matrice de transition $P = \begin{pmatrix} 1-p & p \\ q & 1-q \end{pmatrix}$ avec $p, q \in\, ]0\,;1[$.

1. a) Déterminer la distribution invariante $\pi$ en fonction de $p$ et $q$.

1. b) Montrer que, pour toute distribution initiale $\pi_0 = (a_0\ \ b_0)$, $a_{n+1} = (1-p-q)\,a_n + q$.

1. c) En déduire que $(\pi_n)$ converge vers $\pi$ et préciser la vitesse de convergence.

Un site web de la SNCF propose trois pages : $1$ (accueil), $2$ (horaires), $3$ (réservation). Depuis la page $1$, un internaute va en $2$ avec la probabilité $0{,}6$ et en $3$ avec la probabilité $0{,}4$. Depuis la page $2$, il va en $1$ avec la probabilité $0{,}3$ et en $3$ avec la probabilité $0{,}7$. Depuis la page $3$, il revient en $1$ avec la probabilité $1$.

1. a) Écrire la matrice de transition $P$.

1. b) Déterminer la distribution invariante $\pi$.

1. c) Sur le long terme, quelle proportion de visites concerne la page de réservation ? Justifier que la chaîne converge vers $\pi$ en montrant que tous les coefficients de $P^4$ sont strictement positifs.

On considère la matrice $P = \begin{pmatrix} 0{,}5 & 0{,}5 \\ 0{,}2 & 0{,}8 \end{pmatrix}$.

1. a) Déterminer la matrice ligne $\pi$ invariante.

1. b) Montrer par récurrence que, pour tout entier naturel $n$, $P^n = \begin{pmatrix} \tfrac{2}{7} & \tfrac{5}{7} \\ \tfrac{2}{7} & \tfrac{5}{7} \end{pmatrix} + (0{,}3)^n \begin{pmatrix} \tfrac{5}{7} & -\tfrac{5}{7} \\ -\tfrac{2}{7} & \tfrac{2}{7} \end{pmatrix}$.

1. c) En déduire la limite de $P^n$ et l'interpréter pour une distribution initiale quelconque.