UNIVERSIDAD DE EL SALVADOR EN LÍNEA

FACULTAD DE INGENIERÍA Y ARQUITECTURA

MÉTODOS PROBABILÍSTICOS
Página 1 de 12

MÉTODOS PROBABILÍSTICOS
UNIDAD III: Introducción a los procesos estocásticos.
Temas
3.3 Clasificación de los estados de un proceso estocástico.
3.4 Representación canónica de la matriz de probabilidades de
transición.

OBJETIVO DE LA UNIDAD
Calcular diversas probabilidades de los procesos estocásticos usando una
herramienta computacional.

INTRODUCCIÓN
Los procesos estocásticos, pueden clasificarse de diferentes formas dependiendo
de su naturaleza interna, a sus relaciones con otro estados o de su comportamiento a
largo plazo. En esta sección, iniciaremos con describir formalmente a un proceso
estocástico por medio de la definición matemática del mismo, y luego procederemos a
definir una relación de equivalencia que nos ayudará a establecer clases de equivalencia
para hacer una clasificación de los estados de un proceso dependiendo de sus relaciones
externas con otros estados de otras clases de equivalencia y luego se procederá a clasificar
los estados de acuerdo con su naturaleza interna. El comportamiento a largo plazo lo
estudiaremos luego en otra sección.

3.3. CLASIFICACIÓN DE LOS ESTADOS DE UN PROCESO ESTOCÁSTICO.

Ya hemos estudiado que un proceso estocástico tiene asociado un Espacio de Estados y
un Espacio Parametral. Vimos que estos espacios pueden ser discretos o continuos y que eso
lleva a una clasificación, en el caso del espacio de estados, entre cadenas o procesos, y en el caso
del espacio parametral, lo clasifica como en tiempo discreto o en tiempo continuo.

Cuando se observa un proceso estocástico, diremos que se observa en el tiempo, aunque

ya sabemos que el tiempo no siempre es el parámetro que lo indexa (en el caso de los juegos, las

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 2 de 12

observaciones se hacen después de cada juego; en otros casos la dimensión física que controla
el proceso puede ser volumen, área, etc…).

Para un punto de observación específico del parámetro t, el proceso en el punto X(t), no

es más que una variable aleatoria simple, como lo estudiamos en la unidad anterior. Pero cuando
se toma en cuenta toda la variación de t dentro del Espacio Parametral (t ∈ T), supongamos que
se tienen los puntos de observación 𝑡1 , 𝑡2 , … , 𝑡𝑛 , puntos tales que 𝑡1 < 𝑡2 < ⋯ < 𝑡𝑛 , la
información del proceso se obtiene por medio de la función de distribución de probabilidades
conjunta de todas las variables aleatorias:

𝑃(𝑋(𝑡1 ) ≤ 𝑥1 , 𝑋(𝑡2 ) ≤ 𝑥2 , … , 𝑋(𝑡𝑛 ) ≤ 𝑥𝑛 ) (1)

El caso más simple para estudiar esta conjunta, es cuando todas las variables aleatorias,
son independientes, ya que en dicho caso la conjunta se estudia como el producto de todas las
variables aleatorias. Pero ese no es el caso más común, ya que se espera en general que exista
algún tipo de dependencia entre las variables aleatorias. Por ello se introduce la definición
función de distribución de las transiciones condicional.

Definición de función de distribución de las transiciones condicional: Sean 𝑡0 y 𝑡1 dos

puntos de 𝑇, tales que 𝑡0 ≤ 𝑡1, entonces se define la función de distribución de las transiciones
condicional por:

𝐹(𝑥0 , 𝑥1 ; 𝑡0 , 𝑡1 ) = 𝑃(𝑋(𝑡1 ) ≤ 𝑥1 |𝑋(𝑡0 ) ≤ 𝑥0 ) (2)

Y en el caso discreto se escribe:

(𝑚.𝑛)
𝑃𝑖𝑗 = 𝑃(𝑋𝑛 = 𝑗|𝑋𝑚 = 𝑖) 𝑛 ≥ 𝑚

En esta definición dada tanto para el caso continuo y el caso discreto.

En el caso continuo, se lee de la siguiente forma (ya que no se pueden calcular

probabilidades puntuales) es: “La probabilidad de que el proceso en el período de observación
𝑡1 tome el estado 𝑥1 , dado que el proceso en el período de observación 𝑡0 tomó el estado 𝑥0 ”.
Esa es la forma de leer también, la expresión 𝐹(𝑥0 , 𝑥1 ; 𝑡0 , 𝑡1 ).

En el caso discreto se lee, es: la probabilidad de que el proceso en el paso 𝑛 tome el estado
(𝑚.𝑛)
𝑗 dado que el proceso en el paso 𝑚 tomó el estado 𝑖. Que es también, la forma de leer 𝑃𝑖𝑗 .

La dependencia más simple que existe entre las variables, es la dependencia de primer
orden, que también se conoce como dependencia de Markov.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 3 de 12

Definición de dependencia de Markov: Un proceso exhibe la dependencia de primer

orden o dependencia de Markov, cuando el estado del proceso en el siguiente punto de
observación sólo depende del estado del proceso en el punto anterior de observación y de lo que
ocurra durante el último período de observación, pero no de los estados del proceso en los
períodos tras anteriores. Lo cual en formato matemático se escribe como:

Considere los puntos de observación 𝑡1 , 𝑡2 , … , 𝑡𝑛 , puntos tales que 𝑡1 < 𝑡2 < ⋯ < 𝑡𝑛 , la
dependencia de Markov, viene dada para el caso continuo por:

𝑃(𝑋(𝑡𝑛 ) ≤ 𝑥𝑛 |𝑋(𝑡𝑛−1 ) ≤ 𝑥𝑛−1 , 𝑋(𝑡𝑛−2 ) ≤ 𝑥𝑛−2 , … , 𝑋(𝑡0 ) ≤ 𝑥0 ) =

𝑃(𝑋(𝑡𝑛 ) ≤ 𝑥𝑛 |𝑋(𝑡𝑛−1 ) ≤ 𝑥𝑛−1) = 𝐹(𝑥𝑛−1 , 𝑥𝑛 ; 𝑡𝑛−1 , 𝑡𝑛 ) (3)

Y para el caso discreto por:

(𝑛−1,𝑛)
𝑃(𝑋𝑛 = 𝑗|𝑋𝑛−1 = 𝑘, 𝑋𝑛−2 = 𝑙, … , 𝑋1 = 𝑢) = 𝑃(𝑋𝑛 = 𝑗|𝑋𝑛−1 = 𝑘) = 𝑃𝑘𝑗

Ejemplo: El caso de la compañía que vimos anteriormente, en el ejemplo 2 de la sección

3.1. Es un ejemplo, de proceso estocástico que cumple la condición de Markov. Recordemos la
fórmula para encontrar el capital de la compañía: El capital al final del período n de observación
viene dado por la fórmula:

Kn = Kn-1 + In – En

Puede verse claramente en ella, que el capital en el período n de observación sólo

depende del capital en el período n-1 de observación y de lo ocurrido en el período n de
observación en lo que respecta a ingresos menos egresos. Que es justamente la dependencia de
Markov.

Definición de Cadena de Markov Finita: Un proceso estocástico que exhibe la propiedad

de Markov, que además tiene espacio de estados discreto (o infinito numerable) y espacio
parametral discreto, se denomina una cadena de Markov finita.

Pasaremos ahora a definir la relación de accesibilidad sobre la cual basaremos la relación

de comunicación. La cual veremos que cumple ser una relación de equivalencia. Utilizaremos
dicha relación para clasificar los estados en clases de equivalencia, con todo lo que
matemáticamente eso significa.

Definición de la Relación de accesibilidad: El estado 𝑗 se dice que es accesible desde el

estado 𝑖, Si 𝑗 se puede acceder desde 𝑖 en un número finito de pasos.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 4 de 12

Esto matemáticamente significa que existe una probabilidad positiva de llegar desde 𝑖 a
𝑗, lo cual se escribe:
(0,𝑛)
𝑖 → 𝑗 (𝑗 𝑒𝑠 𝑎𝑐𝑐𝑒𝑠𝑖𝑏𝑙𝑒 𝑑𝑒𝑠𝑑𝑒 𝑖), 𝑠𝑖 ∃𝑛 ≥ 0 𝑡. 𝑞. 𝑃𝑖𝑗 > 0.

Definición de la Relación de comunicación: El estado 𝑖 se comunica con el estado 𝑗, si 𝑗

es accesible desde el estado 𝑖, y si 𝑖 es accesible desde el estado 𝑗. En un número finito de pasos,
no necesariamente el mismo número de pasos en ambos casos.

Esto matemáticamente significa que existe una probabilidad positiva de llegar desde 𝑖 a
𝑗, y otra de llegar de 𝑗 a 𝑖 lo cual se escribe:
(0,𝑛)
𝑖 → 𝑗 (𝑗 𝑒𝑠 𝑎𝑐𝑐𝑒𝑠𝑖𝑏𝑙𝑒 𝑑𝑒𝑠𝑑𝑒 𝑖), 𝑠𝑖 ∃𝑛 ≥ 0 𝑡. 𝑞. 𝑃𝑖𝑗 > 0.
(0,𝑚)
𝑗 → 𝑖 (𝑖 𝑒𝑠 𝑎𝑐𝑐𝑒𝑠𝑖𝑏𝑙𝑒 𝑑𝑒𝑠𝑑𝑒 𝑗), 𝑠𝑖 ∃𝑚 ≥ 0 𝑡. 𝑞. 𝑃𝑗𝑖 > 0.

Esto se suele escribir como:

(0,𝑛) (0,𝑚)
𝑖 ↔ 𝑗 (𝑖 𝑠𝑒 𝑐𝑜𝑚𝑢𝑛𝑖𝑐𝑎 𝑐𝑜𝑛 𝑗), 𝑠𝑖 ∃𝑛 ≥ 0 𝑡. 𝑞. 𝑃𝑖𝑗 > 0 𝑦 𝑠𝑖 ∃𝑚 ≥ 0 𝑡. 𝑞. 𝑃𝑗𝑖 > 0.

La relación de comunicación es una relación de equivalencia, es decir, una relación que

tiene las propiedades siguientes:

a) Es Reflexiva. Un estado siempre se comunica consigo mismo (𝑖 ↔ 𝑖).

b) Es Simétrica. Si (𝑖 ↔ 𝑗)entonces (𝑗 ↔ 𝑖).
c) Es transitiva. Si (𝑖 ↔ 𝑗) y si (𝑗 ↔ 𝑘)entonces (𝑖 ↔ 𝑘).

El conjunto de todos los estados que se comunican entre sí, en un proceso estocástico,
forman una “Clase de Equivalencia”. En una clase de equivalencia, todos los estados se
comunican entre sí. Y si un estado dentro de una clase es de cierto tipo, entonces todos los
estados de la clase son del mismo tipo.

Definición de cadenas de Markov irreducibles: Una cadena de Markov, que tiene todos
sus estados pertenecientes a una sola clase de equivalencia se denomina Cadena de Markov
Irreducible.

Esto significa que, si en una cadena de Markov se tienen dos o más clases de equivalencia,
entonces no es posible que los estados de una clase se comuniquen con los estados de otras
clases. En dicho caso lo que puede existir únicamente es accesibilidad desde una clase a otra(s).

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 5 de 12

Este concepto de clases de equivalencia toma en cuenta las relaciones externas que
pueden ocurrir entre los estados, pero existe otra clasificación basada en la naturaleza interna
de los estados. La siguiente definición identifica a los estados con su naturaleza interna.
(0,𝑛)
Sea 𝑓𝑖𝑖 = 𝑃(𝑋𝑛 = 𝑖, 𝑋𝑟 ≠ 𝑖 𝑝𝑎𝑟𝑎 𝑟 = 1, 2, … , 𝑛 − 1|𝑋0 = 𝑖) y
∞
(0,𝑛)
𝑓𝑖𝑖∗ = ∑ 𝑓𝑖𝑖
𝑛=1

(0,𝑛)
Esto significa que 𝑓𝑖𝑖 es la probabilidad de que el proceso retorne por primera vez al
estado 𝑖, luego de haber inicialmente haber estado en él. Cuando sea claro que el estado inicial
se refiera al estado en el tiempo 0, se omitirá del exponente dicho valor y simplemente se
(𝑛) (0,𝑛) (𝑛)
escribirá: 𝑓𝑖𝑖 . Es decir, 𝑓𝑖𝑖 = 𝑓𝑖𝑖 . Significando lo mismo, la probabilidad del primer retorno
al estado 𝑖.

Mientras que 𝑓𝑖𝑖∗ , es la probabilidad de que iniciando en el estado 𝑖, su retorno a él mismo

ocurre en un tiempo finito.

Definición de estado recurrente: Un estado 𝑖 se dice que es recurrente, si y solamente si,

iniciando el proceso en el estado 𝑖, el eventual retorno a este mismo estado es cierto.

Es decir, que un estado 𝑖 es recurrente ⟺ 𝑓𝑖𝑖∗ = 1.

Definición de tiempo de recurrencia: Cuando un estado 𝑖 es recurrente, se define el

tiempo de recurrencia como el número de pasos requeridos para el primer retorno al estado 𝑖.

Definición de tiempo promedio de recurrencia: Cuando un estado 𝑖 es recurrente, se

define
∞
(𝑛)
𝜇𝑖 = ∑ 𝑛𝑓𝑖𝑖
𝑛=1

Como el tiempo promedio de recurrencia, que no es más que la esperanza matemática

del número de pasos requeridos para el primer retorno al estado 𝑖. A 𝜇𝑖 se le denomina como
“tiempo de recurrencia” (también conocido como el tiempo medio de recurrencia del estado 𝑖.

Con el uso del concepto del tiempo promedio de recurrencia, los estados recurrentes se
pueden clasificar como recurrentes nulos o recurrentes positivos.

Definición de recurrencia nula y recurrencia positiva: Un estado recurrente 𝑖 se dice que

es recurrente nulo sí y sólo sí el tiempo promedio de recurrencia es ∞, es decir, si 𝜇𝑖 = ∞. Y se

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 6 de 12

dice que un estado recurrente 𝑖 es recurrente positivo, sí y solamente sí, el tiempo promedio de
recurrencia es finito, es decir, 𝜇𝑖 < ∞.

Una conclusión que resulta inmediata es, que cuando se estudia una cadena de Markov
finita, la recurrencia siempre es positiva.

Y la otra es que la recurrencia nula solo ocurre cuando el espacio de estados es infinito
numerable. Es decir, que se puede establecer una relación biunívoca del espacio muestral con el
conjunto de los números naturales. O sea, cuando el espacio de estados es semejante a S = {0, 1,
2, 3, …}.

Definición de estado transitorio: Un estado 𝑖 se dice que es transitorio, sí y solamente sí,

iniciando el proceso en el estado 𝑖 existe una probabilidad positiva de que el proceso
eventualmente ya no retorne al estado 𝑖.

Esto implica que 𝑓𝑖𝑖∗ < 1, es decir, que el retorno al estado 𝑖 ya no es seguro.

Otro criterio de determinación si un estado es recurrente o transitorio se basa en las

(𝑛)
probabilidades 𝑃𝑖𝑖 , la probabilidad de que el proceso ocupe el estado 𝑖 después de 𝑛 pasos,
dado que inicialmente estaba en el estado 𝑖. La diferencia con el caso anterior, es que ahora este
no necesariamente es el primer retorno al estado 𝑖.

Teorema: Un estado 𝑖 se clasifica como recurrente o transitorio dependiendo de si

∞
(𝑛)
∑ 𝑃𝑖𝑖 =∞ ó <∞
𝑛=1

Teorema: Si 𝑖 ↔ 𝑗 y si 𝑖 es recurrente, entonces 𝑗 es también recurrente.

Definición de estado absorbente: Un estado 𝑖 se dice que es absorbente, sí y solamente

sí, 𝑃𝑖𝑖 = 1.

Un estado es absorbente, cuando existe una o muchas formas de llegar a él, pero una vez
en él, ya no se sale de él. Los estados absorbentes están formados por uno y solamente un estado.
No pueden estar en una misma clase dos estados que sean absorbente. Ellos solitos forman una
clase recurrente positiva, denominada clase absorbente.

Definición de período de un estado: El período de un estado 𝑖 se define como el máximo

(𝑛)
común divisor de todos los enteros 𝑛 ≥ 1, para los cuales 𝑃𝑖𝑖 > 0. Cuando el período de un
estado es 1, se dice que dicho estado es aperiódico.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 7 de 12

Los estados periódicos o aperiódicos exhiben las siguientes propiedades:

Teorema: Si el estado 𝑖 tiene período 𝑑𝑖 ≥ 1, entonces existe un entero 𝑁 tal que para
(𝑛𝑑𝑖 )
todos los valores de 𝑛 ≥ 𝑁, 𝑃𝑖𝑖 > 0.
(𝑚)
Corolario: Si 𝑃𝑗𝑖 > 0, entonces existe un entero 𝑁 > 0,
(𝑚+𝑛𝑑𝑖 )
tal que para 𝑛 ≥ 𝑁, 𝑃𝑗𝑖 > 0.

Teorema: Si 𝑖 ↔ 𝑗, entonces 𝑖 𝑦 𝑗 tienen el mismo período.

3.4. REPRESENTACIÓN CANÓNICA DE LA MATRIZ DE PROBABILIDADES DE

TRANSICIÓN DE LA MATRÍZ DE PROBABILIDADES DE TRANSICIÓN.
Definición de la Matriz en forma canónica.

Consiste en re-escribir la matriz de probabilidades de transición, de tal forma que los

estados absorbentes queden en el primer lugar de la lista, seguidos por los estados
recurrentes y concluyendo con los estados transitorios.

Por tanto, es necesario saber clasificar los estados desde un inicio como absorbentes,
recurrentes (positivos o nulos) o como transitorios.

Por ejemplo, suponga que la matriz de probabilidades de transición de un proceso

estocástico resultó ser la siguiente:
0 1 2 3 4 5 6 7 8
0 1 0 0 0 0 0 0 0 0
1 ‫ۍ‬. 5 0 .5 0 0 0 0 0 0 ‫ې‬
‫ێ‬ ‫ۑ‬
2‫ێ‬0 .5 0 .5 0 0 0 0 0 ‫ۑ‬
3‫ ێ‬0 0 .5 0 .5 0 0 0 0‫ۑ‬
𝑃 = 4‫ ێ‬0 0 0 .5 0 .5 0 0 0‫ۑ‬
5‫ ێ‬0 0 0 0 .5 0 .5 0 0‫ۑ‬
6‫ ێ‬0 0 0 0 0 .5 0 .5 0‫ۑ‬
7‫ ێ‬0 0 0 0 0 0 .5 0 . 5‫ۑ‬
8‫ ۏ‬0 0 0 0 0 0 0 0 1‫ے‬

Resulta de observarla, que se puede deducir de ella que los estados 0 y 8 son cada uno
absorbentes. Mientras que los estados 1 a 7 son todos transitorios. Aún más, se tienen en
total tres clases de equivalencia, la de los estados absorbentes, cada uno es una clase, y los
estados 1 a 7 se comunican todos entre sí, formando así una sola clase transitoria, debido a
que existen probabilidades positivas de irse de la clase y ya no volver a ella.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 8 de 12

La probabilidad de pasar de 7 a 8 que es de 0.5 y la de 1 pasar a 0 que también es de

0.5. Entonces, re-escribiendo los estados absorbentes al inicio de la matriz y dejando los
transitorios al final se tiene la siguiente matriz:

0 8 1 2 3 4 5 6 7
0 1 0 0 0 0 0 0 0 0
8‫ۍ‬0 1 0 0 0 0 0 0 0 ‫ې‬
‫ێ‬ 0 0 ‫ۑۑ‬
1 ‫ێ‬. 5 0 0 .5 0 0 0
2 ‫ێ‬0 0 .5 0 .5 0 0 0 0‫ۑ‬
𝑃(𝐶𝐴𝑁) = 3 ‫ێ‬0 0 0 .5 0 .5 0 0 0‫ۑ‬
4 ‫ێ‬0 0 0 0 .5 0 .5 0 0‫ۑ‬
5 ‫ێ‬0 0 0 0 0 .5 0 .5 0‫ۑ‬
6 ‫ێ‬0 0 0 0 0 0 .5 0 . 5‫ۑ‬
7 ‫ۏ‬0 .5 0 0 0 0 0 .5 0‫ے‬

Note que no se ha cambiado ningún valor de probabilidad, únicamente se han

reubicado.

A partir de la matriz de probabilidades de transición en un paso P, se obtiene la matriz

canónica, P(CAN).

Supongamos que la matriz tiene m estados de los cuales r son los estados recurrentes
y m-r son los estados transitorios entonces la matriz canónica se puede re-escribir como:

P 0 
P CAN    1 
 R Q

Donde 𝑃1 es la sub-matriz de orden 𝑟 × 𝑟 cuyos elementos son las probabilidades de

transición de los estados recurrente. 𝑄 , es la sub-matriz de orden (𝑚 − 𝑟) × (𝑚 − 𝑟)
cuyos elementos son las probabilidades de transición de los estados transitorios del proceso
estocástico. 𝑅 , es la sub-matriz de orden (𝑚 − 𝑟) × 𝑟 y contiene las probabilidades de
transición de un estado transitorio a un estado recurrente en un paso.

P 0 
P CAN    1  
 R Q

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 9 de 12

3.5. SECCIÓN DE EJERCICIOS.

1. Cinco jóvenes juegan de tirarse una bola entre ellos (juegan de cachar), Si
Guillermo tiene la bola es igualmente probable que se la lance a Lupita, Rosa,
Juan o Conchita, Si Conchita tiene la bola, entonces es igualmente probable
que se la lance a Rosa, Juan o Guillermo, Si Lupita o Rosa obtienen la bola se
quedan lanzándola la una a la otra y si Juan obtiene la bola se va corriendo con
ella. Establezca un proceso estocástico apropiado en este caso y determine la
matriz de probabilidades de transición, clasifique los estados y escriba la
matriz de probabilidades de transición en su forma canónica. Diga si se trata o
no de una cadena de Markov finita.
2. Considere el caso de la ruina del jugador anterior, pero ahora la probabilidad
de que A gane el juego es 0.7. Establezca el proceso estocástico y construya la
matriz de probabilidades de transición en este caso, clasifique los estados y
escriba la matriz de probabilidades de transición en su forma canónica. Diga si
se trata o no de una cadena de Markov finita.

3.6. BIBLIOGRAFÍA
1. Solomon. F. (1987) Probability and Stochastic Processes. New Jersey, USA. Prentice Hall
Inc.
2. Bhat, U.N. & Miller, G. K. (2002) Elements of applied Stochastic Processes. New York, USA.
Wiley-Interscience, John Wiley & Sons, Inc.
3. Bailey, N. T. J. (1964) The Elements of Stochastic Processes, with applications to the
natural sciences. New York, USA. John Wiley & Sons, Inc.
4. Žitkcović, G. (2010) Introduction to Stochastic Processes – Lecture Notes. Austin, Texas,
USA. Department of Mathematics. The University of Texas.
5. Taylor, H.M. & Karlin, S. (1998) An Introduction to Stochastic Modeling. New York, USA.
Academic Press.
6. Knill, O. (2009) Probability and Stochastic Processes with Applications. New Delhi, India.
Overseas Press India Private Limited.
7. Ross S. M. (1996) Stochastic Processes. New York, USA, John Wiley and Sons, Inc.
8. Wolf, R. W. (1989) Stochastic Modeling and the Theory of Queues. New Jersey, USA.
Prentice Hall Inc.
9. Yates, R. D. & Goodman, D. J. (1983) Probability and Stochastics Processes. New York,
USA. John Wiley and Sons, Inc.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 10 de 12

GLOSARIO
Definición de la Matriz en forma canónica.

Consiste en re-escribir la matriz de probabilidades de transición, de tal forma que los

estados absorbentes queden en el primer lugar de la lista, seguidos por los estados recurrentes
y concluyendo con los estados transitorios.

Definición de función de distribución de las transiciones condicional: Sean 𝑡0 y 𝑡1 dos

puntos de 𝑇, tales que 𝑡0 ≤ 𝑡1, entonces se define la función de distribución de las transiciones
condicional por:

𝐹(𝑥0 , 𝑥1 ; 𝑡0 , 𝑡1 ) = 𝑃(𝑋(𝑡1 ) ≤ 𝑥1 |𝑋(𝑡0 ) ≤ 𝑥0 ) (2)

Y en el caso discreto se escribe:

(𝑚.𝑛)
𝑃𝑖𝑗 = 𝑃(𝑋𝑛 = 𝑗|𝑋𝑚 = 𝑖) 𝑛 ≥ 𝑚

Definición de dependencia de Markov: Un proceso exhibe la dependencia de primer

orden o dependencia de Markov, cuando el estado del proceso en el siguiente punto de
observación sólo depende del estado del proceso en el punto anterior de observación y de lo que
ocurra durante el último período de observación, pero no de los estados del proceso en los
períodos tras anteriores. Lo cual en formato matemático se escribe como:

Considere los puntos de observación 𝑡1 , 𝑡2 , … , 𝑡𝑛 , puntos tales que 𝑡1 < 𝑡2 < ⋯ < 𝑡𝑛 , la
dependencia de Markov, viene dada para el caso continuo por:

𝑃(𝑋(𝑡𝑛 ) ≤ 𝑥𝑛 |𝑋(𝑡𝑛−1 ) ≤ 𝑥𝑛−1 , 𝑋(𝑡𝑛−2 ) ≤ 𝑥𝑛−2 , … , 𝑋(𝑡0 ) ≤ 𝑥0 ) =

𝑃(𝑋(𝑡𝑛 ) ≤ 𝑥𝑛 |𝑋(𝑡𝑛−1 ) ≤ 𝑥𝑛−1) = 𝐹(𝑥𝑛−1 , 𝑥𝑛 ; 𝑡𝑛−1 , 𝑡𝑛 ) (3)

Y para el caso discreto por:

(𝑛−1,𝑛)
𝑃(𝑋𝑛 = 𝑗|𝑋𝑛−1 = 𝑘, 𝑋𝑛−2 = 𝑙, … , 𝑋1 = 𝑢) = 𝑃(𝑋𝑛 = 𝑗|𝑋𝑛−1 = 𝑘) = 𝑃𝑘𝑗

Definición de la Relación de accesibilidad: El estado 𝑗 se dice que es accesible desde el

estado 𝑖, Si 𝑗 se puede acceder desde 𝑖 en un número finito de pasos.

Esto matemáticamente significa que existe una probabilidad positiva de llegar desde 𝑖 a
𝑗, lo cual se escribe:
(0,𝑛)
𝑖 → 𝑗 (𝑗 𝑒𝑠 𝑎𝑐𝑐𝑒𝑠𝑖𝑏𝑙𝑒 𝑑𝑒𝑠𝑑𝑒 𝑖), 𝑠𝑖 ∃𝑛 ≥ 0 𝑡. 𝑞. 𝑃𝑖𝑗 > 0.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 11 de 12

Definición de la Relación de comunicación: El estado 𝑖 se comunica con el estado 𝑗, si 𝑗

es accesible desde el estado 𝑖, y si 𝑖 es accesible desde el estado 𝑗. En un número finito de pasos,
no necesariamente el mismo número de pasos en ambos casos.

Esto matemáticamente significa que existe una probabilidad positiva de llegar desde 𝑖 a
𝑗, y otra de llegar de 𝑗 a 𝑖 lo cual se escribe:
(0,𝑛)
𝑖 → 𝑗 (𝑗 𝑒𝑠 𝑎𝑐𝑐𝑒𝑠𝑖𝑏𝑙𝑒 𝑑𝑒𝑠𝑑𝑒 𝑖), 𝑠𝑖 ∃𝑛 ≥ 0 𝑡. 𝑞. 𝑃𝑖𝑗 > 0.
(0,𝑚)
𝑗 → 𝑖 (𝑖 𝑒𝑠 𝑎𝑐𝑐𝑒𝑠𝑖𝑏𝑙𝑒 𝑑𝑒𝑠𝑑𝑒 𝑗), 𝑠𝑖 ∃𝑚 ≥ 0 𝑡. 𝑞. 𝑃𝑗𝑖 > 0.

Esto se suele escribir como:

(0,𝑛) (0,𝑚)
𝑖 ↔ 𝑗 (𝑖 𝑠𝑒 𝑐𝑜𝑚𝑢𝑛𝑖𝑐𝑎 𝑐𝑜𝑛 𝑗), 𝑠𝑖 ∃𝑛 ≥ 0 𝑡. 𝑞. 𝑃𝑖𝑗 > 0 𝑦 𝑠𝑖 ∃𝑚 ≥ 0 𝑡. 𝑞. 𝑃𝑗𝑖 > 0.

Definición de Cadena de Markov Finita: Un proceso estocástico que exhibe la propiedad

de Markov, que además tiene espacio de estados discreto (o infinito numerable) y espacio
parametral discreto, se denomina una cadena de Markov finita.

Definición de cadenas de Markov irreducibles: Una cadena de Markov, que tiene

todos sus estados pertenecientes a una sola clase de equivalencia se denomina Cadena de
Markov Irreducible.

Definición de estado recurrente: Un estado 𝑖 se dice que es recurrente, si y solamente

si, iniciando el proceso en el estado 𝑖, el eventual retorno a este mismo estado es cierto.

Definición de tiempo de recurrencia: Cuando un estado 𝑖 es recurrente, se define el

tiempo de recurrencia como el número de pasos requeridos para el primer retorno al estado 𝑖.

Definición de tiempo promedio de recurrencia: Cuando un estado 𝑖 es recurrente, se

define
∞
(𝑛)
𝜇𝑖 = ∑ 𝑛𝑓𝑖𝑖
𝑛=1

Como el tiempo promedio de recurrencia, que no es más que la esperanza matemática

del número de pasos requeridos para el primer retorno al estado 𝑖. A 𝜇𝑖 se le denomina como
“tiempo de recurrencia” (también conocido como el tiempo medio de recurrencia del estado 𝑖.

Definición de recurrencia nula y recurrencia positiva: Un estado recurrente 𝑖 se dice que

es recurrente nulo sí y sólo sí el tiempo promedio de recurrencia es ∞, es decir, si 𝜇𝑖 = ∞. Y se

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 12 de 12

dice que un estado recurrente 𝑖 es recurrente positivo, sí y solamente sí, el tiempo promedio de
recurrencia es finito, es decir, 𝜇𝑖 < ∞.

Definición de estado transitorio: Un estado 𝑖 se dice que es transitorio, sí y solamente

sí, iniciando el proceso en el estado 𝑖 existe una probabilidad positiva de que el proceso
eventualmente ya no retorne al estado 𝑖.

Definición de estado absorbente: Un estado 𝑖 se dice que es absorbente, sí y solamente

sí, 𝑃𝑖𝑖 = 1.

Definición de período de un estado: El período de un estado 𝑖 se define como el máximo

(𝑛)
común divisor de todos los enteros 𝑛 ≥ 1, para los cuales 𝑃𝑖𝑖 > 0. Cuando el período de un
estado es 1, se dice que dicho estado es aperiódico.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.