Markov Chain-1

 

시간의 확률 과정

마르코프 체인의 특성은 현시점을 기준으로 과거와 미래는 독립이라는 특성이 있습니다.

이산시간 마르코프 체인 예제

상태도

TPM

간단하게 n차 전이확률 행렬은 n번 곱해주면 됩니다.

안정상태

n번을 계속 곱해주다 보면 P는 안정상태(수렴)에 들어가게 됩니다.

 

DTMC에서의 pi에 대한 정의

아래는 여러 행렬곱에 대해 각 파이를 구하는데 있어 어려움이 있기에 다음과 같이 나타냅니다. 

아래는 왜 안정상태가 pi=pi*P인지 간단하게 써놨습니다. 

안정상태가 pi=pi*P인 이유

안정상태라는 조건 pi=pi*P에 유의하자.

만약 계수행렬이 뭔지 모른다면?

https://pastryofjsmath.tistory.com/39

LA-2) 방정식 해의 존재 유무 판단(Augment matrix, rank)

 

안정상태라는 조건 pi=pi*P가 있을 때 방정식 풀이

전치를 해야하는 이유

이후는 계산이기에 R코드를 첨부하겠습니다.

#DTMC 
#sol1)
P <- matrix(c(0.7,0.2,0.1,
              0.3,.4,.3,
              .2,.45,.35),byrow=T,ncol=3)
P

A <- diag(3) - t(P)
#sigma pi =1
A[1,] <- c(1,1,1)
b <- c(1,0,0)
solve(A,b)

#sol2)
PSS <- diag(3)
for(i in 1:30){
  PSS <- PSS%*%P
}
PSS

아래는 코드에 대한 설명입니다.

 

맨 처음의 예제 문제도 R코드 첨부합니다.

#sol1)
P <- matrix(c(0.9,0.1,
              0.05,0.95),byrow = T,ncol=2)

A <- diag(2)-t(P)
#sigma pi = 1
A[1,] <- c(1,1)
b <- c(1,0)

solve(A,b)

#sol2)
E <- diag(2)
E
for(i in 1:1000){
  E <- E%*%P
}
E

 

출처 : 강원대삼척캠퍼스(AI소프트웨어학과) 이두호 교수님 강의파일