\documentclass[12pt]{article}
\usepackage[T2A]{fontenc}
\usepackage[cp1251]{inputenc}
\usepackage[russian]{babel}
%\usepackage{amsthm}
\usepackage{amsfonts}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{amsthm}
\usepackage{cite}
\usepackage{graphicx}
\usepackage[mathscr]{eucal}
\usepackage{calrsfs}
\textwidth 16cm \hoffset -1.2cm \topmargin -1.3cm \textheight 24cm
\newcommand{\sq}{\hfill$\square $}


\newcommand{\mb}{\mathversion{bold}}
\newcommand{\ris}{\refstepcounter{ris}\arabic{ris}}

\def\thetheorem{\arabic{theorem}}
\newtheorem{theorem}{\hspace{6mm}Theorem}

\def\thelemma{\arabic{lemma}}
\newtheorem{lemma}{\hspace{6mm}Лемма}
\def\thenote{\arabic{note}}
\newtheorem{note}{\hspace{6mm}Замечание}

\def\thecorollary{\arabic{corollary}}
\newtheorem{corollary}{\hspace{6mm}Следствие}

\newcommand{\s}{\refstepcounter{s}\arabic{s}}

\begin{document}
\large 

\newcounter{s}
\setcounter{s}{0}


\begin{center}
\bf\Large ФОРМУЛЫ ОБРАЩЕНИЯ ДЛЯ ВОЗВРАТНОЙ ЦЕПИ МАРКОВА
\end{center}
\begin{center}
{\bf\Large С.В. Нагаев}

Институт математики им. С.Л. Соболева, Новосибирск
\end{center}





УДК 519.217.2

MSC 60J10\vskip5mm


{\bf Abstract.} Combinatorial inversion formulas for a recurrent Markov chain are derived.\vskip3mm

{\bf Ключевые слова:} вероятность перехода, формула Феллера, момент времени.
\vskip5mm



Пусть $\{X_n\}_0^\infty$ -- возвратная цепь Маркова, заданная на целочисленной решетке. Обозначим через $p_{jk}$ вероятность перехода из точки $i$ в точку $k$ за один шаг. Пусть
$p_{jk}^{(n)}$ -- вероятность перехода из  $i$ в  $k$ за~$n$ шагов. Фиксируем начальное состояние цепи, например, 1. Положим  $p_n=p_{11}^{(n)}$. Пусть $q_n$ -- вероятность того, что 1 появится в первый раз в момент времени $n$. Задача заключается в том, чтобы выразить $\{q_n\}$ через $\{p_n\}$.

Нетрудно видеть, что
\begin{equation*}%\label{pn}
p_n=\sum_{k=1}^{n-1}q_kp_{n-k}+q_n.\end{equation*}
Отсюда
\begin{equation*}%\label{fz}
\sum_{n=1}^\infty
p_nz^n=\sum_{n=1}^\infty
\sum_{k=1}^{n-1}q_kp_{n-k}z^n+\sum_{n=1}^\infty q_nz^n.
\end{equation*}
Меняя порядок суммирования, имеем
\begin{equation*}%\label{fz-}
\sum_{n=1}^\infty
\sum_{k=1}^{n-1}q_kp_{n-k}z^n=\sum_{k=1}^{\infty}
\sum_{n=k+1}^\infty
q_kp_{n-k}z^n
=\sum_{k=1}^{\infty}q_kz^k
\sum_{j=1}^{\infty}
p_jz^j.
\end{equation*}
Таким образом,
$$\sum_{n=1}^\infty p_nz^n=\sum_{n=1}^{\infty}
\sum_{k=1}^{\infty}
q_kz^k+\sum_{k=1}^\infty q_kz^k.$$
Отсюда
$$\sum_{n=1}^\infty p_nz^n\Big(1-\sum_{k=1}^\infty q_kz^k\Big)=
\sum_{k=1}^\infty q_kz^k.$$
Деля обе части этого равенства на $1-\sum\limits_{k=1}^\infty q_kz^k$, получаем
\begin{equation}
\label{sumpz} 
 \sum_{n=1}^\infty p_nz^n=
 \sum_{k=1}^\infty q_kz^k/\Big(1-\sum_{k=1}^\infty q_kz^k\Big). 
\end{equation}
Обращая это равенство, находим
\begin{equation}
\label{sumqz}
\sum_{k=1}^\infty q_kz^k=\frac{\sum_{n=1}^\infty p_nz^n}{\sum_{n=1}^\infty p_nz^n+1\phantom{\int}}.\end{equation}
В книге В. Феллера \cite{Feller1952} выводится формула
$$\sum_{n=1}^\infty p_nz^n+1=\frac{1}{1-\sum_{k=1}^\infty q_kz^k}$$
(см. \cite[гл. XII,  3]{Feller1952}). Отсюда
$$\sum_{k=1}^\infty q_kz^k=1-\frac{1}{1+\sum_{n=1}^\infty p_nz^n}=
\frac{\sum_{n=1}^\infty p_nz^n}{\sum_{n=1}^\infty p_nz^n+1}.$$
Таким образом, используя формулу Феллера, мы получили формулу \eqref{sumqz}.

Положим $f(z)=\sum\limits_{n=1}^\infty p_nz^n$.
Очевидно,
\begin{equation}
\label{f/f}\frac{f(z)}{f(z)+1}=\sum_{m=1}^\infty
(-1)^{m+1}f^m(z).
\end{equation}
Нетрудно видеть, что
$$f^m(z)=
\sum p_{k_1}p_{k_2}\cdots
 p_{k_m}\,z^{k_1+k_2\cdots
 k_m},$$
где каждое из $k_i$ принимает все целочисленные значения от $1$ до $\infty$. 
Представим $f^m(z)$ в виде
\begin{equation}\label{fmz}
 f^m(z)=\sum_{l=m}^\infty
 \sum p_{k_1}p_{k_2}\cdots
 p_{k_m}\,z^l,
 \end{equation}
где $\sum p_{k_1}p_{k_2}\cdots
 p_{k_m}$ берется по
 $k_1,\,k_2,\cdots
 ,\,k_m$ таким, что
 \mbox{$k_1+k_2+\cdots
 +k_m=l$}.
 
 Обозначим
 $\sum p_{k_1}p_{k_2}\cdots
 p_{k_m}$ через $\sum_1$.
 Если $m=1$, $l=k$, то
 $\sum_1=p_k$. Если $m>1$, то необходимо $l>1$.
   Заметим, что $k_m\le l$. Подставляя в \eqref{f/f} представление \eqref{fmz}, получаем
 \begin{multline}\label{f/f-2}
 \frac{f(z)}{f(z)+1}=
 \sum_{m=1}^\infty (-1)^{m+1}\sum_{l\ge m}
 \sum p_{k_1}p_{k_2}\cdots
 p_{k_m}\,z^l
 \\
 =\sum_{l=1}^\infty
 \sum_{1\le m\le l}(-1)^{m+1}
 \sum p_{k_1}p_{k_2}\cdots
 p_{k_m}\,z^l. 
 \end{multline}
 Мы изменили в \eqref{f/f-2} порядок суммирования согласно формуле
 $$\sum_{m=1}^\infty \sum_{l\ge m}\;\;=
 \sum_{l=1}^\infty \sum_{1\le m\le l}\;\;.$$
Из \eqref{sumqz} и преобразованной формулы \eqref{f/f-2} следует, что
$$\sum_{k=1}^\infty q_kz^k=\sum_{l=1}^\infty \sum_{1\le m\le l}(-1)^{m+1}
 \sum p_{k_1}p_{k_2}\cdots
 p_{k_m}\,z^l.$$

\vskip5mm

\begin{center}  { \sl REFERENCES}  \end{center}

%\vspace{0.5cm}
%\small
\begin{enumerate}

\bibitem{Feller1952} {\sl Feller W.} Introduction to probability theory and its applications (discrete distributions). Publishing House ``Foreign Literature'', Moscow; 1952.

\end{enumerate}


\end{document}




