\section{Агентно-ориентированные модели}\label{sec_CA-ABM}
В данном разделе будет приведен краткий обзор имитационных моделей, основанные на клеточных автоматах, и агентно-ориентированные модели (АОМ). Подробное построение АОМ распространения COVID-19 в конкретной регионе приведено в конце раздела~\ref{sec_ABM_COVID}.

\subsection{Введение}
Значимым преимуществом моделей, базирующихся на аппарате дифференциальных уравнений, является возможность их аналитического исследования. Тем не менее для всех таких моделей характерно допущение -- характеристики и поведение всех индивидов, отнесенных к одной подгруппе, считаются одинаковыми. Имитационные модели (клеточные автоматы, сетевые модели и АОМ) позволяют ослабить указанные ограничения.

\subsection{Клеточные автоматы}\label{sec_cellular_automata}
T.C.~Shelling в 1971~\cite{Schelling_1971} и M.~Mitchel в 1993~\cite{Mitchell_1993} предложили теорию клеточных автоматов для моделирования локальных характеристик восприимчивых популяций вместе со стохастическими параметрами, которые отражают вероятностный характер передачи болезни. Клеточные автоматы представляют собой совокупность квадратных ячеек, объединенных в прямоугольную решетку, каждая из которых принимает состояние из конечного множества. Узлы решетки моделируют индивидов, каждый из которых имеет фиксированное положение в пространстве (схема клеточного автомата представлена на Рис.~\ref{fig:CA_ABM_scheme}a). Так, анализ социальной дистанции, ношение масок при распространении COVID-19 в локальной популяции может описываться с помощью клеточных автоматов~\cite{Schimit_2021}. В работе~\cite{Dai_2021} SEIR модель описывается в терминах вероятностных клеточных автоматов и обыкновенных дифференциальных уравнений передачи COVID-19, достаточно гибких для моделирования различных сценариев социальной изоляции.
\begin{figure}[!ht]
    \begin{minipage}[h]{0.49\linewidth}
    \center{\includegraphics[width=\textwidth]{images/CA_scheme.pdf}\\ а)} 
    \end{minipage}
    \hfill
    \begin{minipage}[h]{0.49\linewidth}
    \center{\includegraphics[width=\textwidth]{images/ABM_scheme.pdf}\\ б)} 
    \end{minipage}
    \caption{Представление распространения инфекции клеточным автоматом (а) и сетевой моделью (б).}
    \label{fig:CA_ABM_scheme}
\end{figure}

\subsection{Агентно-ориентированные модели}\label{sec_ABM}
После публикации статьи P.~Patrolla в 2004 году~\cite{Patlolla_2004} была предложена агентно-ориентированная модель (АОМ), в которой расширены возможности клеточных автоматов отслеживания распространения болезни и контактов между каждым человеком в социальной группе, расположенной в географической области. АОМ позволяют взаимодействовать между людьми и способны преодолевать ограничения различных подходов, обращаясь к естественной стохастической природе эпидемического процесса. АОМ представляют схему возможных контактов в виде динамического или статического графа, в котором вершины -- объекты с набором индивидуальных свойств, сколь угодно детализировано описывающие состояние отдельных индивидов (упрощенная схема графа в АОМ приведена на Рис.~\ref{fig:CA_ABM_scheme}б).

Группа под руководством академика Г.Н. Рыкованова~\cite{Adarchenko_2020, Romanuykha_2020} разработали и проанализировали камерную SEIR-D и АОМ для описания распространения COVID-19. Разработанная статистическая АОМ, несмотря на некоторую упрощенность модели поведения людей, позволяет расчетно анализировать такие факторы, как, например, введение карантина в отношении отдельных социальных групп или в отдельных сферах деятельности (работа, транспорт, магазины). Авторы отметили (стр.~27-28), что достоинства статистической модели влекут за собой и некоторые её недостатки. Так, чтобы достоверно моделировать те или иные факторы, в основу расчета должны закладываться адекватные исходные данные -- от численности населения и его распределения по социальным группам до загруженности различных видов транспорта или магазинов.

Группа американских ученых~\cite{Kerr_2021} разработали открытый программный комплекс Covasim~\cite{covasim_doc}, основу которого составляет агентный подход моделирования эпидемии с учетом особенностей заболевания, фармацевтических (вакцинация) и политических (физические ограничения, ношение масок) вмешательств. Этот программный комплекс применялся для построения сценариев развития эпидемии COVID-19, изучения динамики пандемии и поддержке принятия политических решений более чем в десятке стран Африки, Азиатско-Тихоокеанского региона, Европы и Северной Америки. В статье~\cite{Aleta_2020} показано, что система реагирования, основанная на расширенном тестировании и отслеживании контактов, может играть важную роль в ослаблении интервенций социального дистанцирования при отсутствии коллективного иммунитета против SARS-CoV-2. Авторы~\cite{Lau_2020} подсчитали, что инфицированные люди не пожилого возраста (<60 лет) могут быть в 2,78 раза более заразными, чем пожилые люди, и первые, как правило, являются основной движущей силой сверхраспространения. В работах~\cite{Kucharski_2020, Hoertel_2020, Hellewell_2020} в рамках АОМ распространения COVID-19 проанализированы противоэпидемические программы в различных регионах, в результате чего получено понимание эффективных мер для разных географических и демографических условий, а также текущих штаммов SARS-CoV-2. В работе~\cite{Nielsen_2020} авторы построили АОМ, в котором источники заражения выступали суперраспространители. Они показали, что сверхраспространение резко усиливает значимость ограничений личных контактов.

В работе~\cite{Loginov2021} проведено численное исследование динамики когорт индивидуумов некоторого региона для наборов параметров, отражающих различные варианты передачи инфекции между индивидуумами на основе статистического моделирования и метода Монте-Карло. Представленный в работе подход
позволяет перейти к марковскому случайному процессу в расширенном пространстве состояний, включающем описание когорт индивидуумов с помощью целочисленных и вещественных переменных, и расширять модель с точки зрения введения новых факторов.

В следующем разделе подробно описан процесс построения популяции на основе пакета Covasim, инфицирования вирусом штамма SARS-CoV-2 на основе графов, тестирования и вакцинации в Российской Федерации на основе статистических данных.

\subsubsection{АОМ распространения COVID-19}\label{sec_ABM_COVID}
Опишем структуру АОМ, лежащую в основе пакета Covasim~\cite{covasim_doc}:
    \begin{enumerate}
        \item \textbf{Инициация популяции.} Формируются четыре структуры контактов: домохозяйства, образовательные учреждения, рабочие и общественные места.
        \begin{enumerate}
            \item Постоянные характеристики агента:
            \begin{itemize}
                \item возраст (все агенты делятся на возрастные группы по 10 лет: 0--9 лет, 10--19, \ldots, 80+),
                \item пол,
                \item социальный статус,
                \item вероятности прогрессирования заболевания зависят от возраста агента (возникновения симптомов, тяжелых и критических случаев, смертность).
            \end{itemize}
            \item Переменные характеристики агента (пересчитываются к концу дня -- шаг по времени):
            \begin{itemize}
                \item эпидемиологический статус. Каждый агент в определенный момент времени может находиться в одной 9 стадиях заболевания: к описанным в Разделе~\ref{sec_R0-SEIR-HCD} состояниям $S$, $E$, $I$, $R$, $H$, $C$, $D$ добавлены бессимптомные больные $A$ и больные в легкой форме $M$,
                \item шанс быть протестированным.
            \end{itemize}
        \end{enumerate}
        
        Домохозяйства заполняются агентами согласно статистическим данным ООН~\cite{UN} о среднем размере семьи в регионе (2.6 человек). В зависимости от возраста агенты контактируют друг с другом в контактных сетях, представляющие собой полносвязные графы, количество вершин которых является пуассоновской случайной величиной с средним:
        \begin{itemize}
            \item для домохозяйства -- размер семьи,
            \item для общественных мест и образовательных учреждений -- 20.
            \item для работы -- 8.
        \end{itemize}
 Все агенты имеют контакты в домохозяйствах и в общественных местах, агенты в возрасте 6-21 лет также могут контактировать в образовательных учреждениях с агентами своего возраста, агенты в возрасте 22-65 лет -- на работе. Пример графов в разных структурах контактов в АОМ приведен на Рис.~\ref{fig:ABM_graph_example}.
 \begin{figure}[!ht]
    \centering
    \includegraphics[width=\textwidth]{images/ABM_graph_example_rus.pdf}
    \caption{Пример схем связей для подвыборки 127 человек из 10 000. Все люди присутствуют в домохозяйствах (слева), в том числе некоторые не имеют связи с домом. Как правило, эти люди, включая учителей, присутствуют в школьной сети (кружки); другое подмножество присутствует в сетях рабочих мест (квадраты); некоторые люди не входят ни в школьную, ни в рабочую сеть (треугольники). Цветом отмечена возрастная категория агента.}
    \label{fig:ABM_graph_example}
\end{figure}
        
    \item \textbf{Заражение.}
        В рамках модели предполагается, что вирус передается между агентами, соединенными ребром графа. Заражение при близком контакте описывается кусочно-постоянным параметром $\alpha(t)$.
        В зависимости от структуры контакта, параметр $\alpha$ умножается на соответствующую константу $w_{\alpha}$ (для домохозяйств $w_{\alpha}=3$, для образовательных учреждений и работы $w_{\alpha}=0.6$, для общественных мест $w_{\alpha}=0.3$). Таким образом, вероятность передачи вируса для каждой контактной сети различная. Симптомные и бессимптомные агенты передают вирус одинаково.
        
        \item \textbf{Прогрессирование заболевания.} Переход из одной стадии заболевания $S,E,A,I,M,H,C,R,D$ в другую в момент времени $t$ контролируется параметрами, зависящими от возраста, т.е. чем старше агент, тем он более уязвим (например, вероятность проявлять симптомы после заражения $p_{sym} = 0.5 + 0.05i\in [0.5, 0.9]$, где $i$~-- номер возрастной группы). Взаимосвязь эпидемиологических состояний обозначена на~Рис.~\ref{fig:ABM_epid_status}. Продолжительность каждой стадии заболевания представляет собой случайную логнормальную величину с различными средними и параметрами дисперсии (см.~Таблицу~\ref{duration}).

\begin{sidewaysfigure}
\vspace*{12cm}
    \centering
    \includegraphics[width=\textwidth]{images/Epid_status_ABM-Covasim_rus.pdf}
    \caption{Диаграмма состояний агентов в АОМ. Оранжевой рамкой обозначены те состояния, находясь в которых агент имеет возможность получить положительный тест на COVID-19.}
    \label{fig:ABM_epid_status}
\end{sidewaysfigure}

\begin{table}[!ht]
\centering
\begin{tabular}{|p{1.5cm}|p{6.5cm}|p{2.5cm}| } 
 \hline
 Параметр & Описание & Распределение \\ 
  \hline
  $t_{inc}$ & Количество дней с момента контакта до того, как агент станет заразным.& $\mathrm{LogN} (4.6,4.8)$ \quad \cite{Lauer_2020}\\
  \hline
  $t_{sym}$ & Количество дней с момента, когда агент стал заразен, до проявления симптомов. & $\mathrm{LogN} (1, 0.9)$  \qquad\;\; \cite{Lauer_2020} \\
   \hline
  $t_{rec1}$ & Продолжительность болезни для бессимптомных и легких случаев. & $\mathrm{LogN} (8, 2)$  \qquad\;\;\;\; \cite{Wofel_2020} \\
  \hline
 $t_{rec2}$ & Продолжительность болезни для тяжелых и критических случаев. & $\mathrm{LogN}(14, 2.4)$  \qquad\;\; \cite{Verity_2020}\\
 \hline
 $t_{inf}$ & Количество дней, за которое агент переходит из легкого состояния в тяжелое. & $\mathrm{LogN} (6.6, 4.9)$  \qquad \cite{Lauer_2020} \\
 \hline
 $t_{hosp}$ & Количество дней, за которое агент переходит из тяжелого состояния в критическое. & $\mathrm{LogN}(3, 7.4)$  \qquad\;\; \cite{Wang_2020_clinic}\\
 \hline
 $t_{crit}$ & Длительность пребывания агента в критическом состоянии. & $\mathrm{LogN}(6.2, 1.7)$ \qquad\;\; \cite{Verity_2020} \\
 \hline
 \end{tabular}
 \caption{Параметры продолжительность болезни в днях в АОМ.}
\label{duration}
\end{table}

Модель основана на нескольких предположениях:
  \begin{enumerate}
 \item Изначально иммунитета нет ни у одного агента.
 \item Часть агентов находятся в инкубационном периоде $E(0)$.
 \item Умереть могут только пациенты, находящиеся на ИВЛ (критическое состояние $C(t)$).
\end{enumerate}

\item \textbf{Тестирование агентов} проводится согласно ежедневным статистическим данным о количестве проведенных тестов в регионе. Шанс быть протестированным на COVID-19 $p(t,i)$ зависит от эпидемиологического статуса агента и определяется в ходе решения обратной задачи (см. Раздел~\ref{sec_inv_ABM}). Положительный результат могут получить агенты, находящиеся в симптомном, бессимптомном, в легкой форме, госпитализированном, критическом состояниях (на рис.~\ref{fig:ABM_epid_status} эти состояния обведены в оранжевую рамку). В модели предполагается, что вероятность тестирования агентов с симптомами выше, чем у бессимптомных больных.

\item \textbf{Введение сдерживающих эпидемию мер}. В модели возможно введение карантинных мер как для всех контактных слоев, так и для каждого в отдельности. Это может быть сделано двумя способами: либо изменением значения параметра $\alpha(t)$ (в случае введения обязательной меры ношения масок или социального дистанцирования), либо удалением ребер в графах (в случае введения самоизоляции и дистанционной работы).

Обзор~\cite{Howard_masks_2021} и анализ литературы в нем в пользу эффективности ношения масок показал, что места и периоды времени где использование масок является обязательным или широко распространенным, показали значительно более низкий уровень передачи вируса в сообществе. Имеющиеся данные свидетельствуют о том, что практически повсеместное использование немедицинских масок при нахождении в общественных местах, в сочетании с дополнительными мерами общественного здравоохранения, может успешно снизить индекс репродукции вируса до уровня ниже 1, тем самым снижая распространение в обществе. Экономический анализ показывает, что обязательное ношение масок может добавить 1 триллион долларов к ВВП США~\cite{masks_GDP_2020}.
\end{enumerate}

Загружаются все необходимые параметры и статистические данные, создается искусственная популяция с учетом распределения по возрастам в регионе. Далее агенты соединяются в контактные сети. Затем начинается цикл по времени: на каждом шаге (временной интервал равен одному дню) обновляется эпидемиологический статус агента с учетом его структуры контактов и введенных ограничительных мер (самоизоляция, закрытие общественных мест, ношение масок и т.д.).

Модель основана на нескольких предположениях:
\begin{enumerate}
    \item Изначально иммунитета нет ни у одного агента.
    \item Часть агентов находятся в инкубационном периоде $E(0)$.
    \item Умереть могут только пациенты, находящиеся на ИВЛ (критическое состояние $C(t)$).
    \item Состояние агента обновляется в конце дня с учетом усреднения возможного пребывания в разных структурах контактов (например, 8 часов на работе, 4 часа в общественном месте и 12 часов дома за весь моделируемый день).
\end{enumerate}

\subsection{Индекс репродукции вируса $\mathcal{R}_0$ для АОМ}
В АОМ индекс репродукции вируса $\mathcal{R}_0$ определяется следующим образом:
\[\mathcal{R}_0(t) = \dfrac{d\cdot I_{new}(t)}{I_{active}(t)}.\]
Здесь $I_{new}(t)$~-- количество новых случаев инфицирования в день $t$, $I_{active}(t)$~-- количество людей с активным инфекционным заболеванием в день $t$, $d$~-- среднее время инфицирования.

\subsection{Выводы}
АОМ позволяют преодолевать ограничения дифференциальных моделей, используя стохастическую природу эпидемического процесса, возможности введения ограничительных мер в модель, особенности моделируемого региона и учета индивидуальности индивидуума (агента). На основе результатов моделирования в рамках АОМ получено понимание эффективности мер для разных географических и демографических условий для каждого выявленного штамма SARS-CoV-2. Для повышения достоверности результатов необходимо использовать адекватные статистические данные (эпидемиологические, демографические, транспортные), уточнять границы чувствительных параметров моделей, иметь большие вычислительные мощности для реализации моделирования и прогнозирования.