\documentclass[11pt,reqno]{amsart}
\usepackage[cp1251]{inputenc}
\usepackage[english,russian]{babel}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{amsfonts}
\usepackage{graphicx}
\usepackage{xcolor}
\usepackage[colorlinks]{hyperref}


\usepackage{titlesec}
\titlespacing{\section}{0pt}{2.5ex}{1.5ex}
\titlespacing{\subsection}{0pt}{1.5ex}{1ex}
\titlespacing{\subsubsection}{0pt}{1.5ex}{1ex}
\titleformat{\section}{\large\bfseries\centering}{\thesection}{1em}{}
\titleformat{\subsection}[runin]{\bfseries}{\thesubsection.}{0.5em}{}[.\mbox{\ }]
\titleformat{\subsubsection}[runin]{\bfseries}{\thesubsubsection.}{0.4em}{}[.\mbox{\ }]

\newcommand{\grad}{\mathop{\rm grad}}

%%%%%---------- ORCiD

\newcommand\orcidicon[1]{\href{https://orcid.org/0000-0002-7394-1480}{\includegraphics[scale=0.02]{orcid.pdf}}}

\def\udcs{517.55} %Здесь автор определяет УДК своей работы
\def\mscs{32A25, 32A26, 32A40} %Здесь автор определяет классификаторы AMS своей работы
\setcounter{page}{1}

\newtheorem{lemma}{Лемма}
\newtheorem{theorem}{Теорема}
\newtheorem{definition}{Определение}
\newtheorem{corollary}{Следствие}
\newtheorem{proposition}{Предложение}
\newtheorem{problem}{Задача}

\definecolor{myblue}{rgb}{0.03, 0.27, 0.79}

\hypersetup{linkcolor=blue,filecolor=black,urlcolor=blue, citecolor=blue}

\def\logo{\textcolor{blue}{{\bf\Huge S\raisebox{0.2ex}{\hspace{0.55ex}\raisebox{0.05ex}e\hspace{-1.65ex}$\bigcirc$}MR}}}

\def\semrtop
     {
  \vbox{
     \noindent\logo \hspace{-3mm}  \parbox{12cm}{     \begin{center}
     {\LARGE \textsf{СИБИРСКИЕ ЭЛЕКТРОННЫЕ}} \\[2mm]
     {\LARGE \textsf{МАТЕМАТИЧЕСКИЕ ИЗВЕСТИЯ}} \\[2mm]
     {\Large \textsf{Siberian Electronic Mathematical Reports}} \\[1mm]
     {\Large\tt{\textcolor{blue}{http://semr.math.nsc.ru}}}\\[1mm]
     \raisebox{1ex}{ISSN 1813-3304 }
     \vspace*{-3mm}
%     {\small Институт математики им. С.Л.Соболева СО РАН}\\[-1mm]
%     {\small Sobolev Institute of Mathematics SB RAS}
     \end{center}
}
     \vspace{-1mm}
     \noindent
      \begin{tabular}{c}
     \hphantom{aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa!} \\
     \hline\hline
     \end{tabular}

     \vspace{3mm}
     {\flushleft\it Том 20, № 2, стр. 144--145 (2023) \hspace{\fill}{\rm\small УДК \udcs \hspace{-4mm}}}
     \newline
     	{\rm\small \textcolor{blue}{https://doi.org/10.33048/semi.2023.20.???}}\hphantom{aaaaaaaaaaaaaaaaaaaaaaaa\;}{\rm\small MSC\ \ \mscs }
  }%\vbox
}



\begin{document}
\renewcommand{\refname}{References}


\thispagestyle{empty}

\title[\sc Об итерациях одного интегрального оператора]{\large Об итерациях одного интегрального оператора Коши-Фантаппье}
\author[А.М.КЫТМАНОВ, С.Г.МЫСЛИВЕЦ]{{\bf \large \textsc{А.М. Кытманов, С.Г.Мысливец}}\protect\orcidicon{0000-0001-8827-2630}\\ \\
\textit{}
%\textit{(заполняется редактором)}
}%
\address{Alexander Mechislavovich Kytmanov  % Контактные данные всех авторов и место работы указываются только на английском языке
\newline\hphantom{iii} Siberian Federal University,
\newline\hphantom{iii} pr. Svobodny, 79,
\newline\hphantom{iii} 660041, Krasnoyarsk, Russia}%
\email{\textcolor{blue}{akytmanov@sfu-kras.ru}}%

\address{Simona Glebovna Myslivets  % Контактные данные всех авторов и место работы указываются только на английском языке
\newline\hphantom{iii} Siberian Federal University,
\newline\hphantom{iii} pr. Svobodny, 79,
\newline\hphantom{iii} 660041, Krasnoyarsk, Russia}%
\email{\textcolor{blue}{smyslivets@sfu-kras.ru}}%

\thanks{\sc Kytmanov A.M., Myslivets S.G.
On iterations of one \\Cauchy-Fan\-tappi\'e integral operator}
\thanks{\copyright \ 2023 Кытманов А.М.}
\thanks{\rm Работа поддержана Красноярским математическим центром, финансируемым
Минобрнауки РФ в рамках мероприятий по созданию и развитию региональных НОМЦ (Соглашение 075-02-2025-1606) и фундаментальным проектом \ IL-5421101746 Национального университета Узбекистана.}
\thanks{\it }%


\semrtop \vspace{1cm}
\maketitle 
{
\small
\begin{quote}
\noindent{\bf Abstract:} Let $D$ be a bounded domain in $\mathbb C^n\ (n>1)$ with a connected infinitely smooth boundary $\Gamma$, and the function $f$ is harmonic in $D$ and of class $\mathcal C^1(\bar D)$. For a vector field $w$ (not lying in the complex tangent plane to $\Gamma$) the differential condition $\bar w(f)=\sum\limits_{k=1}^n\bar w_k\dfrac{\partial f}{\partial\bar z_k}=0$ by $\Gamma$ is considered. Will $f$ be holomorphic in $D$? This problem is an analogue of the problem with an oblique derivative for real-valued harmonic functions. The paper shows that this problem is connected with a certain Cauchy-Fantappi\'e integral representation $Q$, the kernel  of which consists of derivatives of the fundamental solution of the Laplace equation. Under some additional conditions on the vector field $w$, it is shown that the iterations of $Q^m$ of this Cauchy-Fantappi\'e integral representation converge to a holomorphic function. By doing so the problem under consideration has a positive reply.
\medskip

{\small
\noindent{\bf Keywords:} integral representations  of Cauchy-Fantappi\'e and Boch\-ner-Martinelli,  fundamental solution of the Laplace equation, eigen\-functions and eigen\-values, holomorphic continuation.}
 \end{quote}

\bigskip

\section{Введение}

Метод интегральных представлений является одним из основных конструктивных методов  при изучении голоморфных функций многих комплексных переменных.
Особенно  большую роль в многомерном комплексном анализе играет интегральное представление Бохнера-Мартинелли  (см., например, монографии \cite{Vl} -- \cite{AY}). Его ядро  является универсальным (не зависящим от вида области)  и достаточно простым. Оно обладает многими свойствами ядра Коши на комплексной плоскости, за исключением голоморфности. Интеграл Бохнера-Мартинелли подробно рассмотрен в монографии \cite{Ky1}.
Этот интеграл также  тесно связано с классической теорией потенциала (см., например, \cite{Gu}). В \cite[Ch. 1]{Ky1} показано, что он является аналогом потенциала двойного слоя. Особенно большую роль интеграл Бохнера-Мартинелли играет в вопросах аналитического продолжения функций различных классов гладкости (см. \cite{Ky1, KM}).

Близко к представлению Бохнера-Мартинелли находится интегральное представление  Коши-Фантаппье, рассмотренное в работе.
Целью работы является исследование свойств этого интегрального представления, ядро которого состоит из производных фундаментального решения уравнения Лапласа. А именно,
в работе рассматривается интеграл (интегральный оператор) с этим ядром  для  функций $f$ (различных классов гладкости), заданных на границе ограниченной области $D$ с гладкой связной границей $\Gamma$.  Рассмотрены итерации  данного интегрального оператора. Доказано, что они сходятся к голоморфной функции в $D$ при $k\to \infty$.

\section{Предвариательные сведения}

Рассмотрим $n$-мерное комплексное пространство $\mathbb{C}^n$, $n>1$,
 переменных $z=(z_1,\ldots,z_n)$, $z_j=x_j+ix_{n+j}, \ j=1,\ldots, n$, $x_j$ --- вещественные числа.  Введем модуль вектора $|z|=\sqrt{|z_1|^2+\ldots+|z_n|^2}$ и дифференциальные формы $dz=dz_1\wedge\ldots\wedge dz_n$,  $d\bar{z}=d\bar{z}_1\wedge\ldots\wedge d\bar{z}_n$, а также $dz[k]=dz_1\wedge\ldots\wedge dz_{k-1}\wedge dz_{k+1}\wedge\ldots\wedge dz_n$. Топология в $\mathbb C^n$ определяется метрикой $|z-w|$.

Пусть $D$ --- ограниченная область в $\mathbb C^n$ ($n>1$) с гладкой связной границей $\partial D=\Gamma$ класса $\mathbb C^\infty$. Ориентация $\Gamma$ согласована с областью $D$.
Область задается следующим образом $D=\{z\in\mathbb{C}^n:\ \rho(z)<0\}$, где $\rho$ --- вещественнозначная  функция  в некоторой окрестности замыкания области $D$ класса $\mathcal C^\infty$ и градиент $\grad\rho\neq0$ на $\Gamma$.
Во многих случаях достаточна только конечная гладкость границы. Тогда мы это будем отмечать.


Связность границы нужна в дальнейшем для возможности решения задачи Дирихле для гармонических функций
(см., например, \cite[Ch. 2]{ES}) и выполнимости теоремы Гартогса-Бохнера (см., например, \cite{HC})  для $CR$-функций на $\Gamma$.


Обозначим "комплексные"\  направляющие косинусы

\begin{equation*}\label{nc}
\rho_k=\dfrac1{|\grad\rho|}\dfrac{\partial\rho}{\partial z_k},\qquad
\rho_{\bar{k}}=\dfrac1{|\grad\rho|}\dfrac{\partial\rho}{\partial \bar{z}_k}, \quad k=1,\ldots , n.
\end{equation*}
Отметим, что здесь имеется в виду "комплексный градиент"\ 
$$
\grad \rho=\left(\dfrac{\partial \rho}{\partial z_1},\ldots, \dfrac{\partial \rho}{\partial z_n}\right).
$$
Тогда
\begin{equation}\label{grad}
|\grad \rho|=\frac 12\sqrt{\sum_{j=1}^{2n}\left(\frac{\partial\rho}{\partial x_j}\right)^2}.
\end{equation}

Оператор Лапласа $\Delta$ мы будем записывать в виде
$$
\Delta=\sum_{k=1}^n\frac{\partial^2}{\partial z_k\partial\bar z_k}=\frac 14\sum_{k=1}^n\left( \frac{\partial^2}{\partial x^2_k}+\frac{\partial^2}{\partial x_{n+k}^2}\right).
$$

Рассмотрим ядро Бохнера--Мартинелли --- внешнюю дифференциальную форму $U(\zeta,z)$ типа $(n,n-1)$  вида (см., например, \cite{Vl} -- \cite{AY},  \cite[Ch. 1]{Ky1}, \cite[Ch. 1]{KM})
$$
U(\zeta,z)=\dfrac{(n-1)!}{(2\pi i)^n}\sum\limits_{k=1}^{n}(-1)^{k-1}\dfrac{\bar{\zeta}_k-\bar{z}_k}
{|\zeta-z|^{2n}}\,d\bar{\zeta}[k]\wedge d\zeta.
$$
Это ядро играет важную роль в многомерном комплексном анализе (см., например, \cite{Vl} -- \cite{Ky1}). Оно является замкнутой дифференциальной формой с гармоническими коэффициентами. На комплексной плоскости $\mathbb C$ оно совпадает с ядром Коши.

Напомним вид интегрального представления Бохнера-Мартинелли (см., например, \cite{Vl} --\cite{Ky1}).

\begin{theorem}\label{mabo}
Если функция $f\in\mathcal C(\bar D)$ и голоморфна в $D$, то
\begin{equation*}\label{maboch}
f(z)=\int\limits_{\Gamma}f(\zeta)U(\zeta,z),\quad z\in D.
\end{equation*}
\end{theorem}

Пусть $g(\zeta,z)$ --- фундаментальное решение уравнения Лапласа (см., например, \cite{ES}), т. е.
$$
g(\zeta,z)=-\dfrac{(n-2)!}{(2\pi i)^n}\dfrac1{|\zeta-z|^{2n-2}},\quad n>1,
$$
тогда
$$
U(\zeta,z)=\sum\limits_{k=1}^{n}(-1)^{k-1}\dfrac{\partial g}{\partial \zeta_k}\,d\bar\zeta[k]\wedge d\zeta.
$$

Для функции $f\in\mathcal{L}^1(\Gamma)$ введем интеграл (интегральный оператор) Бохнера-Мартинелли
$$
M[f](z)=\int\limits_{\Gamma}f(\zeta)U(\zeta,z),\quad z\notin\Gamma,
$$
а также потенциал  (интегральный оператор) простого слоя
$$
\Phi[f](z)=-i^n2^{n-1}\int\limits_{\Gamma}f(\zeta)g(\zeta,z)\,d\sigma(\zeta)=\frac{(n-2)!}{2\pi^n}\int\limits_{\Gamma} f(\zeta)\frac{d\sigma}{|\zeta-z|^{2n-2}},\  z\notin\Gamma,
$$
где $d\sigma$ -- поверхностная мера Лебега на $\Gamma$.
Ясно, что $M[f]$,\ $\Phi[f]$ являются гармоническими функциями вне $\Gamma$.

Будем обозначать через $M^+(f)$ интеграл Бохнера-Мартинелли внутри области $D$, а через $M^-(f)$ интеграл Бохнера-Мартинелли вне $\bar D$. Точно также будем обозначать функции $\Phi^+$ и $\Phi^-$.

Для интеграла Бохнера-Мартинелли хорошо известны (см., например, \cite[Ch. 1]{Ky1}, \cite[Ch.1 ]{KM}) теоремы о скачке. Приведем одну из них.

\begin{theorem}\label{tsk}
Пусть функция $f\in\mathcal C^1(\Gamma)$, тогда функция $M^+(f)$ непрерывно продолжается на замыкание области $D$, а функция $M^-(f)$ непрерывно продолжается на $\mathbb C^n\setminus D$ и выполнено равенство
$$
M^+[f]-M^-[f]=f \quad\text{на}\quad \Gamma.
$$
\end{theorem}

Интеграл $\Phi[f](z)$ для непрерывных на $\Gamma$ функций скачка не имеет и является непрерывной функцией в $\mathbb C^n$.



Рассмотрим пространство Соболева $\mathcal W^s_2(D),$ где $s\in\mathbb N$. Это пространство состоит из функций $F\in\mathcal L^2(D)$ таких, что все (слабые) производные $\partial^\alpha F$ до порядка $\|\alpha\|\leqslant s$  лежат в $\mathcal L^2(D)$ (см., например, \cite[Ch. 2]{ES}). Здесь $\partial^\alpha$ означает производную
$$
\partial^\alpha=\frac{\partial^{\|\alpha\|}}{\partial x^{\alpha_1}_1\ldots x^{\alpha_{2n}}_{2n}}, \quad \alpha=(\alpha_1,\ldots, \alpha_{2n}), \quad \|\alpha\|=\alpha_1+\ldots+\alpha_{2n}.
$$
 Топология в $\mathcal W^s_2(D)$ вводится с помощью скалярного произведения
$$
(F,G)_s=\sum_{\|\alpha\|\leqslant s} (\partial^\alpha F, \partial^\alpha G)_{\mathcal L^2(D)}=\sum_{\|\alpha\|\leqslant s}\int\limits_D \partial^\alpha F\cdot \overline{\partial^\alpha  G}\, dv,
$$
где
\begin{equation}\label {ob}
dv=dx_1\land\cdots \land dx_{2n}=(i/2)^n dz\land d\bar z=(-i/2)^n d\bar  z\land dz
\end{equation}
 --- элемент объема в $\mathbb C^n$ (черта над выражением означает комплексное сопряжение).

Положим $\mathcal W^0_2(D)=\mathcal L^2(D).$

Введем также пространство $\mathcal W^s_2(\Gamma)$ по аналогии с пространством $\mathcal W^s_2(D)$, используя разбиение единицы и локальную распрямляемость $\Gamma$ (см., например, \cite[Ch. 2]{ES}).

Далее,  рассмотрим пространство $\mathcal W^{s+\lambda}_2(\Gamma)$ для $0<\lambda\leqslant 1$. Оно состоит из функций $f\in\mathcal W^s_2(\Gamma)$, для которых
$$
\int\limits_\Gamma\int\limits_\Gamma \sum_{\|\alpha\|=s}\frac{|\partial^\alpha f(z)-\partial^\alpha f(\zeta)|^2}{|\zeta-z|^{2n+2\lambda -1}} d\sigma(\zeta)\, d\sigma(z)<\infty.
$$


Мы будем  использовать следующие свойства этих пространств (см. \cite[Ch. 2]{ES}):

1. Сужение функции $f\in \mathcal W^s_2(D)$ на $\Gamma$ принадлежит пространству $\mathcal W^{s-1/2}_2(\Gamma)$ и оператор сужения непрерывен.

2. Если мы обозначим через $\mathcal G^s_2(D)$ подпространство гармонических функций из $\mathcal W^s_2(D)$, то оператор сужения из $\mathcal G^s_2(D)$ на $\mathcal W^{s-1/2}_2(\Gamma)$ есть линейный топологический изоморфизм (формула (3.24) из \cite{ES}). А также справедливо следующее разложение
$$
\mathcal W^s_2(D)=\mathcal G^s_2(D)\oplus\mathcal N^s_2(D),
$$
где пространство $\mathcal N^s_2(D)$ состоит из функций $\mathcal W^s_2(D)$  равных 0 на $\Gamma$.

3. Существует компактное непрерывное вложение $\mathcal W^s_2(D)$ в $\mathcal C^k_b(D)$ при  $s>n+k$, где $\mathcal C^k_b(D)$ --- пространство функций из $\mathcal C^k(D)$, имеющих ограниченные производные порядков не превосходящих $k$  (см., например, \cite[Theorem 3.1]{ES}).

4. Существует компактное непрерывное вложение $\mathcal W^s_2(D)$ в $\mathcal W_2^k(D)$ при  $s>k$, $s<n$ (см., например, \cite[Theorem 3.1]{ES}).

Гладкие функции плотны в пространствах Соболева (см., например, \cite[Ch. 7]{GT}. Так  подпространство $\mathcal C^\infty(D)\cap \mathcal W^s_2(D)$ плотно в пространстве  $\mathcal W^s_2(D)$ (\cite[Theorem 7.9]{GT}).
Аналогичное свойство справедливо и в пространствах $\mathcal W^s_2(\Gamma)$.



Пусть $\mathcal O^s_2(D)$ --- пространство функций из $\mathcal W^s_2(D)$ голоморфных в $D$. В работе \cite{Ro} А.В.Романова  доказано утверждение
\begin{theorem}\label{Ro}
Справедливо равенство
\begin{equation}\label{f6}
\lim_{k\to \infty} M^k=P_{\mathcal{O}},
\end{equation}
в сильной операторной топологии пространства $\mathcal W^1_2(D)$, где $P_{\mathcal{O}}$ --- оператор ортогонального проектирования  $\mathcal W^1_2(D)$ на подпространство голоморфных функций $\mathcal O^1_2(D)$.
\end{theorem}

Это утверждение не может быть прямо перенесено на пространство $\mathcal W^s_2(D)$ для $s>1$. Пример 16.6 из \cite{Ky1} показывает, что равенство (\ref{f6}) невозможно для любых областей $D$ и любых $s$.
Тем не менее оно справедливо для любых $s$ для шара (см. \cite{KM3}).

Основными пространствами, в которых мы будем работать, будут пространство $\mathcal G^s_2(D)$ и топологически изоморфное ему пространство $\mathcal W^{s-1/2}(\Gamma)$,  $s\geqslant 1$.

\section{Постановка задачи}

В дальнейшем мы будем рассматривать некоторое интегральное представление Коши-Фантаппье, возникающее при рассмотрении следующего дифференнциального условия (см. \cite[\S 23]{Ky1}).
Пусть даны функция  $f\in\mathcal C^1(\bar D)$ и векторное поле $w(\cdot)=\sum\limits_{k=1}^nw_k\dfrac{\partial\cdot}{\partial  z_k}$, $w_k\in\mathcal C^1(\Gamma)$, $ k=1,\ldots, n,$ кроме того  $w(\rho)\neq 0$ на $\Gamma$, т.е. $w$ не лежит в комплексном касательном пространстве $T^c_z(\Gamma)$ для любой точки $z\in \Gamma$.

Сформулируем следующую задачу (см. \cite[\S 23]{Ky1}).

\begin{problem}\label{pro1}
Пусть $f\in \mathcal C^1(\bar D)$  и  гармоническая в $D$.
Если
\begin{equation}\label{z1}
\bar w(f)=\sum_{k=1}^n\bar w_k\frac{\partial f}{\partial \bar z_k}=0
\quad{\text { на}} \quad \Gamma,
\end{equation}
то будет ли $f$ голоморфной в $D$?
\end{problem}

В отличии от касательных условией Коши-Римана в задаче \ref{pro1} требуется обращение в нуль действия некасательного векторного поля $\bar w$.
Данная задача является аналогом задачи с наклонной производной для вещественнозначных гармонических функций.

Если условие $w(\rho)\neq 0$ на $\Gamma$ не выполнено, то легко привести пример, когда при выполнении условия (\ref{z1}) функция $f$  не будет голоморфной в $D$ (см. \cite[\S 23]{Ky1}).

Для некоторых весьма частных случаев  задача \ref{pro1} решена положительно в  \cite[\S23]{Ky1}.

Данную задачу можно переформулировать в следующем виде (см. \cite[\S 23]{Ky1}).  Пусть $f\in \mathcal C^1(\bar D)$ и гармоническая в $D$, а дифференциальная форма
\begin{equation}\label{mu1}
\mu_f=\sum\limits_{k=1}^{n}(-1)^{n+k-1}\dfrac{\partial f}{\partial\bar{\zeta}_k}\,d\zeta[k]\wedge d\bar{\zeta}.
\end{equation}
Дифференциальная форма $\mu_f$ является замкнутой дифференциальной формой типа $(n-1,n)$ для гармонических функций $f$.

\begin{problem}\label{z2}
Если
\begin{equation}\label{eq5}
\mu_f\bigl|_{\Gamma}=i\sum\limits_{k>l}a_{k,l}(z)\,df\wedge d\bar{z}[l,k]\wedge dz\bigl|_{\Gamma},
\end{equation}
где $a_{k,l}$ --- некоторые гладкие функции на $\Gamma$, $k,l=1,\ldots, n$, а $d\bar{z}[k,l]$ получается из дифференциальной формы $d\bar z$ выбрасыванием дифференциалов $d\bar z_k$ и $d\bar z_l$, то будет ли $f$  голоморфной в $D$?
\end{problem}
Множитель $i$ добавлен для удобства последующих вычислений.


Для дальнейшего изложения напомним формулу Грина (в комплексной форме) для функции $f$ (Corollary 1.2 из \cite{Ky1}):
\begin{theorem}[формула Грина]
Пусть $D$ --- ограниченная область с глад\-кой границей, функция $f$ гармоническая в $D$ и $f\in\mathcal{C}^1(\bar{D})$, тогда
\begin{equation}\label{Gr}
\int\limits_{\Gamma}f(\zeta)U(\zeta,z)-\int\limits_{\Gamma}g(\zeta,z)\mu_f=
\left\{
  \begin{array}{rl}
    f(z), & z\in D, \\
    0, & z\notin \overline{D}.
  \end{array}
\right.
\end{equation}
\end{theorem}

Если все  функции $a_{k,l}=0$,  то задача \ref{z2} превращается в задачу о голоморфности функций, представимых интегралом Бохнера-Мартинелли (см. \cite[\S 15]{Ky1}).


Используя равенство \eqref{eq5}, получим
\begin{equation}\label{eq6}
f(z)=\int\limits_{\Gamma}f(\zeta)U(\zeta,z)
-i\int\limits_{\Gamma}g(\zeta,z)\sum\limits_{k>l}a_{k,l}
(\zeta)\,df\wedge d\bar{\zeta}[l,k]\wedge d\zeta, \quad  z\in D.
\end{equation}
Используя формулу Стокса и формулу Грина (\ref{Gr}), в \cite[\S 23]{Ky1}   показано, что равенство (\ref{eq6}) для функций $f\in\mathcal C^1(\bar D)$  и гармонических в $D$ эквивалентно условию
\begin{equation}\label{pr1}
f(z)=\int\limits_{\Gamma}f(\zeta)U(\zeta,z)
+i\int\limits_{\Gamma}f(\zeta)\sum\limits_{k>l} d(a_{k,l}(\zeta) g(\zeta,z))\wedge d\bar{\zeta}[l,k]\wedge d\zeta, \ z\in D.
\end{equation}
Второй интеграл (интегральный оператор) в (\ref{pr1}) обозначим через
\begin{equation*}\label{GG}
G[f](z)=i\int\limits_{\Gamma}f(\zeta)\sum\limits_{k>l} d(a_{k,l}(\zeta) g(\zeta,z))\wedge d\bar{\zeta}[l,k]\wedge d\zeta, \qquad z\notin \Gamma,
\end{equation*}
тогда $f(z)=M[f](z)+G[f](z)$.
Заметим, что интеграл  $G[f](z)$ является гармонической функцией вне $\Gamma$. В $\mathbb C^1$ интеграл $G[f](z)=0$.

Вводя ядро
$$
W(\zeta,z)=i\sum\limits_{k>l} d(a_{k,l}(\zeta) g(\zeta,z))\wedge d\bar{\zeta}[l,k]\wedge d\zeta,
$$
получим, что для голоморфных функций $f$ справедливо интегральное представление (Коши-Фантаппье)
\begin{equation}\label{pr2}
f(z)=\int\limits_{\Gamma}f(\zeta)(U(\zeta,z)+W(\zeta,z)), \quad z\in D.
\end{equation}

Таким образом задача \ref{z2} превращается в следующую  задачу

\begin{problem}\label{z3}
 Пусть  функция $f$ класса $\mathcal C(\bar D)$ удовлетворяет в области $D$ равенству (\ref{pr2}). Будет ли $f$ голоморфна в $D$? (см. \cite[\S 23]{Ky1}).
\end{problem}


В данной статье мы будем  рассматривать только случай, когда все функции $a_{k,l}(\zeta)$ являются $CR$-функциями. По теореме Гартогса-Бохнера (см., например, \cite{HC}) это означает, что все $a_{k,l}(\zeta)$ голоморфно продолжаются в $D$ до функций класса $\mathcal C^1(\bar D)$.

Мы изучим свойства этого интеграла с ядром $U(\zeta,z)+W(\zeta,z)$, вычислим его итерации и найдем их предел. А также решим задачу   \ref{z3}  для рассматриваемого класса областей и функций.

Обозначим  интегральный оператор $M+G$ через $Q$
\begin{equation}\label{Q1}
Q[f](z)=\int\limits_{\Gamma}f\bigl(\zeta)(U(\zeta,z)+W(\zeta,z)\bigr), \quad z\notin \Gamma.
\end{equation}
Интеграл $Q[f](z)$ является гармонической функцией вне $\Gamma$.



Покажем, что интегральное представление (\ref{pr2}) является интегральным представлением Коши-Фантаппье.
Напомним вид представления Коши-Фантаппье, полученного Лере  в \cite{Le, Le1} (см., также монографию \cite[Ch. 1]{AY}).

Пусть $D$ --- ограниченная область с гладкой границей, для точки $z\in D$ определена на $\partial D$ гладкая век\-тор-функ\-ция $\eta(\zeta, z)=(\eta_1(\zeta,z), \ldots, \eta_n(\zeta,z))$ такая, что
$$
(\eta, \zeta-z)=\sum_{k=1}^n (\zeta_k-z_k)\eta_k(\zeta,z)\neq 0, \quad \zeta\in\partial D.
$$

\begin{theorem}\label{Le}
Для всякой функции $f\in\mathcal C(\bar D)$, голоморфной в области $D$, справедливо равенство
\begin{equation}\label{KF}
f(z)=\frac{(n-1)!}{(2\pi i)^n}\int\limits_{\Gamma} f(\zeta) \,\omega(z-\zeta, \eta(\zeta,z)),
\end{equation}
где
$$
\omega(\zeta-z, \eta(\zeta,z))=\frac{\sum\limits_{k=1}^n(-1)^{k-1} \eta_k d\eta[k]\wedge d\zeta}{(\eta,\zeta-z)^n}.
$$
\end{theorem}

Интегральное представление (\ref{KF}) Лере  назвал интегральным представлением Коши-Фантаппье, а его ядро --- ядром Коши-Фантаппье.

Справедливо утверждение.

\begin{proposition}\label{kf}
Дифференциальная форма
$$
U(\zeta,z)+W(\zeta,z)
$$
 является ядром Коши-Фантаппье.
\end{proposition}

\begin{proof}
Для $k>l$ рассмотрим дифференциальную форму
$$
U(\zeta,z)+d(a(\zeta) g(\zeta,z))\wedge d\bar{\zeta}[l,k]\wedge d\zeta
$$
для некоторой гладкой $CR$-функции $a(\zeta)$ на $\Gamma$. Эта форма  также является ядром интегрального представления для голоморфных функций.

Введем вектор-функцию
\begin{multline*}
  \eta(\zeta,z)= \\
  =(\bar\zeta_1-\bar z_1,\ldots, \bar\zeta_l+(-1)^{k+l}\dfrac{\partial (ag)}{\partial \bar\zeta_k}-\bar z_l,\ldots, \bar\zeta_k+(-1)^{k+l-1}\dfrac{\partial (ag)}{\partial \bar\zeta_l}-\bar z_k,\ldots, \bar\zeta_n-\bar z_n).
\end{multline*}
Тогда $(\eta,\zeta-z)=|\zeta-z|^2\neq 0$.
Отсюда ясно, что ядро Коши-Фантаппье для вектор-функции $\eta$ будет совпадать с ядром
$$
U(\zeta,z)+d(a(\zeta) g(\zeta,z))\wedge d\bar{\zeta}[l,k]\wedge d\zeta.
$$

Для дифференциальной формы $U(\zeta,z)+W(\zeta,z)$ рассуждения аналогичны.
\end{proof}

\section{Производные некоторых интегральных операторов  }

В данном пункте мы приведем  формулы для производных некоторых интегральных операторов (см. \cite[Ch. 1]{Ky1}, \cite{My}, \cite{KM1}), полученные на основе классической теории потенциала (см. \cite[Ch. 2]{Gu}, \cite[гл. 14]{Mi} ).

Пусть область $D$ имеет границу класса $\mathcal C^2$ (т.е. функция $\rho$ дважды гладкая в окрестности замыкания области $D$). Пусть функция $f\in\mathcal C^2(\Gamma)$ и функции $a_{k,l}\in\mathcal C^2(\Gamma)$, $k,l=1,\ldots, n$.

Введем как и в статье \cite{My} следующие дифференциальные операторы
\begin{gather*}
   L_m(f)=\dfrac{\partial f}{\partial\zeta_m}-\rho_m\sum\limits_{k=1}^{n}\rho_k\dfrac{\partial f}{\partial\bar{\zeta}_k},\\
  K_m(f)= i^n2^{n-1}\sum\limits_{s,k=1}^{n}\biggl[\rho_k\dfrac{\partial}{\partial\zeta_s}\biggl(\rho_m\rho_{\bar{k}}\dfrac
  {\partial f}{\partial\bar{\zeta}_s}\biggr)-\rho_m\dfrac{\partial}{\partial\zeta_k}\biggl(\rho_m\rho_{\bar{k}}
  \dfrac{\partial f}{\partial\bar{\zeta}_s}\biggr)\biggr],
\end{gather*}
	соответственно,
	\begin{gather*}
   L_{\bar m}(f) =\dfrac{\partial f}{\partial{\bar \zeta}_m}-\rho_{\bar m}\sum\limits_{k=1}^{n}\rho_k\dfrac{\partial f}{\partial\bar{\zeta}_k}, \\
   K_{\bar m}(f)=i^n2^{n-1}\sum\limits_{s,k=1}^{n}\biggl[\rho_k\dfrac{\partial}{\partial\zeta_s}\biggl(\rho_{\bar m}\rho_{\bar{k}}\dfrac
  {\partial f}{\partial\bar{\zeta}_s}\biggr)-\rho_{\bar m}\dfrac{\partial}{\partial\zeta_k}\biggl(\rho_{\bar m}\rho_{\bar{k}}
  \dfrac{\partial f}{\partial\bar{\zeta}_s}\biggr)\biggr].
 \end{gather*}
Тогда, согласно следствию 1 из \cite{My}, получим, что
\begin{equation*}\label{eq1}
\dfrac{\partial M[f]}{\partial z_m}=M\bigl[L_m(f)\bigr]-\Phi\bigl[K_m(f)\bigr],
\end{equation*}

\begin{equation*}\label{eq2}
  \dfrac{\partial M[f]}{\partial \bar {z}_m}=M\bigl[L_{\bar m}(f)\bigr]-\Phi\bigl[K_{\bar m}(f)\bigr].
\end{equation*}



Аналогично,  введем операторы

\begin{gather*}
  \tilde{L}_m(f)=-f\rho_m,\\
  \tilde{K}_m(f)=+i^n2^{n-1}\sum\limits_{k=1}^{n}\biggl[\rho_k\dfrac{\partial}{\partial\zeta_m}\bigl(f\rho_{\bar{k}}\bigr)-
  \rho_m\dfrac{\partial}{\partial\zeta_k}\bigl(f\rho_{\bar{k}}\bigr)\biggr],
\end{gather*}
соответственно,
\begin{gather*}
   \tilde{L}_{\bar m}(f)=-f\rho_{\bar m},\\
  \tilde{K}_{\bar m}(f)=i^n2^{n-1}\sum\limits_{k=1}^{n}\biggl[\rho_k\dfrac{\partial}{\partial\bar\zeta_{m}}\bigl(f\rho_{\bar{k}}\bigr)-
  \rho_{\bar m}\dfrac{\partial}{\partial\zeta_k}\bigl(f\rho_{\bar{k}}\bigr)\biggr].
\end{gather*}
Тогда, согласно следствию 1 из \cite{My}, получим, что

\begin{equation*}\label{eq3}
\dfrac{\partial \Phi[f]}{\partial z_m}=-M\bigl[\tilde{L}_m(f)\bigr]+\Phi\bigl[\tilde{K}_m(f)\bigr],
\end{equation*}

\begin{equation}\label{eq4}
  \dfrac{\partial \Phi[f]}{\partial \bar {z}_m}=-M\bigl[\tilde{L}_{\bar m}(f)\bigr]+\Phi\bigl[\tilde{K}_{\bar m}(f)\bigr].
\end{equation}

Введем комплексные касательные векторные поля
\begin{equation*}
\partial_{\tau_{k,l}}=\rho_l\dfrac{\partial}{\partial \zeta_k}-\rho_k\dfrac{\partial}{\partial \zeta_l},
\end{equation*}
\begin{equation*}
 \bar{\partial}_{\tau_{k,l}}=\rho_{\bar{l}}\dfrac{\partial}{\partial\bar{\zeta}_k}-
\rho_{\bar{k}}\dfrac{\partial}{\partial\bar{\zeta}_l},\quad k>l. \label{eq10}
\end{equation*}}

\begin{lemma}\label{l3}
Пусть $D$ --- ограниченная область с  границей класса $\mathcal C^2$,    $f\in\mathcal{C}^1(\Gamma)$ и $a_{k,l}\in\mathcal{C}^1(\Gamma)$, $k,l=1,\ldots, n$, тогда $G[f]=-\Phi[h[f]]$, где
\begin{equation}\label{hh}
h[f](\zeta)=i\sum\limits_{k>l}(-1)^{k+l}a_{k,l}(\zeta)\bar{\partial}_{{\tau}_{k,l}}f(\zeta).
\end{equation}
\end{lemma}

\begin{proof}
Из формулы Стокса  вытекает, что
\begin{gather*}
  \int\limits_{\Gamma}f(\zeta)\sum\limits_{k>l} d(a_{k,l}(\zeta) g(\zeta,z))\wedge d\bar{\zeta}[l,k]\wedge d\zeta
  =\\
	=-\int\limits_{\Gamma}g(\zeta,z)\sum\limits_{k>l}a_{k,l}
(\zeta)\,df\wedge d\bar{\zeta}[l,k]\wedge d\zeta.
\end{gather*}
Поэтому, преобразовывая дифференциальную форму $df\wedge d\bar{\zeta}[l,k]\wedge d\zeta$, получим
\begin{gather}
  df\wedge d\bar{\zeta}[l,k]\wedge d\zeta\bigl|_{\Gamma}=\biggl((-1)^{l-1}\dfrac{\partial f}{\partial\bar{\zeta}_l}\,d\bar{\zeta}[k]+(-1)^{k}\dfrac{\partial f}{\partial\bar{\zeta}_k}\,d\bar{\zeta}[l]\biggr)\wedge d\zeta\bigl|_{\Gamma}=\notag\\
=(-1)^{l-1}\dfrac{\partial f}{\partial\bar{\zeta}_l}2^{n-1}i^n(-1)^{k-1}\rho_{\bar{k}}d\sigma+
(-1)^{k}\dfrac{\partial f}{\partial\bar{\zeta}_k}2^{n-1}i^n(-1)^{l-1}\rho_{\bar{l}}\,d\sigma=\notag\\
=2^{n-1}i^n\biggl((-1)^{l+k}\dfrac{\partial f}{\partial\bar{\zeta}_l}\rho_{\bar{k}}+(-1)^{k+l-1}\dfrac{\partial f}{\partial\bar{\zeta}_k}
\rho_{\bar{l}}\biggr)d\sigma=\notag\\
  =2^{n-1}i^n(-1)^{k+l-1}\biggl(\dfrac{\partial f}{\partial\bar{\zeta}_k}
\rho_{\bar{l}}-\dfrac{\partial f}{\partial\bar{\zeta}_l}\rho_{\bar{k}}\biggr)d\sigma=\notag
\\
\label{kl}=2^{n-1}i^n(-1)^{k+l-1}\bar{\partial}_{\tau_{k,l}}f(\zeta)\,d\sigma,
\end{gather}
где $d\sigma$ --- поверхностная мера Лебега на $\Gamma$. Здесь мы воспользовались леммой 3.5 из \cite{Ky1}, согласно которой сужение дифференциальной формы $d\bar\zeta[k]\wedge d\zeta$ на $\Gamma$ равно
$d\bar\zeta[k]\wedge d\zeta\bigl|_{\Gamma}=2^{n-1}i^n (-1)^{k-1}\rho_{\bar{k}}\, d\sigma$.
Тогда
$$
G[f]=2^{n-1}i^{n+1}\int\limits_{\Gamma}g(\zeta,z)\sum\limits_{k>l}(-1)^{k+l}a_{k,l}(\zeta)
\bar{\partial}_{\tau_{k,l}}f(\zeta)\,d\sigma(\zeta).
$$
Поэтому из вида интегрального оператора $\Phi$ получим, что
\begin{equation*}\label{gh}
G[f]=-\Phi[h[f]],
\end{equation*}
где $h$ определяется равенством (\ref{hh}).

\end{proof}

Кроме того из (\ref{kl}) вытекает, что
\begin{equation}\label{kas}
\bar{\partial}_{\tau_{k,l}} f\, d\sigma =\frac {(-1)^{k+l-1}}{2^{n-1}i^n }\overline\partial f\wedge d\bar{\zeta}[l,k]\wedge d\zeta\bigl|_{\Gamma}
\end{equation}

Из равенства (\ref{Q1}) имеем утверждение.

\begin{corollary}
Пусть $D$ --- ограниченная область с  границей класса $\mathcal C^2$,    $f\in\mathcal{C}^1(\Gamma)$ и $a_{k,l}\in\mathcal{C}^1(\Gamma)$, $k,l=1,\ldots, n$, тогда $Q[f]=M[f]-\Phi[h]$.
\end{corollary}

Приведем теорему о виде частных производных функции $Q[f]$ (см. \cite[Theorem 2]{KM1}).

\begin{theorem}\label{prq}
Пусть $D$ --- ограниченная область с дважды гладкой границей и функция $f\in\mathcal{C}^1(\Gamma)$  и $a_{k,l}\in\mathcal{C}^1(\Gamma)$, $k,l=1,\ldots, n$, тогда
\begin{gather*}
 \dfrac{\partial Q[f]}{\partial z_m}=M\bigl[L_m(f)+\widetilde{L}_m(h)\bigr]-\Phi\bigl[K_m(f)+\widetilde{K}_m(h)\bigr],\\
  \dfrac{\partial Q[f]}{\partial \bar{z}_m}=M\bigl[L_{\bar{m}}(f)+\widetilde{L}_{\bar{m}}(h)\bigr]-\Phi\bigl[K_{\bar{m}}(f)+
\widetilde{K}_{\bar{m}}(h)\bigr].
\end{gather*}
\end{theorem}


Применяя последовательно формулы из теоремы \ref{prq} получаем

\begin{corollary}\label{ogra}
Если все функции $f, \ a_{k,l}$ принадлежат классу $\mathcal C^{s+1}(\Gamma)$, то операторы $M,\ Q,\ G, \, \Phi$ являются ограниченными в пространстве $\mathcal G^s_2(D)$ при $s\geqslant 1$.
\end{corollary}

\section{Исследование оператора Q}

Введем дифференциальные операторы
$$
\partial=\sum\limits_{k=1}^{n}\dfrac{\partial}{\partial z_k}\,dz_k ,\qquad
\bar{\partial}=\sum\limits_{k=1}^{n}\dfrac{\partial}{\partial \bar{z}_k}\,d\bar{z}_k,
$$
тогда оператор дифференцирования  $d=\partial+\bar{\partial}$.

 Рассмотрим следующее интегральное представление для глад\-ких функций (см. \cite{KM1}).

\begin{theorem}\label{gl}
Пусть $D$ --- ограниченная область с  границей класса $\mathcal C^2$,  функция $f$  класса $\mathcal{C}^1(\bar{D})$  и $a_{k,l}\in\mathcal{C}^1(\bar D)$, $k,l=1,\ldots, n$, тогда для $z\in D,$
\begin{equation}\label{eq8}
f(z)=\int\limits_{\Gamma}f(\zeta)\bigl(U(\zeta,z)+W(\zeta,z)\bigr)
-\int\limits_{D}\bar{\partial}f(\zeta)\wedge\bigl(U(\zeta,z)+W(\zeta,z)\bigr),
\end{equation}
 а интеграл по области $D$ в \eqref{eq8} сходится абсолютно.
\end{theorem}

Первый интеграл в этой формуле это $Q[f]$, а второй интеграл обозначим через $T[f]$:
$$
T[f](z)=- \int\limits_{D}\bar{\partial}f(\zeta)\wedge\bigl(U(\zeta,z)+W(\zeta,z)\bigr),\qquad z\in D.
$$
Так что $f=Q[f]+T[f]$ {в области $D$.


Отметим, что эти операторы являются ограниченными операторами из $\mathcal W^s_2(D)$ в $\mathcal W^s_2(D)$ в силу следствия \ref{ogra}.

Пусть $f\in \mathcal W^{1/2}_2(\Gamma)$. Продолжим $f$ гармонически в область $D$ до функции $f^+$ из $\mathcal G^1_2(D)$, а также продолжим $f$ гармонически в $\mathbb C^n\setminus D$ до функции $f^-\in\mathcal G^1_2(\mathbb C^n\setminus D)$ с условием, что $f$ стремится к нулю на бесконечности  как $O(|z|^{1-2n})$ (см., например, \cite[Ch. 2]{ES}).

Рассмотрим дифференциальные формы  (\ref{mu1})
$$
\mu_{f^\pm}=\sum\limits_{k=1}^{n}(-1)^{n+k-1}\dfrac{\partial f^\pm}{\partial\bar{\zeta}_k}\,d\zeta[k]\wedge d\bar{\zeta}.
$$
Они являются замкнутыми дифференциальными формами в силу гармоничности функций $f^\pm(z)$ в соответствующих областях. Более того по лемме 3.5 из \cite{Ky1},
\begin{equation}\label{sumu}
\mu_{f^\pm}|_\Gamma= 2^{n-1}i^n\sum_{j=1}^n \dfrac{\partial f^\pm}{\partial\bar{\zeta}_j}\rho_j\, d\sigma.
\end{equation}


Определим дифференциальный оператор
$$
\overline\partial_\nu f=\sum_{j=1}^n\frac{\partial f^+}{\partial \bar z_j}\,\rho_j =\frac 12\left(\frac{ \partial f^+}{\partial \nu} -i \frac{ \partial f^+}{\partial \tau} \right)\quad\text{на} \quad \Gamma,
$$
и дифференциальный оператор
$$
\overline\partial_{-\nu} f=-\sum_{j=1}^n\frac{\partial f^-}{\partial \bar z_j}\,\rho_j =-\frac 12\left(\frac{ \partial f^-}{\partial \nu} +i \frac{ \partial f^-}{\partial \tau} \right) \quad\text{на} \quad \Gamma,
$$
где $\nu$ --- единичная внешняя нормаль к $\Gamma$, $\tau=i\nu$ --- касательный вектор.
Эти операторы являются с точностью до константы сужениями дифференциальных форм $\mu_{f^\pm}$ на границу $\Gamma$ (см. формулу (\ref{sumu})).
По сути дела первый оператор есть производная по комплексной нормали к $\Gamma$ от  функции $f^+$, а второй, соответственно, производная по комплексной нормали к $\Gamma$ от функции $f^-$.
Аналогично определяются операторы $\partial_{-\nu} f$ и $\partial_\nu f$.

Как показано в  \cite{Ro} (см. также \cite[\S 16]{Ky1}) для функций $f\in\mathcal G^1_2(D)$ первое слагаемое интеграла $T[f](z)$ равно (для точек $z\in D$) 
\begin{equation}\label{kl1}
\int\limits_{D} \bar\partial f\wedge U(\zeta,z)= -{2^{n-1}i^n}\int\limits_{\Gamma}\bar\partial_\nu f(\zeta) g(\zeta,z)\,d\sigma=(\Phi\circ\bar\partial_\nu)[ f](z), 
\end{equation}
кроме того $M=\Phi\circ\overline\partial_{-\nu}$ в $D$.

Теперь преобразуем второе слагаемое  интеграла $T[f](z)$:
\begin{gather*}
- \int\limits_{D}\bar{\partial}f(\zeta)\wedge W(\zeta,z)= -\int\limits_{D}\bar{\partial}f(\zeta)\wedge\sum\limits_{k>l} d(a_{k,l}(\zeta) g(\zeta,z))\, d\bar{\zeta}[l,k]\wedge d\zeta= \\
=-\int\limits_{D}df(\zeta)\wedge\sum\limits_{k>l} d(a_{k,l}(\zeta) g(\zeta,z))\, d\bar{\zeta}[l,k]\wedge d\zeta=\\
=\int\limits_{D} d\left(df(\zeta)\wedge\sum\limits_{k>l} a_{k,l}(\zeta) g(\zeta,z)\, d\bar{\zeta}[l,k]\wedge d\zeta\right)=\\
=\int\limits_{\Gamma} df(\zeta)\wedge\sum\limits_{k>l} a_{k,l}(\zeta) g(\zeta,z)\, d\bar{\zeta}[l,k]\wedge d\zeta=\\
=\int\limits_{\Gamma} g(\zeta,z) \left(df(\zeta)\wedge\sum\limits_{k>l} a_{k,l}(\zeta) \, d\bar{\zeta}[l,k]\wedge d\zeta\right).
\end{gather*}
Равенство \eqref{kas}  дает
$$
df\wedge d\bar{\zeta}[l,k]\wedge d\zeta\bigl|_{\Gamma}=2^{n-1}i^n(-1)^{k+l-1}\bar{\partial}_{\tau_{k,l}}f\,d\sigma.
$$
Поэтому
\begin{gather}
- \int\limits_{D}\bar{\partial}f(\zeta)\wedge W(\zeta,z)= \int\limits_{\Gamma} g(\zeta,z) \left(df(\zeta)\wedge\sum\limits_{k>l} ia_{k,l}(\zeta)\, d\bar{\zeta}[l,k]\wedge d\zeta\right)=\notag\\
 \label{kl2} =2^{n-1}i^{n+1}\int\limits_{\Gamma} g(\zeta,z)  \left(\sum\limits_{k>l}(-1)^{k+l-1}a_{k,l}(\zeta)\bar{\partial}_{\tau_{k,l}}f(\zeta) \,d\sigma\right).
\end{gather}
Из формул \eqref{kl1} и  \eqref{kl2}  получим выражение для интеграла $T[f](z)$:
$$
T[f](z)= {2^{n-1}i^n}\int\limits_{\Gamma}g(\zeta,z)\left(\bar\partial_\nu f(\zeta) +i\sum\limits_{k>l}(-1)^{k+l-1} a_{k,l}(\zeta)\bar\partial_{\tau_{k,l}} f(\zeta)\right) d\sigma.
$$
 Таким образом получили утверждение (сравни с леммой \ref{l3}).

\begin{proposition}\label{p1}
Для функций $f\in\mathcal G^1_2(D)$ справедливо равенство
$$
T[f](z)=-\Phi{[t[f]](z)}, \quad z\in D,
$$
где
\begin{equation}\label{ttt}
t[f](\zeta)=\left(\bar\partial_\nu f(\zeta) +i\sum\limits_{k>l}(-1)^{k+l-1} a_{k,l}(\zeta)\bar\partial_{\tau_{k,l}} f(\zeta)\right), \quad z\in D.
\end{equation}
\end{proposition}



\begin{lemma}\label{iso}
Если $f\in\mathcal \ W_2^{1/2}(\Gamma)$, то справедливо равенство
$$
\overline\partial_\nu\Phi^+[f]+\overline\partial_{-\nu}\Phi^-[f]=f\quad\text{на} \quad \Gamma.
$$
\end{lemma}

Это равенство есть аналог теоремы о скачке нормальной производной потенциала простого слоя в $\mathbb R^n$ (см., например, \cite[гл. 14]{Mi}).

\begin{proof} Применим равенство (\ref{eq4}). При вычислении производных $ \dfrac{\partial \Phi^+[f]}{\partial \bar z_j}$ мы видим, что второй интеграл в равенствее (\ref{eq4}) скачка не имеет, так как он есть потенциал простого слоя от некоторой функции (см., например,  \cite[гл. 14]{Mi}). А первый интеграл имеет скачок, определяемый интегралом Бохнера-Мартинелли (теорема \ref{tsk}), равный
$$
\sum_{j=1}^nf\rho_j\rho_{\bar j}=f.
$$
\end{proof}
Таким образом оператор $\Phi$ является взаимно однозначным на $\mathcal G^1_2(D)$  и на $\mathcal G^1_2(\mathbb C^n\setminus\overline D)$.
 Поэтому определен обратный оператор $\Phi^{-1}$.

Из предыдущей леммы получаем равенство
\begin{equation}\label{fm}
(\overline\partial_\nu +\overline\partial_{-\nu})\Phi=I,
\end{equation}
где $I$ --- тождественный оператор. 

Тогда из (\ref{fm}) имеем
$$
(\overline\partial_\nu +\overline\partial_{-\nu})=\Phi^{-1}.
$$

 Для функций $w,u\in \mathcal G^1_2(D)$ (напомним, что пространство   $ \mathcal G^1_2(D)$ топологически изоморфно пространству $\mathcal W^{1/2}_2(\Gamma)$) определим билинейную форму
$$
B(u,w)=\int\limits_\Gamma\Phi^{-1}[u]\cdot\bar w \, d\sigma.
$$

В  \cite{Ro} (а также и в \cite[\S 16]{Ky1}) отмечено, что

1. $B(u,u)\geqslant 0$ и $B(u,u)=0$ только в случае $u=0$,

2. $B(u,w)=\overline{B(w,u)}$,

3. Норма, определяемая  билинейной формой $B(u,w)$, эквивалентна норме пространства $\mathcal G^1_2(D)$.

В пространстве $\mathcal G^s_2(D)$ введем аналогичную билинейную форму $B_s$. Если $u\in\mathcal G^s_2(D)$, то обозначим через $u_\alpha$ --- сужение  функций $\partial^\alpha u$ на $\Gamma$ класса $\mathcal W^{s-\|\alpha\|-1/2}_2(\Gamma)$ (мультииндекс $\alpha=(\alpha_1,\ldots, \alpha_{2n}) $ и $\|\alpha\|\leqslant s-1$). Их мы продолжим гармонически вне области (с нулем на бесконечности) до функции $u_\alpha^-\in\mathcal G^{s-\|\alpha\|}_2(D)$. Тогда для функций $u,w\in\mathcal G^s_2(D)$ определим
$$
B_s(u,w)=\sum_{\|\alpha\|\leqslant s-1}\int\limits_\Gamma \Phi^{-1}[ u_\alpha]\cdot\bar w_\alpha\, d\sigma.
$$
Ясно, что $B=B_s$ при $s=1$.
Билинейная форма $B_s$ имеет свойства, аналогичные свойствам формы $B$ (см. \cite[\S 16]{Ky1}).

Пространство $\mathcal G^1_2( D)$ разлагается в прямую сумму пространств $\mathcal O^1_2( D)$ и $\mathcal Y( D)$, ортогональных в смысле билинейной формы $B(\cdot , \cdot )$, где $\mathcal O^1_2(D)$  --- подпространство голоморфных функций  из $ \mathcal G^1_2( D)$, т.е.
$$
\mathcal G^1_2( D)=\mathcal O^1_2( D)\oplus \mathcal Y( D).
$$
Как показано в \cite{Ro} (см. также \cite[\S 16]{Ky1}), оператор $M$  является самосопряженным и положительным  относительно билинейной формы   $B(\cdot,\cdot)$.

Также можно показать, что оператор $M$ является самосопряженным, положительным относительно формы $B_s$ в пространстве $\mathcal G^s_2(D)$ и $0\leqslant M\leqslant I$,
и его норма в пространстве $\mathcal G^s_2(D)$ относительно формы $B_s$ равна 1.



Рассмотрим $B(G[f],u)$. Найдем сопряженный оператор $G^*$ к оператору $G$ относительно билинейной формы $B(\cdot,\cdot)$.  Напомним, что
$$
G[f](z)=i\int\limits_{\Gamma}f(\zeta)\sum\limits_{k>l} d(a_{k,l}(\zeta) g(\zeta,z))\wedge d\bar{\zeta}[l,k]\wedge d\zeta, \qquad z\notin \Gamma.
$$
По лемме \ref{l3}
$$
G[f](z)=-\Phi[h[f]](z),
$$
где
$$
h[f](\zeta)=i\sum\limits_{k>l}(-1)^{k+l}a_{k,l}(\zeta)\bar{\partial}_{\tau_{k,l}}f(\zeta).
$$
Поэтому
\begin{gather*}
   B(G[f], u)=-B(\Phi[h[f]],u )=-\int\limits_\Gamma h[f](\zeta)\cdot \bar u(\zeta)\, d\sigma=\\
 =-i\int\limits_\Gamma \sum\limits_{k>l}(-1)^{k+l}a_{k,l}(\zeta)\bar{\partial}_{\tau_{k,l}}f(\zeta) \bar u(\zeta)\, d\sigma=\\
 =i\int\limits_\Gamma \sum\limits_{k>l}(-1)^{k+l}a_{k,l}(\zeta)\bar{\partial}_{\tau_{k,l}}\bar u(\zeta) f(\zeta)\, d\sigma=B(f,G[u]),
\end{gather*}
поскольку
$$
-\int\limits_\Gamma \sum\limits_{k>l}(-1)^{k+l}\bar{\partial}_{\tau_{k,l}}(a_{k,l}f\bar{u})(\zeta)\, d\sigma =0.
$$
Последнее равенство следует из того, что под знаком интеграла стоит сужение на $\Gamma$ $\overline\partial$-точной формы
$$
\sum_{k>l}\overline\partial(a_{k,l} f\bar u)\wedge d\bar\zeta[k,l] \wedge d\zeta.
$$
Таким образом получаем утверждение
\begin{proposition}\label{S}
Оператор $G$  является самосопряженным относительно билинейной формы $B(\cdot,\cdot)$, т.е. $G^*=G.$
\end{proposition}
Отсюда получаем

\begin{corollary}\label{crr}
Оператор $Q$ является самосопряженным относительно билинейной формы $B(\cdot,\cdot)$ и
\begin{equation}\label{sop}
Q[u]=Q^*[u]=(M+G)^*[u]=M[u]-\Phi[h[u]]=\Phi{[\overline\partial_{-\nu} u-h[u]]}.
\end{equation}
\end{corollary}

\section{Итерации оператора $\mathbf Q$}

Для исследования итераций оператора $Q$ нам потребуются некоторые свойства самосопряженных операторов. Эти сведения можно найти в монографиях \cite{AG} -- \cite{RS}.

Сначала найдем нормы элементов и операторов относительно билинейной формы $B(\cdot,\cdot)$.
Для функции $u\in\mathcal G^1_2(D)$ ее норма $\|u\|_B$ равна
\begin{gather*}
  \|u\|_B^2=B(u,u)=\int\limits_\Gamma \Phi^{-1}[u]\cdot \bar u\, d\sigma=\\
	=\int\limits_\Gamma (\bar\partial_{\nu} u +\bar\partial_{-\nu}u)\bar u\,d\sigma=\frac 1{2^{n-1}i^n}\int\limits_\Gamma (\mu_{u+}u+\mu_{u^-}u)\cdot \bar u= \\
  =\frac 1{2^{n-1}i^n}\int\limits_ D(|\grad u^+|^2 d\bar z\wedge d z+\frac 1{2^{n-1}i^n}\int\limits_ {\mathbb C^n\setminus D}(|\grad u^-|^2 d\bar z\wedge d z=\\
  =\int\limits_ D(|\grad u^+|^2 \, dv+\int\limits_ {\mathbb C^n\setminus D}(|\grad u^-|^2 \, dv,
\end{gather*}
в силу формул  (\ref{grad})  и (\ref{ob}).
Таким образом квадрат нормы  элемента $u\in \mathcal G^1_2(D)$ равен сумме интегралов Дирихле этого элемента в области и вне области.

\begin{proposition}\label{mp}
Оператор $M$ является положительным, самосопряженным относительно билинейной формы $B(\cdot,\cdot)$ его норма $\|M\|_B =1$ и выполнено неравенство $0\leqslant M\leqslant I$, где $I$ --- тождественный оператор.
\end{proposition}

\begin{proof}
 Положительность, самосопряженность оператора $M$ и неравенство $0\leqslant M\leqslant I$ доказана Романовым в \cite{Ro} (см. также \cite[\S 16]{Ky1}). Найдем его норму. Для этого воспользуемся теоремой 2 из \cite{BS}), что
$$
\|M\|_B=\sup\limits_{\|u\|_B=1} B(Mu,u).
$$
Как в предыдущих формулах имеем
$$
B(M[u],u)=\int\limits_\Gamma\overline\partial_{-\nu}u\cdot \bar u\, d\sigma= \int\limits_ {\mathbb C^n\setminus D}(|\grad u^-|^2 \, dv\leqslant \|u\|^2_B.
$$
Так что $B(Mu,u)\leqslant 1$. С другой стороны, если $u$ голоморфно продолжается в область, то $Mu=u$. Поэтому $\|M\|_B=1$.
\end{proof}

Найдем норму оператора $Q$ относительно билинейной формы $B$.

\begin{proposition}\label{nq}
Оператор $Q$ является положительным и самосопряженным  относительно билинейной нормы $B(\cdot,\cdot)$. Норма оператора $\|Q\|_B=1.$ Справедливы неравенства $0\leqslant Q\leqslant I$.
\end{proposition}

\begin{proof}
 Воспользуемся следствием \ref{crr} (равенство (\ref{sop}))
$$
Q[u]=\Phi{[\overline\partial_{-\nu} u-h[u]]}.
$$
Как отмечено в \cite[\S 93]{RS} для самосопряженного оператора $Q$ справедливы равенства
$$
\sup_{u}| B(Q[u], u)|=\sup_u\|Q[u]\|_B=\|Q\|_B,
$$
если $\|u\|_B=1$.

Поскольку гладкие функции плотны в пространстве $\mathcal G^1_2(D)$ и в пространстве $\mathcal L^{1/2}_2(\Gamma)$, в качестве функций $u$ можно брать гладкие функции.

Возьмем такую функцию $u$ и продолжим ее гладко на $\bar D$, получим
$$
B(Q[u],u)=\int\limits_\Gamma (\overline\partial_{-\nu} u-h[u])\cdot \bar u\, d\sigma=
$$
$$
=\int\limits_\Gamma \left(\overline\partial_{-\nu} u-i\sum\limits_{k>l}(-1)^{k+l}a_{k,l}(\zeta)\bar{\partial}_{\tau_{k,l}}u(\zeta)\right) \bar u(\zeta)\, d\sigma.
$$

Преобразуем второй интеграл в этой формуле
$$
\int\limits_{\Gamma}\sum\limits_{k>l}(-1)^{k+l}\left(a_{k,l}(\zeta)\bar{\partial}_{\tau_{k,l}}u(\zeta)\right) \bar u(\zeta)\, d\sigma=
$$
$$
=c\int\limits_{\Gamma}\sum\limits_{k>l}(-1)^{k+l} \bar u(\zeta) a_{k,l}(\zeta)\overline\partial u(\zeta)\land d\bar\zeta[k,l]\wedge d\zeta=
$$
\begin{equation}\label{ii}
=c\int\limits_D \sum\limits_{k>l}(-1)^{k+l} a_{k,l}\overline\partial \bar u(\zeta)\land \overline\partial  u(\zeta)\land d\bar\zeta[k,l]\land d \zeta.
\end{equation}
Далее, выделим действительную и мнимую части функции $u=u_1+iu_2$, получим
$$
\overline\partial \bar u(\zeta)\land \overline\partial u(\zeta)=\overline\partial (u_1 -i u_2)\land \overline\partial (u_1 +iu_2)=2i\overline\partial u_1\land \overline\partial u_2.
$$
Тогда интеграл в формуле (\ref{ii}) будет равен
$$
\int\limits_D \overline\partial u_1(\zeta)\land \overline\partial   u_2(\zeta)\land \left(\sum\limits_{k>l}(-1)^{k+l} a_{k,l}d\bar\zeta[k,l]\land d \zeta\right).
$$

Рассмотрим одну часть подынтегральной формы
\begin{equation}\label{fff1}
\overline\partial u_1(\zeta)\land \overline\partial   u_2(\zeta)\land d\bar\zeta[k,l]\land d \zeta.
\end{equation}
Так как на поверхности $\Gamma$ функция $\rho=0$, то $d\rho=0$. Поэтому
\begin{equation}\label{za}
\sum_{j=1}^n\frac{\partial\rho}{\partial\zeta_j}d\zeta_j+\sum_{j=1}^n\frac{\partial\rho}{\partial\bar\zeta_j}d\bar\zeta_j=0
\end{equation}

Тогда в форме $\overline\partial u_1(\zeta)\land \overline\partial   u_2(\zeta)$ из (\ref{fff1}) нужно оставить только слагаемые с номерами $k,l$. Но так как выполнено равенство (\ref{za}), то все это выражение будет равно нулю на $\Gamma$, поскольку в нем $d\bar \zeta_k$ будет выражаться через $d\bar\zeta_l$.

Так что вся подынтегральная форма
\begin{equation}\label{nul}
\overline\partial u_1(\zeta)\land \overline\partial   u_2(\zeta)\land \left(\sum\limits_{k>l}(-1)^{k+l} a_{k,l}d\bar\zeta[k,l]\land d \zeta\right)
\end{equation}
будет равняться нулю на $\Gamma$.

Осталось выбрать продолжение $u_1,\ u_2$ такое, что дифференциальная форма (\ref{nul}) равнялась нулю в области $D$, что, очевидно, всегда можно сделать.

Тогда
$$
0\leqslant B(Q[u],u)=\int\limits_\Gamma (\overline\partial_{-\nu} u)\cdot u\,d\sigma= \int\limits_ {\mathbb C^n\setminus D}(|\grad u^-|^2 \, dv\leqslant \|u\|^2_B\leqslant 1.
$$

Если функция $u$ --- вещественнозначная, то доказательство становится проще, пооскольку в этом случае
$$
\overline\partial u(\zeta)\land \overline\partial   \bar u(\zeta)=\overline\partial u(\zeta)\land \overline\partial    u(\zeta)=0
$$
для любого вещественнозначного продолжения $u$ в область $D$.

Поэтому оператор $Q$ --- положительный и его норма не превосходит 1.
Так как он сохраняет голоморфные функции $u$, то $\|Q\|_B=1$.  Так как $\|Q\|_B=1$ и оператор $Q$ положительный и самосопряженный, то $0\leqslant Q\leqslant I$ (см. \cite[\S 3]{ID}).
\end{proof}


Отметим также
\begin{corollary}\label{goo}
Число 0  не является собственным числом оператора $Q$. Ядро оператора $T$ совпадает с $\mathcal O^1_2(D)$.
\end{corollary}
\begin{proof}
Действительно, если $Q[u]=0$, то по уже доказанному выше
$$
0=B(Q[u],u)=\int\limits_\Gamma (\overline\partial_{-\nu} u)\cdot u\,d\sigma= \int\limits_ {\mathbb C^n\setminus D}(|\grad u^-|^2 \, dv.
$$
Поэтому $u^-$ является голоморфной функцией вне области с нулем на бесконечности. Тогда по теореме Гартогса-Бохнера она голоморфно продолжается в область $D$. И значит $u=0$.

Пусть $T[f]=0$.
Из вида операторов $T$ и $t$ (формула (\ref{ttt})) получаем, что
$$
T[f](z)=-\Phi{[t[f]](z)}, \quad z\in D,
$$
где
$$
t[f](\zeta)=\left(\bar\partial_\nu f(\zeta) +i\sum\limits_{k>l}(-1)^{k+l-1} a_{k,l}(\zeta)\bar\partial_{\tau_{k,l}} f(\zeta)\right), \quad z\in D.
$$
Применяя к этому интегралу рассуждения из предложения \ref{goo} получим, что
$$
B(T[f],f)=\int\limits_D|\grad f^+|^2 \, dv=0.
$$
Отсюда получаем, что функция $f$  голоморфна в $D$.
\end{proof}


Для самосопряженного оператора $A$ обозначим через
$$
\mathbf m(A)=\inf\limits_{\|u\|_B =1} B(u,u), \quad \mathbf M(A)=\sup\limits_{\|u\|_B =1} B(u,u)
$$
(см., например, \cite[\S 2]{ID}, \cite[\S 7]{BS}). Тогда для такого оператора $A$ (см., например. \cite[теорема 2.4]{ID}) известно, что спектр $\sigma(A)$ --- вещественный и принадлежит отрезку
$$
\sigma(A)\subset[\mathbf m(A), \mathbf M(A)],
$$
и $\|A\|\in \sigma(A)$.

Отсюда и из предложений \ref{mp} и \ref{nq} получаем, что спектр $\sigma$ операторов $M$, $Q$ лежат на отрезке $[0,1]$,
т.е. $\sigma(M)\subset [0,1]$  и
$1\in\sigma(M)$, $\sigma( Q)\subset [0,1]$, $1\in\sigma ( Q)$.



Пространство $\mathcal G^1_2(D)$ является  гильбертовым сепарабельным пространством относительно билинейной формы $B(\cdot, \cdot)$.
Более того, пространство $\mathcal G^s_2(D)$ является плотным в пространстве $\mathcal G^1_2(D)$ в метрике, порожденной формой $B$.

Справедлива теорема

\begin{theorem}\label{psm}
В пространстве $\mathcal G^1_2(D)$ существует полная ортонормированная относительно формы $B(\cdot,\cdot)$ система функций $\{\psi_k(\zeta)\}$,  $k\in \mathbb N$, состоящая из собственных функций оператора $Q$, т.е. $Q[\psi_k]=\lambda_k\psi_k$, где собственные числа $0<\lambda_k\leqslant 1$.
\end{theorem}

\begin{proof}

То, что все собственые числа строго больше нуля (если они существуют) мы уже отмечали (следствие \ref{goo}).

Мы докажем эту теорему, используя схему из \cite[Ch. 6]{RS}.
Сложность заключается в том, что оператор $Q$ не является компактным в $\mathcal G^s_2(D)$, поскольку он сохраняет голоморфные функции.
Напомним,что оператор $Q$ является ограниченным в пространстве $\mathcal G^s_2(D)$, $s\geqslant 1$ (следствие \ref{ogra}).

Вложение $\mathcal G^s_2(D)$ в $\mathcal W^{p}_2(D)$ является компактным оператором при $s>p$ (см., например, \cite[Theorem 3.1]{ES}). Поэтому
оператор $Q$ является компактным из $\mathcal G^s_2(D)$ в $\mathcal W_2^p(D)$ при $s>p$.

Сначала докажем, что у оператора $Q$ есть собственная функция с собственным число равным 1 (в данном случае это очевидно, поскольку оператор сохраняет голоморфные функции, но в дальнейшем нам понадобится это утверждение для других собственных чисел).
Отметим, что все собственные функции с собственным числом равным 1  голоморфны (см. следствие \ref{goo}).

Как отмечено в \cite[\S 93]{RS} для самосопряженного оператора $Q$ справедливы равенства
$$
\sup_{f}| B(Q[f], f)|=\sup_f\|Q[f]\|_B=\|Q\|_B=1,
$$
если $\|f\|_B=1$.

Так как в пространстве $\mathcal G^2_2(D)$ оператор $Q$ также имеет норму 1, то существует последовательность $\{f_k\}$  функций из $\mathcal G^2_2(D)$ такая, что
$$
\|f_k\|_B=1\quad \text{и}\quad |B(Qf_k,f_k)|\to \|Q\|_B=1,\quad k\to\infty.
$$
Мы выберем $f_k$ так, чтобы последовательность $B(Q[f_k], f_k)$ сама сходилась, т.е.
$$
B(Q[f_k], f_k)\to \lambda_1, \quad k\to\infty,
$$
где $\lambda_1=\|Q\|_B=1$, либо $\lambda_1=-\|Q\|_B=-1$.

Квадратный трехчлен
$$
\|Q[f_k]\|^2_B-2\lambda_1B(Q[f_k], f_k)+\lambda_1^2\|f_k\|^2_B= \|Q[f_k]-\lambda_1f_k\|^2_B\geqslant 0
$$
и стремится к нулю, так как
$$
\|Q[f_k]\|^2_B\leqslant \|Q\|_B^2=\lambda_1^2, \quad B(Q[f_k],f_k)\to \lambda_1, \quad \|f_k\|_B=1.
$$
Таким образом
\begin{equation}\label{psz}
Q[f_k]-\lambda_1f_k\to 0\quad \text{при}\quad k\to \infty
\end{equation}
для некоторой последовательности  функций $ \{f_k\},\  k\in\mathbb N,$  в пространстве\\  $ \quad \mathcal G^2_2(D)$.

Теперь воспользуемся тем, что оператор $Q$ является компактным из $\mathcal G^2_2(D)$ в $\mathcal W^1_2(D)$.
Последовательность $\{f_k\}$  ограничена в $\mathcal G^2_2(D)$, поэтому она является компактной в $\mathcal W^1_2(D)$. Т.е. из нее можно выбрать подпоследовательность сходящуюся  в пространстве $\mathcal W^1_2(D)$. Можно считать, что это сама последовательность $\{f_k\}$ сходится к $f_0\in\mathcal W^1_2(D)$.

Рассмотрим
$$
f_k(z)-f_m(z), \quad z\in D.
$$
Тогда по теореме о среднем для гармонических функций (см., например, \cite[гл. 3]{TT}), получим
$$
f_k(z)-f_m(z)=\frac 1{V(C)}\int\limits_C( f_k(\zeta)-f_m(\zeta))\, dv,
$$
где $C$ --- некоторый шар с центром в точке $z$, а $V(C)$ --- его объем.
Далее (по неравенству Коши-Буняковского)
$$
|f_k(z)-f_m(z)|\leqslant\frac 1{V(C)}\int\limits_C| f_k(\zeta)-f_m(\zeta)|\, dv\leqslant\int\limits_C| f_k(\zeta)-f_m(\zeta)|^2\, dv\leqslant
$$
$$
\leqslant\int\limits_D| f_k(\zeta)-f_m(\zeta)|^2\, dv\leqslant\|f_k-f_m\|^2_{\mathcal W^1_2(D)}.
$$

Так что последовательность $\{f_k\}$ является фундаментальной в $D$ относительно равномерной сходимости. Поэтому она равномерно сходится в $D$ к функции $f_0$. Из свойств гармонических функций тогда получаем, что $f_0$ являетсся гармонической в $D$, и последовательность $\{f_k\}$ равномерно сходится к $f_0$ вместе со всеми производными на любом компакте в $D$. Мы отмечали, что функция $f_0\in\mathcal W^1_2(D)$,
поэтому $f_0\in\mathcal G^1_2(D)$ и последовательность $\{f_k\}$
  сходится к $f_0$ в пространстве $\mathcal G^1_2(D)$.
	
Тогда согласно (\ref{psz}) получаем, что $Q[f_0]=\lambda_1f_0$.
Следовательно,  $\lambda_1=1$ и $f_0$ является собственной функцией оператора $Q$.

Рассмотрим подпространство $\mathcal L_1$ в $\mathcal G^1_2(D)$, состоящее из всех собственных векторов $f$ с собственным числом $\lambda_1=1$. Оно совпадает с $\mathcal O^1_2$ (см. следствие \ref{goo}) и значит бесконечномерно. Более того --- это замкнутое подпространство в $\mathcal G^1_2(D)$, т.е. гильбертово.

В нем существует полная ортонормированная система функций $\{\varphi^{1}_k\}$, $k\in\mathbb N$.
 Поэтому мы можем рассмотреть ортогональное дополнение к $\mathcal L_1$ в смысле билинейной формы $B(\cdot,\cdot)$ --- пространство $\mathcal L_1^{\perp}$. Оно также является замкнутым подпространством в $\mathcal G^1_2(D)$.

Оператор $Q$ отображает $\mathcal L^\perp_{1}$ в $\mathcal L^\perp_{1}$, поскольку для $f\in\mathcal L^\perp_1$ имеем
$$
B(Q[f],\varphi^ 1_k)=B(f,Q[\varphi^ 1_k]])=B(f,\varphi^ 1_k)=0
$$
для всех функций $\varphi^1_k$.
Так что оператор $Q$ является положительным и самосопряженным на $\mathcal L^\perp_1$, более того он является компактным из пространства $\mathcal L^\perp_1$ в пространство $\mathcal L^2(D)$.

Тогда $\|Q\|_{\mathcal L^\perp_1}=\lambda_2<1$, поскольку если бы $\lambda_2$ равнялось 1, то в этом пространстве (согласно предыдущему рассмотрению) существовал бы собственный элемент с собственным числом 1, что невозможно по построению пространства $\mathcal L_1$.

Применяя предыдущее рассуждение для оператора $Q$ на $\mathcal G^2_2(D)$ мы получим, что существует собственная функция $f\in\mathcal L_1^\perp$ с условием, что $Q[f]=\lambda_2f$.

Рассмотрим теперь подпространство $\mathcal L_2$, состоящее из всех таких собственных векторов $f$. Оно замкнуто и содержит полную ортонормированную систему элементов $\{\varphi_k^2\}$. Обозначим через $\mathcal L_2^\perp$ --- ортогональное дополнение к пространству $\mathcal L_2$ в $\mathcal L_1^\perp$.
В нем мы проделаем те же самые построения как в предыдущем случае и т.д.
Тогда получим систему подпространств $\mathcal L_m$ и $\mathcal L^\perp_m$, систему собственных чисел $\lambda_m$ и собственных функций $f_m$, отвечающих этим собственным числам и полные ортонормированные системы функций $\{\varphi^\lambda_k\}$
из пространства $\mathcal L^\perp_m$.

При этом возможны два случая:

1. Система $\{\lambda_k\}$  конечна. Это означает, что число собственных чисел $\lambda_k $ конечно и $\mathcal G^1_2(D)$   является конечной суммой собственных подпространств оператора $Q$.

2. Система $\{\lambda_k\}$  бесконечна. В этом случае $\lambda_k$ строго убывающая последовательность стремящаяся к нулю.
Докажем это.

 Предположим, что $\lambda_k$  не стремятся к нулю, тогда
 выбирая для  числа $\lambda_k$ нормированную собственную функцию $\varphi_k$ получим, что последовательность
$\{\varphi/\lambda_k\}$  ограничена, а последовательность образов
$\{\varphi_k\}$ содержит сходящуюся подпоследовательность, что невозможно, так как $\|\varphi_k -\varphi_m\|^2_B=2$ при $k\neq m$.

Объединим все собственные ортонормированные системы во всех  пространствах  $\mathcal L^\perp_m$ в одну ортонормированную систему функций, обозначим ее  через $\{\psi_k\}$, $k\in\mathbb N$.
Покажем, что она является полной в $\mathcal G^1_2(D)$.

В случае конечного числа собственных чисел $\lambda_k$ это очевидно, поскольку   $\mathcal G^1_2(D)$   является конечной суммой собственных подпространств оператора $Q$.

Пусть количество собственных чисел  бесконечно.
Для функции $f\in \mathcal G^1_2(D)$ рассмотрим функцию
$$
h_m=\sum_{k=1}^m B(f,\psi_k)\psi_k.
$$
Тогда $h_m$  принадлежит подпространству, образованному элементами ортогональными элементам $\psi_1,\ldots, \psi_m$,
поэтому
$$
\|Q[h_m]\|_B\leqslant\lambda_{m+1}\|\psi_m\|_B.
$$
Кроме того
$$
\|h_m\|^2_B=\|f\|^2_B-\sum_{j=1}^m |B(f,\psi_j)|^2\leqslant \|f\|_B.
$$
Поэтому
$$
Q[h_m]=Q[f]-\sum_{j=1}^m B(f,\psi_j)Q[\psi_j]\to 0\quad\text{при}\quad m\to\infty.
$$
Тогда
$$
Q[f]=\sum_{j=1}^\infty\lambda_j B(f,\psi_j)\psi_j=\sum_{j=1}^\infty B(f,Q\psi_j])\psi_j.
$$
То есть

$$
Q[f]=\sum_{j=1}^\infty B(Q[f],\psi_j)\psi_j
$$

Пусть теперь $f$ --- произвольный элемент из $\mathcal G^1_2(D)$.
По известным  свойствам гильбертова пространства сходится ряд
$$
\sum_{j=1}^\infty B(f,\psi_j)\psi_j=w
$$
и $w\in\mathcal G^1_2(D)$.
Применив к этому ряду оператор $Q$, получим
$$
Q[w]=\sum_{j=1}^\infty\lambda_j B(f,\psi_j)\psi_j.
$$
 С другой стороны мы только что доказали, что
$$
Q[f]=\sum_{j=1}^\infty\lambda_j B(f,\psi_j)\psi_j.
$$
Поэтому $Q[f]=Q[w]$. Тогда $Q[f-w]=0.$ Но  у $Q$ нет нулевых собственных значений, поэтому система $\{\psi_j\}_{j\in\mathbb N}$ полна в $\mathcal G^1_2(D)$.

\end{proof}

Поскольку оператор $M$ имеет те же свойства, что и оператор $Q$, то для него справедливо аналогичное утверждение.

\begin{theorem}\label{pmb}
В пространстве $\mathcal G^1_2(D)$ существует полная ортонормированная относительно формы $B(\cdot,\cdot)$ система функций $\{\phi_k(\zeta)\}$,  $k\in \mathbb N$, состоящая из собственных функций оператора $M$, т.е. $M[\phi_k]=\mu_k\phi_k$, где собственные числа $0<\mu_k\leqslant 1$.
\end{theorem}

Рассмотрим функцию $u\in\mathcal G^1_2(D)$ и разложим ее в ряд по системе $\{\psi_j\}_{j\in\mathbb N}$
$$
u=\sum_{j=1}^\infty c_j\psi_j.
$$
Вычисляя итерации оператора $Q$, получим
$$
Q^m[u]=\sum_{j=1}^\infty\lambda_j^mc_j\psi_j.
$$
Выделяя в этой сумме члены с собственным числом равным 1 (они определяют некоторую голоморфную функцию $f$  из $\mathcal O^1_2(D)$)
$$
f(z)=\sum_{j_k}c_{j_k}\psi_{j_k}(z) .
$$
Тогда
$$
B(Q^m[u](z)-f(z), u(z)-f(z))\to 0\quad\text{при}\quad m\to \infty.
$$
Получили утверждение:
\begin{theorem}\label{ost}
Справедливо свойство
$$
Q^m[u]\to Pr_{\mathcal O} [u]\quad\text{при} \quad m\to \infty
$$
в сильной операторной топологии пространства $\mathcal G^1_2(D)$.
\end{theorem}

Отметим, что из теоремы \ref{pmb} мы получаем теорему \ref{Ro}  А.В.Романова.

\section{Некоторые следствия}

\begin{corollary}\label{c1}
Пусть $D$ --- ограниченная область со связной  границей $\Gamma$, функция $f\in\mathcal C (\bar D)$, $CR$-функции $a_{l,k}\in\mathcal C^1(\Gamma),$ $k,l=1,\ldots, n$ и выполнено условие (\ref{pr2}) в области $D$ (т.е. $Q[f]=f$ в $D$), тогда функция $f$ голоморфна в $D$.
\end{corollary}

\begin{proof} Так как $Q[f]=f$ в $D$, то $Q^2[f]=Q[Q[f]]=Q[f]$ и т.д.
Получаем, что $Q^k[f]=f$ в $D$.
С другой стороны  итерации $Q^k[f]$ стремятся в $D$ к голоморфной функции $\varphi$.
\end{proof}

Таким образом, задача \ref{z3} решена положительно.

\begin{corollary}\label{c2}
Пусть $D$ --- ограниченная область со связной  границей $\Gamma$, функция $f\in\mathcal C (\Gamma)$,  $CR$-функции $a_{l,k}\in\mathcal C^1(\Gamma),$ $k,l=1,\ldots, n$, и выполнено условие
\begin{equation}\label{u1}
Q[f](z)=0\quad\text{вне множества}\quad \bar D,
\end{equation}
тогда функция $f$ голоморфно продолжается в $D$ до функции $F\in\mathcal C(\bar D)$.
\end{corollary}

\begin{proof}
По формуле (\ref{Q1}) имеем
$$
Q[f](z)=M[f](z)+G[f](z)=\int\limits_{\Gamma}f\bigl(\zeta)(U(\zeta,z)+W(\zeta,z)\bigr)\quad z\notin\Gamma.
$$
Скачок интеграла $M[f]$ равен $f$ (см. теорему \ref{tsk}), т.е.
$M^+[f]- M^-[f]=f$ на $\Gamma$.
Скачок интеграла $G[f]$ равен 0, поскольку по лемме \ref{l3} интеграл $G[f]=-\Phi [h[f]]$, а
хорошо известно (см., например, \cite[Ch. 2]{Gu}), что скачок потенциала простого слоя $\Phi$ равен нулю.

Отсюда получаем, что если $Q^-[f]=0$  вне замыкания области $D$, то
$Q^+[f]$ является гармоническим продолжением функции $f$ в область $D$.
По предыдущему следствию тогда $Q^+[f]$  голоморфна в $D$.
\end{proof}

\begin{corollary}\label{c3}
Пусть $D$ --- ограниченная область со связной границей, функция $f\in\mathcal C (\bar D)$, $CR$-функции $a_{l,k}\in\mathcal C^1(\Gamma),$ $k,l=1,\ldots, n$, и для некоторого натурального числа $s_0$ выполнено условие
$$
Q^{s_0}[f](z)=f(z), \quad z\in D,
$$
тогда $f$  голоморфна в $D$.
\end{corollary}

\begin{proof} Рассмотрим итерации $Q^{ks_0}[f](z)$.  Они стремятся к голоморфной функции в $D$.  С другой стороны они все равны $f(z)$.
\end{proof}

В заключение приведем теорему.

\begin{theorem}
Пусть $f\in \mathcal C(\bar D)$  и $f$  гармоническая в $D$, $w(\rho)\neq 0$ на $\partial D$.
Если
$$
\bar w(f)=\sum_{k=1}^n\bar w_k\frac{\partial f}{\partial \bar z_k}=0
\quad{\text { на}} \quad \Gamma,
$$
то  $f$ голоморфна в $D$.
\end{theorem}

Таким образом, задача \ref{pro1} решается положительно для функций данного класса.










\bigskip
\begin{thebibliography}{1} % Ссылки на литературу приводятся только на английском языке (даже если у источника нет англоязычной версии).


\bibitem{Vl} Vladimiirov V.S.   {\it Methods  of the theory of functions of many complex variables}, Cambridge,  MIT Press,  MA, 1986.


\bibitem{Sh} Shabat B.V.  {\it Introduction to complex analysis. Part 2. Function of several variables}, Amer. Math. Soc., Providence, 1992.


\bibitem{Ra} Range R.M.  {\it  Holomorphic functions and integral representations in several complex variables}, Springer–Verlag, New-York,  1986.

\bibitem{AY} Aizenberg L.A., Yuzhakov A.P. {\it Integral Representations and Residues in Multi\-di\-mensional Complex Analysis}, Amer. Math. Soc., Providence, RI, 1983.

\bibitem{Ky1} Kytmanov A.M. {\it The Bochner-Martinelli integral and its applications}, Birkh\"{a}user, Basel, Boston, Berlin,  1995.

\bibitem{Gu} G\"unter N.M.  {\it Potential theory andd its applications to basic problems of mathematical physics}, Ungar, New York,   1967.

\bibitem{KM} Kytmanov A.M., Myslivets S.G. {\it Multidimensional Integral Representations. Problems of Analytic Continuation}, Springer Verlag, Basel, Boston, 2015.


\bibitem{ES} Egorov Yu.V., Shubin M.A. {\it Partial differential equations 1. Foundations of the classical theory},
Encyeclopaedia of Mathematical Sciences, V. 3,  Springer Verlag, Berlin, 1992.

\bibitem{HC}Khenkin G.M.,  Chirka E.M. {\it Boundary properties of holomorphic functions of several complex varisbles}, Journal of Soviet Mathematics,  {\bf 5} (1976), 612--687.

\bibitem{GT} Gilbarg D., Trudinger N.S. {\it Elliptic Partial Differential Equations of Second Order}, Springer--Verlag,  Berlin, Heidelberg, New York, Tokyo,  1983.


\bibitem{Ro} Romanov A.V.  {\it Convergence of itarates of the Bochner-Martinelli operator and the Cauchy-Riemann equation}, Soviet Math. Docl. {\bf  119}:5 (1978), 1211-1215.

\bibitem{KM3}  Kytmanov A.M.,  Myslivets S.G. {\it Iterates of the Bochner--Martinelli Integral Operator in a Ball}, Журн. СФУ. Сер. матем. и физ. {\bf 2}:2 (2009),   137--145.

\bibitem{Le} Leray J. {\it Fonction de variables complexe; sa representation comme somme de puissances negatives de fonctions lineares}, R.C. Accad.  Lincei Rend. Cl. Si.  Fiz Mat Natur.  {\bf 20}:5 (1956), 589-590.

\bibitem{Le1} Leray J. {\it Le calcul differentiel et integral sur une variete analytique complexe. (Probleme de Cauchy. III.)}, Bulletin de la Societe Mathematique de France,  {\bf  87} (1959),  81-180.

\bibitem{Mi} Mikhlin S.G.  {\it Linear partial equations},  Vyssshaya shkola, M., 1977 (in Russian).

\bibitem{My} Myslivets S.G. {\it Integral operator of potential type for infinitely differentiable functions}. Журн. СФУ. Сер. матем. и физ., {\bf 17}:4 (2024), 464--469.

\bibitem{KM1} Kytmanov A.M., Myslivets S.G. {\it  On one integral representation of the potential type},  Журн. СФУ. Сер. матем. и физ. {\bf 18}:3 (2025),  293--299 (предварительная публикация).

\bibitem{AG}  Akhiezer N.M., Glazman I.M.  {\it Theory of Linear Operators in Hilbert Spase}, Dover Publications Ink., New York,  1993.

\bibitem{ID} Il'in A.M., Danilin A.R. {\it Spectral  Decomposition  of  Self-Adjoint Operators},  Ural State University, Ekaterinburg, 2018 (in Russian).


\bibitem{BS} Birman M.S., Solomjak M.Z. {\it  Spectral Theory of Self-Adjoint Operators in Hilbert Space}, Springer Nature Link,  Dordreht,  1987.

\bibitem{RS} Riesz  F., Sz.-Nagy B.  {\it Lecons D'Analyze Fonctionnelle}, Akademiai Kiado, Budapest,   1972.

\bibitem{TT} Timan A.F., Trofimov V.N. {\it Introduction to theory of harmonic functions},  Nauka, M., 1968 (in Russian).



\end{thebibliography}
\end{document}
