\documentclass[11pt,reqno]{amsart}
\usepackage[cp1251]{inputenc}
\usepackage[english,russian]{babel}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{amsfonts}
\usepackage{graphicx}
\usepackage{xcolor}
\usepackage[colorlinks]{hyperref}


\usepackage{titlesec}
\titlespacing{\section}{0pt}{2.5ex}{1.5ex}
\titlespacing{\subsection}{0pt}{1.5ex}{1ex}
\titlespacing{\subsubsection}{0pt}{1.5ex}{1ex}
\titleformat{\section}{\large\bfseries\centering}{\thesection}{1em}{}
\titleformat{\subsection}[runin]{\bfseries}{\thesubsection.}{0.5em}{}[.\mbox{\ }]
\titleformat{\subsubsection}[runin]{\bfseries}{\thesubsubsection.}{0.4em}{}[.\mbox{\ }]



%%%%%---------- ORCiD
\newcommand\orcidicon[1]{\href{https://orcid.org/#1}{\includegraphics[scale=0.02]{orcid.pdf}}}

\def\udcs{519.234} %Здесь автор определяет УДК своей работы
\def\mscs{62G08} %Здесь автор определяет классификаторы AMS своей работы
\setcounter{page}{1}


\newtheorem{lemma}{Лемма}
\newtheorem{theorem}{Теорема}
\newtheorem{definition}{Определение}
\newtheorem{corollary}{Следствие}
\newtheorem{proposition}{Замечание}
\newtheorem{example}{Пример}

%\newtheorem{lem}{Лемма}
%\newtheorem{theor}{Теорема}
%\newtheorem{definition}{Определение}
%\newtheorem{cor}{Следствие}
%\newtheorem{proposition}{Предложение}
%\newtheorem{rem}{Замечание}


\definecolor{myblue}{rgb}{0.03, 0.27, 0.79}

\hypersetup{linkcolor=blue,filecolor=black,urlcolor=blue, citecolor=blue}

\def\logo{\textcolor{blue}{{\bf\Huge S\raisebox{0.2ex}{\hspace{0.55ex}\raisebox{0.05ex}e\hspace{-1.65ex}$\bigcirc$}MR}}}

\def\semrtop
     {
  \vbox{
     \noindent\logo \hspace{-3mm}  \parbox{12cm}{     \begin{center}
     {\LARGE \textsf{СИБИРСКИЕ ЭЛЕКТРОННЫЕ}} \\[2mm]
     {\LARGE \textsf{МАТЕМАТИЧЕСКИЕ ИЗВЕСТИЯ}} \\[2mm]
     {\Large \textsf{Siberian Electronic Mathematical Reports}} \\[1mm]
     {\Large\tt{\textcolor{blue}{http://semr.math.nsc.ru}}}\\[1mm]
     \raisebox{1ex}{ISSN 1813-3304 }
     \vspace*{-3mm}
%     {\small Институт математики им. С.Л.Соболева СО РАН}\\[-1mm]
%     {\small Sobolev Institute of Mathematics SB RAS}
     \end{center}
}
     \vspace{-1mm}
     \noindent
      \begin{tabular}{c}
     \hphantom{aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa!} \\
     \hline\hline
     \end{tabular}

     \vspace{3mm}
     {\flushleft\it Том 22, № 2, стр. ?--? (2025) \hspace{\fill}{\rm\small УДК \udcs
     \hspace{-8mm}
     }}
     \newline
     	{\rm\small \textcolor{blue}{https://doi.org/10.33048/semi.2023.20.?}}\hphantom{aaaaaaaaaaaaaaaaaaaaaaaa\;}{\rm\small MSC\ \ \mscs
     }
  }%\vbox
}


\begin{document}
\renewcommand{\refname}{References}


\thispagestyle{empty}

\title[\sc Оценки для производной регрессионной функции]{\large
Универсальные локально-линейные ядерные оценки для производной регрессионной функции}

\author[С.С. ПЕТРЕНКО, Ю.Ю. ЛИНКЕ]{{\bf \large \textsc{С.С. Петренко, Ю.Ю. Линке}}\protect\orcidicon{0000-0002-5554-2830}\\ \\
\textit{Представлено} \textsc{Н.С. Аркашовым}
%\textit{(заполняется редактором)}
}%

\address{Petrenko Sergey Sergeevich
\newline\hphantom{iii} Sobolev Institute of Mathematics,
\newline\hphantom{iii} pr. Koptyuga, 4,
\newline\hphantom{iii} 630090, Novosibirsk, Russia}
\email{\textcolor{blue}{s.petrenko@g.nsu.ru}}

\address{Yuliana Yurievna Linke  % Контактные данные всех авторов и место работы указываются только на английском языке
\newline\hphantom{iii} Sobolev Institute of Mathematics,
\newline\hphantom{iii} pr. Koptyuga, 4,
\newline\hphantom{iii} 630090, Novosibirsk, Russia}%
\email{\textcolor{blue}{linke@math.nsc.ru}}%

\thanks{\sc Petrenko, S.S.,  Linke, Y.Y.,
Universal local linear kernel estimators for  the derivative of a regression function}
\thanks{\copyright \ 2025 Петренко С.С., Линке Ю.Ю}
\thanks{\rm Работа  выполнена при поддержке программы фундаментальных научных исследований СО РАН (проект FWNF-2024-0001)}
\thanks{\it Поступила 21 июня 2025 г., опубликована  ??  2025 г.}


\semrtop \vspace{1cm}
\maketitle {\small
\begin{quote}
\noindent{\bf Abstract:} %
%В работе рассматривается задача непараметрической регрессии, состоящая в оценивании производной регрессионной функции, когда значения регрессионной функции с точностью до случайных погрешностей наблюдаются в некотором известном наборе детерминированных или случайных точек (наборе регрессоров). Решению этой задачи, в том числе методами ядерного сглаживания, посвящена обширная литература. В работе доказана состоятельность   нового класса  локально-линейных оценок ядерного типа, при этом используется более общее и обладающее рядом преимуществ условие на регрессоры, чем  известные ранее в этой задаче. Относительно регрессоров, которые мы рассматриваем в схеме серий (в качестве параметра серии выступает объем наблюдений), требуется лишь, чтобы они асимптотически плотно заполняли область задания регрессионной функции. Это условие включает в себя как случай детерминированных регрессоров, при этом без требования регулярности, так и ситуацию случайных регрессоров, но без предположения о той или иной форме слабой зависимости величин или выполнении эргодических свойств.
The paper considers the problem of nonparametric regression, which consists in estimating the derivative of the regres\-sion function, when the values of the regression function are obser\-ved with an accuracy of random errors in some known set of fixed or random points (regressors). The solution of this problem, including methods of kernel smoothing, is devoted to an extensive literature. In the paper, the consistency of a new class of locally linear estimators
% of the kernel type
is studied, while a more general condition on the regressors
%with a number of advantages than previously known in this problem
is used. With respect to the regressors,
%that we consider in the series scheme (the volume of observations acts as a parameter of the series),
it is only required that they asymptotically densely fill the domain of the regression function. This condition includes both the case of fixed  regressors, without the requirement of regularity, and the situation of random regressors, but without the assumption of some form of weak depen\-dence of quantities or the fulfillment of ergodic proper\-ties.





%The paper addresses the problem of nonparametric regression, specifically the estimation of the derivative of the regression function when the values of the regression function are observed with random errors at a known set of deterministic or random points (regressors). An extensive literature is devoted to this problem, including methods of kernel smoothing. The paper proves the consistency of a new class of locally linear kernel-type estimates, employing a more general and advantageous condition on the regressors than those previously known. For the regressors it is required only that they asymptotically densely fill the domain of the regression function. This condition encompasses both deterministic regressors (without requiring regularity) and random regressors, without assuming any form of weak dependence or ergodic properties.\medskip

\noindent{\bf Keywords:} nonparametric regression,  nonparametric derivative estima\-tors, kernel estimation, universal local linear estimator,  con\-sis\-tency, fixed design, random design.
 \end{quote}
}

\bigskip

\bigskip


\section{Введение}


Рассматривается следующая модель непараметрической регрессии: даны  наблюдения (отклики) $X_1,\ldots, X_n$, которые  представимы в виде
%\vspace{-0.3cm}
\begin{eqnarray}  \label{1}
 X_i=f({z}_i)+\varepsilon_i,
 \qquad i=1,\ldots,n,
  \end{eqnarray}
 %\vspace{-0.3cm}
 где
   достаточно гладкая  скалярная функция $f({t})$, ${t}\in [0,1]$,
 неизвестна,
 ненаблюдаемые погрешности  $\{\varepsilon_i\}$  являются  центрированными случайными величинами,
  регрессоры     $\{{z}_i\}$  могут быть как случайными, так и детерминированными, их значения нам известны. Таким образом, с точностью до случайных погрешностей  наблюдаются  значения $\{{X}_i\}$ регрессионной функции $f$ в некотором известном наборе ее аргументов $\{{z}_i\}$.
Задача состоит в том, чтобы по заданным  парам  $\{({z}_i,X_i);\, i=1,\ldots, n\}$
оценить производную  $f'$ регрессионной функции~$f$.


Оценивание производной регрессионной функции (наряду с оцениванием самой функции) играет важную роль в анализе (см. подробности, например,  в \cite{2013-BBMG}-%,  \cite{2023-LL}, \cite{2015-WL},  \cite{2019-WYLT},
\cite{2023-CM}).  Решению этой задачи
посвящена обширная литература (см., например, библиографию работы и ссылки в указанных публикациях).
Начиная с 60-х годов, в  непараметрической регрессии широко используются методы ядерного сглаживания. Популярны ядерные оценки  и в задаче оценивания  производных регрессионной функции   (см., например,   недавние публикации  \cite{2007-DR}-%, \cite{2012-LL},  \cite{2013-ZGK},
%\cite{2010-CZ},  \cite{2012-YLL},  \cite{2024-LY},  \cite{2006-BR}, \cite{2020-XSL},
%\cite{2007-LL}, \cite{2017-MSO}, \cite{2019-BCD}, \cite{2012-MS}, \cite{2023-PTY},
-\cite{2022-CCF}, а также более ранние работы   \cite{1987-MSS}-%, \cite{1984-GM},  \cite{1985-HG}, \cite{2001-JM}, \cite{2002-BF}, \cite{1997-FGGBE}, \cite{1989-MM}, \cite{1995-FG},  \cite{1997-MF},
\cite{2001-BF}). Методы ядерного сглаживания относят к одному из основных подходов в задаче оценивания производных регрессионной функции
%, наряду со сглаживанием сплайнами и методами, основанными на разностях
(см., например,
 \cite{2013-BBMG}-%, \cite{2023-LL}, \cite{2015-WL},  \cite{2019-WYLT},
\cite{2023-CM}).



В рассматриваемой задаче непараметрической регрессии  нас интересуют  условия на регрессоры. В известных нам работах, посвященных оцениванию производных регрессионной функции,  модели с детерминированным и случайными регрессорами принято рассматривать отдельно (см., например, \cite{2013-BBMG}-\cite{2005-QT}). Если регрессоры фиксированы, то предполагается  в том или ином смысле регулярное  заполнение этими точками  области задания регрессионной функции (см., например, \cite{2015-WL}, \cite{2010-CZ}, \cite{2024-LY}, \cite{2006-BR},  \cite{1984-GM}, \cite{1985-HG}, \cite{2002-BF},  \cite{2001-BF},  \cite{2016-DTG},  \cite{2016-S}). В ситуации случайных регрессоров либо предполагается, что эти величины    независимы  и  одинаково распределены (\cite{2023-LL}, \cite{2023-CM},  \cite{2013-ZGK},   \cite{2012-YLL},  \cite{2020-XSL},  \cite{2019-BCD}, \cite{2022-CCF},  \cite{1997-FGGBE},
 \cite{1989-MM},    \cite{1995-FG}, \cite{2000-ZW}, \cite{2020-CFF},  \cite{2005-QT}), либо для задания регрессоров  используются те или иные формы слабой зависимости случайных величин  или условия эргодичности (см., например,  \cite{2007-DR}, \cite{2007-LL}, \cite{2017-MSO},  \cite{2012-MS}, \cite{2023-PTY},  \cite{2001-JM}, \cite{1997-MF}).





В работе исследуются  новые универсальные локально-линейные ядерные оценки для производной регрессионной функции, при этом  используется более общее и обладающее рядом преимуществ условие на регрессоры, чем  известные ранее в этой задаче.
В  работе семейство регрессоров представляет собой случайные величины в схеме серий, а в качестве параметра серии выступает объем наблюдений. Последнее позволяет  включить в рассмотрение в качестве частного случая и модели с детерминированными регрессорами. Доказана состоятельность новых универсальных локально-линейных ядерных оценок для производной регрессионной функции. При этом  относительно набора регрессоров требуется лишь, чтобы эти величины с высокой вероятностью образовывали измельчающееся разбиение области задания регрессионной функции. Данное  условие в терминах плотных данных   является по существу необходимым для восстановления регрессионной функции и ее производных. Оно универсально относительно природы корреляции регрессоров и позволяет в едином подходе рассматривать модели с детерминированными и случайными регрессорами, при этом  без требования регулярности или слабой зависимости,
%Подчеркнем, что  предлагаемое  простое условие  позволяет оценивать интересующую нас функцию без использования информации о характере зависимости регрессоров,
что особенно важно для   приложений.

Отметим, что исследовать   новые универсальные ядерные оценки   при близких к минимальным   ограни\-че\-ниях  на регрессоры  во многом удается  благодаря специальной структуре этих  оценок, содержащей конструкции сумм определенным образом взвешенных наблюдений со структурой интегральных сумм Римана.
Конструкции  интегральных сумм открывают возможность   исследовать асимптотические свойства  оценок
за счет  близости интегральных сумм и соответствующих  интегралов, а не предельных теорем теории вероятностей.



Ранее близкие условия в терминах плотных данных были предложены в
\cite{2020}-\cite{2023-4} в задаче оценивания регрессионной функции, а также  функций среднего и ковариации непрерывного случайного процесса.  На первый взгляд в случае, когда известна некоторая оценка для регрессионной функции, имеется  простейший путь получения оценки для производной этой  функции, состоящий в дифференцировании оценки для самой функции. Но  такой вариант оценивания  годится, по-видимому,  только в исключительных случаях, и не гарантирует <<хорошей>> оценки для производной даже в случае,  когда регрессионная функция оценена <<очень хорошо>> (см. комментарии, например,   в  \cite{2013-BBMG}, \cite{2007-NE}). Так что указанный простейший путь не решает поставленной задачи в достаточно широких условиях.


%Мы полагаем, что рассматриваемое в работе  условие на регрессоры достаточно и для справедливости других свойств изучаемой универсальной локально-линейной ядерной оценки (например, асимптотической нормальности, равномерной состоятельности). Кроме того, аналогичные результаты могут быть получены как  в случае регрессионной функции нескольких переменных, так и производных более высоких порядков. Некоторые из этих результатов планируются к рассмотрению в других работах авторов.
%Отметим, что исследовать   новые универсальные ядерные оценки   при близких к минимальным   ограни\-че\-ниях  на регрессоры (условиях плотного заполнения)   во многом удается  благодаря специальной структуре оценок, содержащей конструкции сумм определенным образом взвешенных наблюдений со структурой интегральных сумм Римана.
%Конструкции  интегральных сумм открывают возможность   исследовать асимптотические свойства  оценок
%за счет  близости интегральных сумм и соответствующих  интегралов, а не предельных теорем теории вероятностей.

Работа устроена следующим образом: в разделе 2 приведен основной результат, доказательство которого отнесено в раздел 3.


\bigskip

\section{Основной  результат}



Нам потребуется ряд условий на параметры модели.

$({\bf M})$ Даны двумерные наблюдения $\{(z_i,X_i);\, i=1,\ldots,n\}$, представимые в виде
 \begin{equation}  \label{2f2}
 X_i=f(z_i)+\varepsilon_i,
 \qquad i=1,\ldots,n,
 \end{equation}
 где $f(t)$ --- неизвестная заданная   на  $[0,1]$  непрерывно дифференцируемая скалярная функция, случайные погрешности $\{\varepsilon_i;\,i=1,\ldots,n\}$ ненаблюдаемы, набор регрессоров   $\{z_i;\,i=1,\ldots,n\}$ состоит из случайных величин, вообще говоря,  с неизвестными распределениями, не обязательно независимых или одинаково распределенных. Предполагается, что  случайные величины
 $\{z_i;\,i=1,\ldots,n\}$  могут зависеть от  $n$.

\begin{proposition}\label{rem1}
{\rm
Условие $(M)$ включает в себя и ситуацию фиксированных регрессоров.  Отрезок  $[0,1]$ в качестве области изменения регрессоров мы рассматриваем  исключительно с целью простоты изложения.
}
\end{proposition}

$({\bf E})$ При всех $n\geq 1$  случайные погрешности  $\{\varepsilon_i;\,i=1,\ldots,n\}$ с вероятностью $1$ при всех $i,j\le n$, $i\neq j$, удовлетворяют следующим условиям:
\begin{equation}\label{w2}
 {\mathbb E}_{{\mathcal F}_n}\varepsilon_i=0,\qquad
 \sup_{i\leq n}{\mathbb E}_{{\mathcal F}_n}\varepsilon^2_i\le \sigma^2,
\qquad {\mathbb E}_{{\mathcal F}_n}\varepsilon_i\varepsilon_j= 0,
\end{equation}
  где константа $\sigma^2>0$ неизвестна и не зависит от $n$, а символ ${\mathbb E}_{{\mathcal F}_n}$ обозначает условное математическое ожидание при фиксации  $\sigma$-алгебры ${\mathcal F}_n$, порожденной случайными величинами  $\{{ z}_{i}; \,i=1,\ldots,n\}$.


$({\bf K})$ Ядерная функция  $K( t)$,  ${t}\in \mathbb R$, является плотностью симметричного распределения с носителем $[-1,1]$, т.е.
$K(t)\ge 0 $, $K(t)=K(-t)$ при всех  $t\in [-1,1]$ и  $\int\nolimits_{[-1,1]} K(t) d{ t} =1$.
Кроме того,  ядерная  функция  $K(t)$ удовлетворяет условию Липшица всюду на $\mathbb R$ с константой $L\ge 1$.
% и $K(\pm 1)=0$.


При некотором $h>0$ положим
$K_{h}(t)=h^{-1} K(h^{-1}t).$ Понятно, что при выполнении условия $(K)$ функция $K_{h}(t)$ является плотностью распределения  на  $[-h,h]$.

Обозначим через  $z_{n:1}\leq \ldots\leq z_{n:n}$ элементы вариационного ряда, построенного по выборке регрессоров  $\{z_i;\,i=1,\ldots, n\}$.
Положим
 $$z_{n:0}=0,\quad z_{n:n+1}=1,  \quad \Delta z_{ni}=z_{n:i}-z_{n:i-1}, \quad i=1,\ldots,n+1.$$
Отклики
из  (\ref{2f2}),
ассоциированный с порядковой статистикой $z_{n:i}$,
 обозначим   через~$X_{ni}$.

Условимся, что  все  пределы %, если не оговорено иное,
  берутся при  $n\to\infty$. Относительно регрессоров нам потребуется  следующее условие, которое %подробнее
обсудим далее, в замечании \ref{rem-R}.

$({\bf R})$
Имеет место предельное соотношение
$\delta_n\equiv\max\nolimits_{1\leq i\le n+1}\Delta z_{ni}\stackrel{p}{\to} 0$.



Наконец, для любого $h\in (0,1)$
введем в рассмотрение следующий класс оценок для производной регрессионной функции $f$:
\begin{eqnarray}\label{est}
\widehat f_{n,h}'(t)=
\sum_{i=1}^n\frac{w_{n0}(t)(z_{n:i}-t)+w_{n1}(t)}{w_{n0}(t)w_{n2}(t)-w_{n1}^2(t)}X_{ni}K_{h}(t-z_{n:i})\Delta z_{ni},
\end{eqnarray}
где \begin{equation}\label{w}
w_{nj}(t)=\sum_{i=1}^n(t-z_{n:i})^jK_{h}(t-z_{n:i})\Delta z_{ni}, \quad j=0,1,2.
\end{equation}


\begin{proposition}{\rm
Нетрудно проверить, что  ядерная  оценка (\ref{est}) является второй  координатой
двумерной точки, на которой
достигается  минимум
\begin{eqnarray}\label{est2}
\min\limits_{(a,b)}
\sum_{i=1}^n\left(X_{ni}-a-b(z_{n:i}-t)\right)^2K_{h}(t-z_{n:i})\Delta z_{ni}.
\end{eqnarray}
Таким образом, предлагаемый класс оценок в известном смысле   близок к  классической локально--линейной   оценке для производной, но во взвешенном методе наименьших квадратов
  используются  несколько иные  веса, определяемые   порядковыми статистиками, построенными по набору регрессоров, а  вместо исходных наблюдений  $X_{i}$ участвуют наблюдения $X_{ni}$, ассоциированные с соответствующими  порядковыми статистиками.
}
\end{proposition}



\begin{proposition}
{\rm
Ядерная оценка для регрессионной функции $f$, определяемая как  первая   координата  двумерной точки,  на которой достигается минимум в (\ref{est2}), была введена и исследована в \cite{2022-2}, но лишь в предположении непрерывности функции $f$. Как мы уже отмечали во введении, оценка для регрессионной функции не позволяет получить оценку для производной регрессионной функции в достаточно широких условиях.
}
\end{proposition}
\begin{proposition}
{\rm
В случае, когда в наборе $\{z_i;\, i=1,\ldots,n\}$ имеются кратные точки, некоторые спейсинги $\Delta z_{ni}$ обращаются в ноль, и мы теряем часть выборочной информации в оценке~$\widehat f'_{n,h}(t)$, определенной в  (\ref{est}).
В этом случае предлагается прежде, чем использовать оценку (\ref{est}), несколько сократить выборку. А именно,  заменить наблюдения $X_i$ с одинаковыми точками $z_i$  их средним арифметическим  и оставить в новой  выборке лишь одну точку  из кратных.
В этом случае  усредненные наблюдения будут иметь меньшее зашумление, так что, несмотря на меньший объем новой выборки, мы в известной мере не теряем информацию, содержащуюся в исходной выборке.
}
 \end{proposition}

Основной результат  состоит в следующем.


\begin{theorem}\label{theor-1}
Пусть  выполнены  условия  $(M)$,    $(E)$,    $(K)$ и $(R)$ и последовательность положительных чисел $h=h_n\to 0$  такова, что
\begin{equation}\label{th-delta}
 {\mathbb E}\delta_n/h^3\to 0, \qquad {\mathbb E}\delta_n^2/h^4\to 0.
  \end{equation}
 Тогда для любого фиксированного $t$  имеет место предельное соотношение
$$
\widehat f_{n,h}'(t)\stackrel{p}{\to}f'(t).
$$
\end{theorem}
\begin{proposition}
{\rm
 Приведенные в  теореме \ref{theor-1} достаточные условия (\ref{th-delta})
     позволяют в тех или иных ситуациях  оценить порядок скорости сходимости. Например, в случае так называемого эквидистантного плана (т.е.  $z_i=i/n$,  $i=1, ... , n$) выполнено $\delta_n = 1/n$. Поэтому условие (\ref{th-delta}) гарантируется соотношением  $nh^3 \to \infty$, что совпадает с порядками сходимости оценок для производных, полученными другими способами (см. \cite{2010-CZ}, \cite{1986-N}).
     Также нетрудно видеть, что  сходимость ${\mathbb E}\delta_n^2/h^6\to 0$
гарантирует выполнение обоих  условий в (\ref{th-delta}), поскольку
${\mathbb E}\delta_n/h^3\leq \big({\mathbb E}\delta_n^2/h^6\big)^{1/2}$.
}
\end{proposition}

\begin{proposition}\label{rem-R}
{\rm
Таким образом, единственное условие $(R)$ на регрессоры, обеспечивающее  поточечную состоятельность новой локально--линейной оценки для производной регрессионной функции,  состоит в следующем: регрессоры с высокой вероятностью образуют измельчающееся разбиение области задания регрессионной функции,
 диаметр которого стремится к нулю по вероятности c увеличением объема выборки. На наш взгляд, условие  $(R)$ весьма наглядно и  по сути является  необходимым для восстановления как регрессионной функции, так и ее производных.
 Очевидно, что неслучайные регрессоры, регулярно запол\-ня\-ющие $[0,1]$,  удовлетворяют условию~$(R)$. Если $\{z_i\}$ независимы и одинаково распределены, а отрезок $[0,1]$ является  носителем их общего распределения,
  то условие  $(R)$ также выполнено.
Если $\{z_i\}$ --- стационарная последовательность с условием  $\alpha$-перемешивания и маргинальным распределением с носителем  $[0,1]$, то
условие $(R)$ также выполнено.
Все другие известные в литературе формы слабой зависимости  регрессоров также влекут за собой условие вида $(R)$.
Но выполнение этого условия вполне возможно и для других типов зависимости,  которая  может быть более сильной, нежели классические условия слабой зависимости
(например, когда не выполнены предельные теоремы типа законов больших чисел,  см.  подробности и примеры  в \cite{2020}-\cite{2023-4}).
}
\end{proposition}




\section{Доказательство теоремы \ref{theor-1}}


 Всюду далее в этом разделе считаем,  что выполнены условия теоремы~\ref{theor-1}.
  Введем следующие обозначения:
\begin{equation}\label{alpha}
\beta_{n,i}(t)=\frac{(z_{n:i}-t)w_{n0}(t)+w_{n1}(t)}{w_{n0}(t)w_{n2}(t)-w_{n1}^2(t)},
\end{equation}
\begin{eqnarray}\label{r}
 r_{n,h}(t)=\sum_{i=1}^n\beta_{n,i}(t)\big(f(z_{n:i})-f(t)-f'(t)(z_{n:i}-t)\big)K_{h}(t-z_{n:i})\Delta z_{ni},
\end{eqnarray}
\begin{eqnarray}\label{nu}
  \nu_{n,h}(t)=\sum_{i=1}^n\beta_{n,i}(t)K_{h}(t-z_{n:i})\Delta z_{ni}\varepsilon_{ni},
\end{eqnarray}
где через     $\{\varepsilon_{ni}\}$ обозначены   погрешности,  ассоциированные с   порядковыми статистиками~$\{z_{n:i}\}$.


Нам потребуется ряд вспомогательных утверждений. Справедлива
\begin{lemma}\label{lem-1}
Имеет место представление
$$
\widehat f_{n,h}'(t)=f'(t)+ r_{n,h}(t)+ \nu_{n,h}(t).
$$
\end{lemma}
\begin{proof}  Заметим прежде всего, что с учетом определений (\ref{est}), (\ref{w}) и  (\ref{alpha}), справедливы тождества
\begin{eqnarray*}\label{tozd}
\widehat f_{n,h}'(t)\equiv\sum\limits_{i=1}^n \beta_{n,i}X_{ni}K_{h}(t-z_{n:i})\Delta z_{ni}, \\
\sum_{i=1}^n\beta_{n,i}(t)K_{h}(t-z_{n:i})(z_{n:i}-t)\Delta z_{ni}\equiv 1,\\ \sum_{i=1}^n\beta_{n,i}(t)K_{h}(t-z_{n:i})\Delta z_{ni}\equiv 0.
\end{eqnarray*}
Принимая во внимание соотношение $$X_{ni}=f(z_{n:i})+\varepsilon_{ni},\qquad  i=1,\ldots,n,
$$
утверждение леммы следует из указанных тождеств и определений (\ref{r}) и  (\ref{nu}).
\end{proof}

\begin{proposition}\label{zam-sum}
{\rm
 Положим
\begin{equation*}\label{A}
A_{n,h}(t)=\{i:\,|t-z_{n:i}|\le h, 1\le i\le n\}.
\end{equation*}
Подчеркнем, что ввиду свойств  плотности $K_h(\cdot)$, область суммирования в (\ref{r}) и (\ref{nu}), а также %во всех  суммах, определяющих величины $w_{nj}(t)$
в  (\ref{w}),  совпадает с множеством  $A_{n,h}(t)%=\{i:\,|t-z_{n:i}|\le h, 1\le i\le n\}
$. Отмеченный факт  является принципиальным  для дальнейшего анализа. Условимся далее использовать символ $\sum$ без индексов только  в случае, когда суммирование ведется по  множеству индексов $i\in A_{n,h}(t)$.
}
\end{proposition}








Положим
\begin{equation}\label{czv}
c_*\equiv c_*(K)=\frac{\kappa_2-\kappa^2_1}{96
L(6L+\kappa_2+\kappa_1/2)}<\frac{1}{864L},
\end{equation}
где   символ $\kappa_j$,  $j=1,2$,  обозначает
$j$-й абсолютный момент распределения с плотностью $K(t)$:
\begin{equation*}%\label{Lkap}
\kappa_j= \int\nolimits_{-1}^1|u|^jK(u)du.
\end{equation*}
Легко видеть, что силу четности ядра $K$ разность $\kappa_2-\kappa^2_1$ представляет собой дисперсию невырожденного распределения, тем самым  она строго положительна. При выводе оценки  в (\ref{czv}) мы учли, что $c^*<\kappa_2/(96L\cdot6L)$, при этом  $\kappa_2\leq 2L/3$.

Нам потребуется следующее вспомогательная лемма, которая является частным случаем леммы 1 в  \cite{2022-2}. Отметим, что в основе этого утверждения лежит близость между интегральными суммами Римана и соответствующими интегралами.


    \begin{lemma}\label{lem-2}
        При  $h<1/2$ на подмножестве  элементарных исходов, определяемых соотношением  $\delta_n\leq c_*h$, справедливы  неравенства
        \begin{gather}
        \label{LL15}
        \sup\limits_{t\in [0,1]}|w_{nj}(t)|\le 3Lh^j,\quad
          j=0,1,2,\\
        \label{LL16}
        \inf\limits_{t\in [0,1]}(w_{n0}(t)w_{n2}(t)-w_{n1}^2(t))\ge \frac{1}{8}(\kappa_2-\kappa^2_1)h^{2}.
        \end{gather}
    \end{lemma}
\begin{proof}
    Это утверждение доказано в \cite{2022-2} (см. лемму 1).
\end{proof}

Обозначим через $\omega_{f^\prime}(h)$   модуль непрерывности функции $f'$, т.е.
$$\omega_{f^\prime}(h)=\sup \limits_{x, y \in [0;1]:|x-y| \leq h} |f^\prime(x) - f^\prime(y)|.
$$
Справедливы также следующие два утверждения.

\begin{lemma}\label{lem-3}
 Для любого положительного $h<1/2$ на подмножестве  элементарных исходов, определяемых соотношением  $\delta_n\leq c_*h$, имеет место  оценка
\begin{eqnarray*}
|  r_{n,h}(t)|\le \omega_{f^\prime}(h) \frac{144L^2}{\kappa_2-\kappa^2_1}.
\end{eqnarray*}
\end{lemma}

\begin{proof}
            По теореме Лагранжа о среднем значении,  для любого $i\in A_{n,h}$ выполнено
            \begin{gather*}\label{Delt}
            f(z_{n:i}) - f(t) = f^\prime(\xi_i)(z_{n:i} - t), \\
            \quad \xi_i \in [\min\{z_{n:i},t\}, \;\max\{z_{n:i},t\}],\quad |\xi_i-t|\leq h.
            \end{gather*}
                        Кроме того, имеют место  оценки
            \begin{gather}\label{SD}
                        \sum  \Delta z_{ni} \leq (2h + \delta_n) \leq 3h, \qquad K_h(t-z_{n:i})   \leq{L}{h^{-1}},
                        \end{gather}
            где в первом случае  мы учли, что $\delta_n\leq c_*h$ и $c_*<1$.
            Следовательно, с учетом определений  (\ref{r}),  (\ref{alpha}), (\ref{w}), замечания \ref{zam-sum} и утверждений леммы~\ref{lem-2}, справедлива следующая  цепочка соотношений:
            \begin{gather*}
                |r_{n,h}(t)| = \Big|\sum
                \beta_{n,i}(t)(f^\prime(\xi_i) - f^\prime(t))(z_{n:i} - t)K_h(t - z_{n:i})\Delta z_{ni}\Big| \leq\\
                               \leq w_{f^\prime}(h) \sum%_{i:A_{n,h}(t)}
                |\beta_{n,i}(t)(z_{n:i} - t)|K_h(t - z_{n:i})\Delta z_{ni}
    \leq\\
                                \leq \frac{w_{f^\prime}(h)}{w_{n0}(t)w_{n2}(t) - w_{n1}^2(t)}\Big(w_{n0}(t)w_{n2}(t) +\\+ |w_{n1}(t)| \sum |z_{n:i} -t| K_h(t - z_{n:i})\Delta z_{ni}\Big)\leq \\
                \leq \frac{w_{f^\prime}(h)}{8^{-1}(\kappa_2-\kappa^2_1)h^{2}}(3L\cdot3Lh^2 + 3Lh \cdot h \cdot {L}{h^{-1}} \cdot 3h) = w_{f^\prime}(h) \frac{144L^2}{\kappa_2-\kappa^2_1}.
            \end{gather*}
            При выводе этого соотношения, которое и доказывает лемму,  мы также учли, что $w_{n0}(t)w_{n2}(t) - w_{n1}^2(t)\geq 0$ в силу неравенства Коши-Буняков\-ского.
\end{proof}
%
%\begin{proposition} Просматривая доказательство леммы нетрудно видеть, что имеет место и более сильное утверждение, когда в левой части утверждения леммы  участвует величина  $\sup_{t\in [0,1]}|r_{n,h}(t)|$.
%\end{proposition}


\begin{lemma}\label{lem-4}
 При $h<1/2$ на подмножестве элементарных исходов, определяемых соотношением  %$\delta_n<h$
  $\delta_n\leq c_*h$, для любого $\varepsilon>0$
  имеет место  оценка
\begin{eqnarray*}
{\mathbb P}_{{\mathcal F}_n} (|\nu_{n,h}(t)|>\varepsilon)\le
 \frac{4608 \  L^4\sigma^2 }{ (\kappa_1^2 - \kappa_2)^2\varepsilon^2}\left(\frac{\delta_n}{h^3}+\frac{\delta_n^2}{h^4}\right),
 \end{eqnarray*}
где символ  ${\mathbb P}_{{\mathcal F}_n}$  обозначает условную вероятность при фиксации  $\sigma$-ал\-геб\-ры~${\mathcal F}_n$, введенной в условии $(E)$.
\end{lemma}

\begin{proof} Оценим величину  $\mathbb{E}_{\mathcal{F}_n} \nu^2_{n,h}(t)$ и воспользуемся затем неравенством \begin{gather}\label{EF}
                \mathbb{P}_{\mathcal{F}_n}(|\nu_{n,h}(t)| \geq \varepsilon) \leq \varepsilon^{-2} {\mathbb{E}_{\mathcal{F}_n} \nu^2_{n,h}(t)}.
            \end{gather}
              Нетрудно видеть,  что   погрешности $\{\varepsilon_{ni}\}$, ассоциированные с порядковыми статистиками $\{z_{n:i}\}$, удовлетворяют соотношениям (\ref{w2}) из условия~$(E)$. Следовательно, с учетом определения (\ref{nu}), выполнено
            \begin{gather}
                \mathbb{E}_{\mathcal{F}_n} \nu^2_{n,h}(t) = \mathbb{E}_{\mathcal{F}_n} \Big(\sum\beta_{n,i}(t)K_h(t - z_{n:i})\Delta z_{ni}\varepsilon_{ni}\Big)^2 \leq \nonumber\\\sigma^2 \sum\beta^2_{n,i}(t)K^2_h(t - z_{n:i})(\Delta z_{ni})^2
                \leq \nonumber\\ \leq 2\sigma^2 \delta_n \sum \frac{w_{n0}^2(t)(z_{n:i} - t)^2 + w_{n1}^2(t)}{\big(w_{n0}(t)w_{n2}(t) - w^2_{n1}(t)\big)^2}K^2_h(t - z_{n:i})\Delta z_{ni}\leq \nonumber\\
                \leq  \frac{2304 \  L^2\sigma^2\delta_n }{ (\kappa_1^2 - \kappa_2)^2h^2} \sum K^2_h(t - z_{n:i})\Delta z_{ni}. \label{EF2}
            \end{gather}
                        При выводе этой оценки мы воспользовались также определением (\ref{alpha}),    утверждениями леммы \ref{lem-2}, замечания \ref{zam-sum} и элементарным неравенством $(a + b)^2 \leq 2a^2 + 2b^2$.
            Остается оценить  сумму $\sum  K^2_h(t - z_{n:i}) \Delta z_{ni}$, в которой суммирование, с учетом замечания \ref{zam-sum},  ведется по множеству индексов ${i: |z_{n:i} - t|\leq h}$. Отметим, что в силу условия $(K)$  выполнено   $\sup\nolimits_{y\in[-1,1]}K(y)\leq L$, а потому  с учетом  первого соотношения  в (\ref{SD}), имеем
            \begin{gather*}
                \sum K^2_h(t - z_{n:i}) \Delta z_{ni} = \frac{1}{h^2}
                \sum K^2\left(\frac{t - z_{n:i}}{h}\right) \Delta z_{ni}\leq \\ \leq \frac{L^2}{h^2}\sum \Delta z_{ni}\leq \frac{L^2}{h^2}(2h+\delta_n).
            \end{gather*}
Эта оценка вместе с (\ref{EF2}) и (\ref{EF}) доказывает утверждение леммы.
\end{proof}


\begin{lemma}\label{lem-5}
 В условиях теоремы~{\rm\ref{theor-1}}
 имеют место  предельные соотношения
\begin{eqnarray*}
  r_{n,h}(t)\stackrel{p}{\to}0, \qquad \nu_{n,h}(t)\stackrel{p}{\to}0.
\end{eqnarray*}
\end{lemma}
\begin{proof}
 В силу неравенства Маркова с первым моментом и утверждения леммы  \ref{lem-3}, для любого фиксированного $\varepsilon>0$ выполнено
\begin{gather*}
  {\mathbb P}(|r_{n,h}(t)|>\varepsilon)={\mathbb P}(|r_{n,h}(t)|>\varepsilon,\;\delta_n\leq  c_*h)+{\mathbb P}(|r_{n,h}(t)|>\varepsilon,\;\delta_n>  c_*h)\leq \\
  \leq {\mathbb P}(c\;w_{f^\prime}(h)>\varepsilon)+{\mathbb P}(\delta_n>  c_*h)\leq  {\mathbb P}(c\;w_{f^\prime}(h)>\varepsilon)+(c_*h)^{-1}{\mathbb E}\delta_n,
\end{gather*}
где $c=144 L^2(\kappa_2-\kappa^2_1)^{-1}$. Но поскольку $h\to 0$ c ростом $n$, то начиная с некоторого  $n$ выполнено ${\mathbb P}(cw_{f^\prime}(h)>\varepsilon)=0$, а соотношение ${\mathbb E}\delta_n/h\to~0$ следует из (\ref{th-delta}). Отмеченные факты вместе с приведенной оценкой  доказывают первое утверждение леммы.

 Аналогично вышесказанному, c учетом леммы \ref{lem-4} для любого фиксированного $\varepsilon>0$ справедливо соотношение
\begin{gather*}
  {\mathbb P}(|\nu_{n,h}(t)|>\varepsilon)={\mathbb P}(|\nu_{n,h}(t)|>\varepsilon,\;\delta_n\leq  c_*h)+{\mathbb P}(|\nu_{n,h}(t)|>\varepsilon,\;\delta_n>  c_*h)\leq \\
  \leq {\mathbb E}\big(I(\delta_n\leq  c_*h){\mathbb P}_{{\mathcal F}_n}(|\nu_{n,h}(t)|>\varepsilon)\big)+{\mathbb P}(\delta_n>  c_*h)\leq \\ \leq
   \frac{4608 \  L^4\sigma^2 }{ (\kappa_1^2 - \kappa_2)^2\varepsilon^2}\left(\frac{\mathbb{E} \delta_n}{h^3}+\frac{\mathbb{E} \delta_n^2}{h^4}\right)+\frac{{\mathbb E}\delta_n}{c_*h},
\end{gather*}
где $I(\cdot)$ --- индикаторная функция. Второе утверждение леммы следует теперь из  условия (\ref{th-delta}).
\end{proof}

Для завершения доказательства теоремы~\ref{theor-1} нам остается воспользоваться леммами   \ref{lem-1} и   \ref{lem-5}. Теорема доказана.






\bigskip
\begin{thebibliography}{1} % Ссылки на литературу приводятся только на английском языке (даже если у источника нет англоязычной версии).


\bibitem{2013-BBMG}
De Brabanter K., De Brabanter J., De Moor B., Gijbels I. \href{https://dl.acm.org/doi/abs/10.5555/2567709.2502590 }
 {\it Derivative estimation with local polynomial fitting},
J. Mach. Learn. Res., {\bf 14} (2013), 281--301.


\bibitem{2023-LL}
Liu Z., Li M. \href{https://dl.acm.org/doi/abs/10.5555/3648699.3648965 }
{\it On the estimation of derivatives using plug-in kernel ridge regression estimators}, J. Mach. Learn. Res., {\bf 24} (2023), 1--37.

\bibitem{2015-WL}
Wang W. W., Lin L. \href{https://dl.acm.org/doi/10.5555/2789272.2912083 }
{\it Derivative estimation based on difference sequence via locally weighted least squares regression},  J. Mach. Learn. Res., {\bf 16} (2015),  2617--2641.

\bibitem{2019-WYLT}
Wang W., Yu P., Lin L.,  Tong T. \href{https://dl.acm.org/doi/10.5555/3322706.3362001 }
{\it  Robust estimation of derivatives using locally weighted least absolute deviation regression},  J. Mach. Learn. Res., {\bf 20} (2019),  1--49.

\bibitem{2023-CM}
Comte F., Marie N. \href{https://doi.org/10.1080/10485252.2023.2209198 }
{\it On a projection estimator of the regression function derivative},  J. Nonparametr. Stat., {\bf 35}  (2023),  773--819.

\bibitem{2007-DR}
 Delecroix M.,  Rosa A.C. \href{https://doi.org/10.1080/10485259608832682 }
 {\it Nonparametric estimation of a regression function and its derivatives
under an ergodic hypothesis},  J. Nonparametr. Stat., {\bf 6}  (2007), 367--382.



\bibitem{2012-LL}
Li D., Lu Z., Linton O. \href{http://www.jstor.org/stable/23271468 }
{\it  Local linear fitting under near epoch dependence: uniform consistency with convergence rates}, Econometric Theory, {\bf 28} (2012),  935--958.


\bibitem{2013-ZGK}
Zheng Q., Gallagher C., Kulasekera K. B. \href{https://doi.org/10.1080/10485252.2013.813511 }
{\it Adaptively weighted kernel regression},   J. Nonparametr. Stat., {\bf 25}, (2013),  855--872.


\bibitem{2010-CZ}
Chen, J., Zhang, L.X. \href{https://doi.org/10.1007/s00184-009-0233-8 }
{\it Local linear M-estimation for spatial processes in fixed-design models},  Metrika, {\bf 71} (2010),  319--340.


\bibitem{2012-YLL}
Yao W., Lindsay B. G., Li R. \href{https://doi.org/10.1080/10485252.2012.678848 }
{\it Local modal regression},   J. Nonparametr. Stat., {\bf 24} (2012),  647--663.






\bibitem{2024-LY}
Liu S., Yang J.  \href{https://doi.org/10.1007/s00184-023-00901-9 }
{\it Kernel regression for estimating regression function and its derivatives with unknown error correlations}, Metrika, {\bf 87} (2024),  1--20.


\bibitem{2006-BR}
Boente G., Rodriguez D. \href{https://doi.org/10.1016/j.spl.2006.01.011 }
{\it Robust estimators of high order derivatives of regression functions}, Statist.  Probab. Lett., {\bf 76}, 1335--1344.







\bibitem{2020-XSL}
Xie Q., Sun Q., Liu J. \href{https://doi.org/10.1080/07474938.2019.1580947 }
{\it  Local weighted composite quantile estimation and smoothing parameter selection for nonparametric derivative function},   Econom. Rev., {\bf 39}, (2020), 215--233.

\bibitem{2007-LL}
Lu Z., Linton O. \href{http://www.jstor.org/stable/23271468 }
{\it Local linear fitting under near epoch dependence}, Econom. Theory, {\bf 23}, 37--70.

\bibitem{2017-MSO}
El Machkouri M., Es-Sebaiy K., Ouassou I. \href{https://doi.org/10.1016/j.jmva.2017.02.002}
{\it On local linear regression for strongly mixing random fields}, 	J. Multivar. Anal., {\bf 156}  (2017),  103--115.

\bibitem{2019-BCD}
Bercu B., Capderou S., Durrieu G. \href{https://doi.org/10.1007/s11203-017-9169-1 }
{\it Nonparametric recursive estimation of the derivative of the regression function with application to sea shores water quality},  Stat. Inference Stoch. Process, {\bf 22} (2019),  17--40.







\bibitem{2012-MS}
Martins-Filho C., Saraiva P. \href{https://doi.org/10.1080/03610926.2010.535632 }
{\it On asymptotic normality of the local polynomial regression estimator with stochastic bandwidths},   Commun. Stat. Theory Methods, {\bf 41} (2012), 1052--1068.

\bibitem{2023-PTY}
Prasangika K. D.,  W Tang W.,  Yao Z.  \href{https://doi.org/10.1080/03610926.2021.1927096 }
{\it Double smoothing local linear estimation in nonlinear time series},  Commun. Stat. Theory Methods, {\bf 52} (2023),  1385--1399.


\bibitem{2022-CCF}
Calonico S., Cattaneo M. D., Farrell M. H. \href{https://doi.org/10.3150/21-BEJ1445}
{\it Coverage error optimal confidence intervals for local polynomial regression},  Bernoulli, {\bf 28} (2022),  2998--3022.


\bibitem{1987-MSS}
Muller H.-G., Stadtmuller U.,  Schmitt T. \href{https://doi.org/10.2307/2336468 }
{\it Bandwidth choice and confidence intervals for derivatives of noisy data},   Biometrika, {\bf 74} (1987), 743--749.






\bibitem{1984-GM}
 Gasser T.,  Muller H.-G. \href{https://www.jstor.org/stable/4615954 }
{\it Estimating regression functions and their derivatives by the kernel method},
  Scand. J. Statist.,
 %Scandinavian Journal of Statistics.
  {\bf 11} (1984), 171--185.


\bibitem{1985-HG}
 Hardle W.,  Gasser T. \href{https://www.jstor.org/stable/4615992 }
{\it On robust kernel estimation of derivatives of regression functions},  Scand.
J. Statist., {\bf 12}  (1985), 233--240.




\bibitem{2001-JM}
 Jiang J.,  Mack Y.~P. \href{https://www.jstor.org/stable/24306842 }
{\it Robust local polynomial regression for dependent data},
 Stat. Sin., {\bf 11} (2001), 705-722.






\bibitem{2002-BF}
Beran, J., Feng, Y. \href{https://doi.org/10.1023/A:1022469818068 }
{\it Local polynomial fitting with long-memory, short-memory and antipersistent errors},  	Ann. Inst. Stat. Math.,
%Annals of the Institute of Statistical Mathematics
 {\bf 54} (2002), 291--311.





\bibitem{1997-FGGBE}
Fan J., Gasser T.,  Gijbels I.,  Brockmann M.,  Engel J.  \href{https://doi.org/10.1023/A:1003162622169 }
{\it   Local polynomial regression: optimal kernels and asymptotic minimax efficiency},   Ann.  Inst. Stat. Math., %Annals of the Institute of Statistical Mathematics.
{\bf 49} (1997), 79--99.


\bibitem{1989-MM}
Mack Y. P.,  Muller H.-G.  \href{https://www.jstor.org/stable/25050723 }
{\it Derivative estimation in nonparametric regression with random predictor variable},   Sankhya Indian J. Stat. Ser. A, {\bf 51} (1989), 59--72.


\bibitem{1995-FG}
Fan J., Gijbels I. \href{https://www.jstor.org/stable/2345968 }
{\it  Data-driven bandwidth selection in local polynomial fitting: variable bandwidth and spatial adaptation},   J. R. Stat. Soc. (Series B), {\bf 57} (1995), 371--394.



\bibitem{1997-MF}
Masry E.,  Fan J. \href{https://www.jstor.org/stable/4616446 }
{\it  Local polynomial estimation of regression functions for mixing processes},   Scand. Stat. Theory Appl, {\bf 24} (1997), 165--179.

\bibitem{2001-BF}
Beran J.,  Feng Y.  \href{https://doi.org/10.2307/3318539 }
{\it Local polynomial estimation with a FARIMA-GARCH error process},   Bernoulli, {\bf 7} (2001), 733--750.






\bibitem{2007-NE}
 Newell J.,  Einbeck J. \href{https://durham-repository.worktribe.com/output/1162045 }
{\it  A comparative study of nonparametric derivative estimators}. Proc. of the
22nd International Workshop on Statistical Modelling, (2007), 453--456.




\bibitem{2000-ZW}
Zhou S., Wolfe D. A. \href{https://www.jstor.org/stable/24306706 }
{\it On derivative estimation in spline regression},  Statistica Sinica, {\bf 10} (2000), 93--108.

\bibitem{2020-CFF}
Cattaneo M. D., Farrell M. H., Feng Y. \href{https://doi.org/10.1214/19-AOS1865 }
{\it Large sample properties of partitioning-based series estimators},  	Ann. Stat., {\bf 48} (2020), 1718--1741.

\bibitem{2016-DTG}
 Dai W.,   Tong T.,  Genton  M.G. \href{https://dl.acm.org/doi/10.5555/2946645.3053446 }
{\it Optimal estimation of derivatives in nonparametric regression},  J. Mach. Learn. Res., {\bf 17} (2016), 1--25.

\bibitem{2020-LB}
Liu Y., De Brabanter K. \href{https://dl.acm.org/doi/abs/10.5555/3455716.3455781 }
{\it  Smoothed nonparametric derivative estimation using weighted difference quotients},   J. Mach. Learn. Res., {\bf 21} (2020), 1--45.


\bibitem{2016-S}
Song Q. \href{https://doi.org/10.1080/03610926.2013.830749 }
{\it Non parametric derivative estimation with confidence bands},   Commun. Stat. Theory Methods, {\bf 45} (2016),  277--290.





\bibitem{2005-QT}
Qin G., Tsao M. \href{https://doi.org/10.3150/bj/1126126766 }
{\it Empirical likelihood based inference for the derivative of the nonparametric regression function},  Bernoulli, {\bf 11} (2005), 715--735.


\bibitem{2020}
Borisov I.S., Linke Yu.Yu., Ruzankin P.S.   \href{https://doi.org/10.1007/s00184-020-00768-0}
{\it Universal weighted kernel-type estimators for some class of regression models},   Metrika,  {\bf 84}  (2021), 141--166.


\bibitem{2022-2}
Linke Y., Borisov I., Ruzankin P., Kutsenko V., Yarovaya E., Shalnova~S.
 \href{https://doi.org/10.3390/math10152693}
 {\it Universal local linear kernel estimators in nonparametric regression},  Mathematics, {\bf 10} (2022),  2693.

\bibitem{2023-1}
Linke Yu. Yu., Borisov I. S., Ruzankin P. S.   \href{https://doi.org/10.1080/02331888.2023.2231114}
{\it Universal kernel-type estimation of random fields},   Statistics, {\bf 57} (2023), 785--810.



\bibitem{2024-2}
Linke Y., Borisov I., Ruzankin P., Kutsenko V., Yarovaya E., Shalnova~S.  \href{https://doi.org/10.3390/math12121890}
{\it Multivariate  universal local linear kernel estimators in nonparametric regression: uniform consis\-tency},  Mathematics, {\bf 12} (2024),  1890.




\bibitem{2022-3}
Linke Yu. Yu., Borisov I. S.  \href{https://doi.org/10.1080/03610926.2021.1876884}
{\it Insensitivity of Nadaraya--Watson estimators to de\-sign cor\-re\-lation},   Commun. Stat. Theory Methods, {\bf 51}
  (2022), 6909--6918.



\bibitem{2023-2}
Linke Yu. Yu.  \href{https://doi.org/10.1137/S0040585X97T991362}
{\it Towards insensitivity of Nadaraya--Watson estimators to design cor\-relation},   Theory Probab. Appl., {\bf 68}  (2023), 198--210.



\bibitem{2023-3}
Linke Yu. Yu.  \href{https://doi.org/10.4213/mzm13906}
{\it On sufficient conditions for the consistency
of local linear kernel estimators},   Math. Notes, {\bf 114} (2023), 283--296.




\bibitem{2022-4}
Linke Yu. Yu.  \href{https://doi.org/10.1134/S1055134422040034}
{\it Kernel estimators for the mean function of a stochastic process  under sparse design conditions},
Siberian  Adv. Math., {\bf 32} (2022), 269--276.




\bibitem{2024-1}
Linke Yu. Yu., Borisov I.S.   \href{https://doi.org/10.1137/S0040585X97T991738}
{\it Universal nonparametric kernel-type estimators for the mean and covariance functions of a stochastic process},   Theory Probab. Appl., {\bf 69} (2024),  35--58.


\bibitem{2023-4}
Linke Yu. Yu. \href{https://doi.org/10.22405/2226-8383-2023-24-5-112-125}
{\it Mean function estimation for a noisy random process under a sparse data condition},  Chebyshevskii Sbornik, {\bf 24} (2023),  112--125 (In Russ.).

\bibitem{1986-N}
 Nyssbaum M. \href{https://doi.org/10.1137/1131010}
{\it Nonparametric estimation of a regression function that is smooth in a domain in  $R^k$},   Theory Probab. Appl., {\bf 31}  (1987), 108--115.
%//Теория вероятностей и ее применения. – 1986. – Т. 31. – №. 1. – С. 118-125.



%
%\bibitem{2009-CZ}
%{Chen J., Zhang L. X.} Local linear M-estimation for spatial processes in fixed-design models //Metrika. – 2010. – Т. 71. – С. 319-340.
%

\end{thebibliography}



\end{document}


