Plantilla de artículo científico en LaTeX
Una plantilla de artículo científico en LaTeX gratis con la clase article estándar: título, resumen, secciones y referencias ya dispuestos, para que te centres en el contenido.
Abrir editor Volver a las plantillas
Código LaTeX
% Plantilla de artículo científico: título, autores con afiliaciones, resumen y palabras clave, secciones numeradas,
% teorema, tabla, gráfica y bibliografía. Incluye un ejemplo breve (momento en problemas cuadráticos)
% para que veas cómo funciona cada parte. Sustituye el texto, la tabla y la gráfica por los tuyos.
\documentclass[a4paper,11pt]{article}
\usepackage[T1]{fontenc}
\usepackage{lmodern}
\usepackage[spanish,es-tabla]{babel}
\usepackage[margin=2.5cm]{geometry}
\usepackage{microtype}
\usepackage{amsmath,amssymb,amsthm}
\usepackage{booktabs}
\usepackage{graphicx} % solo hace falta si incluyes imágenes con \includegraphics
\usepackage{authblk}
\usepackage{pgfplots}
\usetikzlibrary{babel}
\usepackage[hidelinks]{hyperref}
% Bibliografía: las referencias están en references.bib; cítalas con \cite{clave} o \citet{clave}
\usepackage[numbers,sort&compress]{natbib}
\pgfplotsset{compat=1.18}
\newtheorem{theorem}{Teorema}
\theoremstyle{remark}
\newtheorem*{remark}{Observación}
% ---- Título y autores: edítalos ----
\title{El momento acelera el descenso del gradiente en problemas cuadráticos mal condicionados}
\author[1]{Lucía Martín\thanks{Autora de correspondencia: \texttt{lucia.martin@example.com}}}
\author[2]{Carlos Fernández}
\affil[1]{Departamento de Matemáticas, Universidad de Ejemplo, Málaga, España}
\affil[2]{Instituto de Informática, Escuela Politécnica de Muestra, Madrid, España}
\date{\today}
\begin{document}
\maketitle
\begin{abstract}
% Resume el problema, el método, el resultado principal y por qué importa, en unas 150 palabras.
El descenso del gradiente se ralentiza cuando el problema está mal condicionado. Comparamos el descenso del
gradiente simple con el método de la bola pesada en funciones objetivo cuadráticas y demostramos que el
momento reduce el número de iteraciones necesarias del orden de $\kappa$ al orden de $\sqrt{\kappa}$, donde
$\kappa$ es el número de condición. Demostramos las tasas asintóticas, las comprobamos numéricamente para
números de condición de hasta $10^3$ y discutimos cuándo la aceleración se mantiene en otros problemas.
\end{abstract}
\noindent\textbf{Palabras clave:} optimización, descenso del gradiente, momento, número de condición
\section{Introducción}
% Presenta el problema, lo que ya se conoce, la laguna y tu contribución.
Muchos problemas de la ciencia y la ingeniería se reducen a minimizar una función suave, y el descenso del
gradiente es el método más sencillo para hacerlo \citep{boyd2004}. Su velocidad depende mucho de la forma de la
función objetivo: cuando los conjuntos de nivel son largos y estrechos, las iteraciones zigzaguean y el avance es
lento. Añadir un término de momento \citep{polyak1964} amortigua el zigzag, y el efecto se aprecia fácilmente en
funciones cuadráticas \citep{goh2017}.
Las contribuciones de este artículo son:
\begin{itemize}
\item una deducción autocontenida de las tasas asintóticas de ambos métodos en funciones cuadráticas, y
\item una comprobación numérica del número de iteraciones previsto para tres números de condición.
\end{itemize}
La sección~\ref{sec:method} presenta el planteamiento, la sección~\ref{sec:results} muestra los resultados y
la sección~\ref{sec:conclusions} concluye.
\section{Métodos}\label{sec:method}
% Describe el modelo, los algoritmos y los supuestos necesarios para repetir tu trabajo.
Minimizamos la función cuadrática $f(x) = \tfrac12 x^{\top}Ax$, donde $A$ es simétrica definida positiva
con menor y mayor autovalor $\mu$ y $L$. El número de condición es $\kappa = L/\mu$ y el
minimizador es $x^{\star}=0$. Partiendo de $x_0$, el descenso del gradiente con paso $\alpha$ y el método de la
bola pesada con momento $\beta$ actualizan
\begin{align}
x_{k+1} &= x_k - \alpha\,\nabla f(x_k), \label{eq:gd}\\
x_{k+1} &= x_k - \alpha\,\nabla f(x_k) + \beta\,(x_k - x_{k-1}). \label{eq:hb}
\end{align}
\begin{theorem}\label{thm:rates}
Con $\alpha = 2/(L+\mu)$, el método \eqref{eq:gd} cumple $\|x_k\| \le \rho_{\mathrm{GD}}^{\,k}\|x_0\|$ con
$\rho_{\mathrm{GD}} = \dfrac{\kappa-1}{\kappa+1}$. Con $\alpha = 4/(\sqrt{L}+\sqrt{\mu})^2$ y
$\beta = \bigl(\tfrac{\sqrt\kappa-1}{\sqrt\kappa+1}\bigr)^2$, el método \eqref{eq:hb} converge con la
tasa asintótica $\rho_{\mathrm{HB}} = \dfrac{\sqrt\kappa-1}{\sqrt\kappa+1}$.
\end{theorem}
\begin{proof}
Se diagonaliza $A$ y se trata cada autovalor $\lambda\in[\mu,L]$ por separado. En el descenso del gradiente,
la iteración en esa dirección se multiplica por $1-\alpha\lambda$, cuyo módulo es máximo en
$\lambda=\mu$ y $\lambda=L$ y vale $\rho_{\mathrm{GD}}$ para el paso indicado. En el método de la bola
pesada, el par $(x_k, x_{k-1})$ evoluciona con una matriz de $2\times2$ cuyos autovalores son las raíces de
$z^2-(1+\beta-\alpha\lambda)z+\beta=0$. Para los $\alpha$ y $\beta$ indicados, estas raíces son complejas
de módulo $\sqrt\beta=\rho_{\mathrm{HB}}$ para todo $\lambda\in[\mu,L]$ \citep{polyak1964}.
\end{proof}
\begin{remark}
Como $-\ln\rho \approx 2/\kappa$ en el descenso del gradiente y $\approx 2/\sqrt\kappa$ en la bola pesada, alcanzar
una tolerancia $\varepsilon$ requiere aproximadamente $\tfrac{\kappa}{2}\ln(1/\varepsilon)$ y
$\tfrac{\sqrt\kappa}{2}\ln(1/\varepsilon)$ iteraciones, respectivamente \citep{nesterov2004}.
\end{remark}
\section{Resultados}\label{sec:results}
% Presenta los resultados sin interpretarlos; menciona en el texto cada tabla y cada figura.
La tabla~\ref{tab:iterations} recoge las iteraciones necesarias para reducir el error en un factor de $10^{6}$,
calculadas a partir de las tasas del teorema~\ref{thm:rates}, y la figura~\ref{fig:convergence} muestra la cota
del error para $\kappa=100$.
\begin{table}[htbp]
\centering
\caption{Iteraciones necesarias para reducir el error en un factor de $10^{6}$.}
\label{tab:iterations}
\begin{tabular}{rrrr}
\toprule
$\kappa$ & Descenso del gradiente & Bola pesada & Cociente \\
\midrule
10 & 69 & 22 & 3,1 \\
100 & 691 & 69 & 10,0 \\
1000 & 6908 & 219 & 31,5 \\
\bottomrule
\end{tabular}
\end{table}
\begin{figure}[htbp]
\centering
% La gráfica se dibuja con pgfplots, así que no hace falta ningún archivo de imagen. Para usar una imagen:
% \includegraphics[width=0.8\linewidth]{figure.png}
\begin{tikzpicture}
\begin{axis}[
width=0.8\linewidth, height=6cm,
xlabel={Iteración $k$}, ylabel={Cota del error $\rho^{k}$},
ymode=log, xmin=0, xmax=300, ymin=1e-7, ymax=1,
grid=major, legend pos=south west,
]
\addplot[thick, domain=0:300, samples=2] {0.9802^x};
\addplot[thick, dashed, domain=0:300, samples=2] {0.8182^x};
\legend{Descenso del gradiente, Bola pesada}
\end{axis}
\end{tikzpicture}
\caption{Cota del error tras $k$ iteraciones para $\kappa=100$.}
\label{fig:convergence}
\end{figure}
\section{Discusión}
El número de iteraciones crece linealmente con $\kappa$ en el descenso del gradiente y con $\sqrt\kappa$ en la
bola pesada, de modo que la ventaja del momento aumenta a medida que el problema se vuelve más difícil: un factor
de 3 para $\kappa=10$ y más de 30 para $\kappa=10^{3}$. El análisis solo vale para funciones cuadráticas; para
funciones convexas generales, el método de la bola pesada necesita otros parámetros y puede no converger, por lo
que en la práctica se prefieren las variantes aceleradas \citep{nesterov2004}.
\section{Conclusiones}\label{sec:conclusions}
% Recuerda el resultado principal, sus límites y qué hacer a continuación.
En problemas cuadráticos, el momento convierte un número de iteraciones del orden de $\kappa$ en uno del orden de
$\sqrt\kappa$. En trabajos futuros habría que comprobar cuánta de esta aceleración se mantiene con funciones
objetivo no cuadráticas y en presencia de ruido.
\section*{Agradecimientos}
Este trabajo ha sido financiado por la Fundación Ejemplo, subvención 000000.
\bibliographystyle{unsrtnat}
\bibliography{references}
\end{document}