On a
\begin{eqnarray*}
\sin^5 x&=&\left(\frac{e^{ix}-e^{-ix}}{2i}\right)^5\\
&=&\frac{1}{2^5 i}\left(e^{5ix}-e^{-5ix}-5e^{3ix}+5e^{-3ix}+10e^{ix}-10e^{-ix}\right)\\
&=&\frac{\sin(5x)}{16}-\frac{5\sin(3x)}{16}+\frac{5\sin(x)}{8}.
\end{eqnarray*}
Une primitive de la fonction recherchée est donc la fonction
$$x\mapsto \frac{-\cos(5x)}{80}+\frac{5\cos(3x)}{48}-\frac{5\cos(x)}{8}.$$
On écrit, pour éviter le calcul d'un produit, $\cos^4 x\sin^2 x=\cos^4 x-\cos^6 x$.
Or,
\begin{eqnarray*}
\cos^4 x&=&\left(\frac{e^{ix}+e^{-ix}}2\right)^4\\
&=&\frac{1}{2^4}\left(e^{i4x}+e^{-i4x}+4e^{2ix}+4e^{-2ix}+6\right)\\
&=&\frac{1}{2^4}\left(2\cos(4x)+8\cos(2x)+6\right).
\end{eqnarray*}
De même, on trouve
$$\cos^6 x=\frac{1}{2^6}\big(2\cos (6x)+12\cos (4x)+30\cos (2x)+20\big).$$
On a donc
$$\cos^4 x-\cos^6 x=-\frac{1}{32}\cos(6x)-\frac1{16}\cos(4x)+\frac1{32}\cos(2x)+\frac1{16}.$$
Une primitive de la fonction étudiée est donc la fonction
$$x\mapsto \frac{-1}{192}\sin(6x)-\frac{1}{64}\sin(4x)+\frac{1}{64}\sin(2x)+\frac{x}{16}.$$
On commence par linéariser $\cos^3 x$ en $\big(\cos(3x)+3\cos(x)\big)/4$.
Avec la formule
$$\cos p\cos q=\frac12\big(\cos(p+q)+\cos(p-q)\big)$$
on trouve finalement
\begin{eqnarray*}
\int \cos(3x)\cos^3x&=&\frac18\int \big(1+\cos(6x)+3\cos(4x)+3\cos(2x)\big)dx\\
&=&\frac x8+\frac{\sin(6x)}{48}+\frac{3\sin(4x)}{32}+\frac{3\sin(2x)}{16}+C.
\end{eqnarray*}