ĐKXĐ: \(\cos 5x \ne 0 \Leftrightarrow 5x \ne \dfrac{\pi }{2} + m\pi \Leftrightarrow x \ne \dfrac{\pi }{{10}} + \dfrac{{m\pi }}{5}\,\,\left( {m \in \mathbb{Z}} \right)\).

\(\begin{array}{l}\,\,\,\,\,\,\cos 3x\tan 5x = \sin 7x\\ \Leftrightarrow \cos 3x\sin 5x = \sin 7x\cos 5x\\ \Leftrightarrow \dfrac{1}{2}\left( {\sin 8x + \sin 2x} \right) = \dfrac{1}{2}\left( {\sin 12x + \sin 2x} \right)\\ \Leftrightarrow \sin 8x + \sin 2x = \sin 12x + \sin 2x\\ \Leftrightarrow \sin 12x = \sin 8x\\ \Leftrightarrow \left[ \begin{array}{l}12x = 8x + k2\pi \\12x = \pi - 8x + k2\pi \end{array} \right.\\ \Leftrightarrow \left[ \begin{array}{l}x = \dfrac{{k\pi }}{2}\\x = \dfrac{\pi }{{20}} + \dfrac{{k\pi }}{{10}}\end{array} \right.\,\,\left( {k \in \mathbb{Z}} \right)\end{array}\)

Đối chiếu điều kiện ta có:

\(\begin{array}{l}\,\,\,\,\,\,\dfrac{{k\pi }}{2} \ne \dfrac{\pi }{{10}} + \dfrac{{m\pi }}{5}\,\,\left( {k,\,\,m \in \mathbb{Z}} \right)\\ \Leftrightarrow 5k \ne 1 + 2m\\ \Leftrightarrow k \ne \dfrac{{1 + 2m}}{5}\end{array}\)

Do \(k \in \mathbb{Z}\) nên: \(k = \dfrac{{1 + 2m}}{5} \Leftrightarrow \dfrac{{1 + 2m}}{5}\) là số nguyên. Mà \(1 + 2m\) luôn lẻ nên \(\dfrac{{1 + 2m}}{5}\) không chia hết cho 2 với mọi \(m\). Do đó, nếu \(k \ne \dfrac{{1 + 2m}}{5}\) thì \(k\) phải là số nguyên chẵn.

\( \Rightarrow k\) chẵn, đặt \(k = 2n\), khi đó ta có \(x = \dfrac{{2n\pi }}{2} = n\pi \) \(\left( {n \in \mathbb{Z}} \right)\).

\(\begin{array}{l}\,\,\,\,\,\,\dfrac{\pi }{{20}} + \dfrac{{k\pi }}{{10}} \ne \dfrac{\pi }{{10}} + \dfrac{{m\pi }}{5}\,\,\left( {k,\,\,m \in \mathbb{Z}} \right)\\ \Leftrightarrow 1 + 2k \ne 2 + 4m\end{array}\)

Vì \(1 + 2k\) lẻ, \(2 + 4m\) chẵn nên \(1 + 2k \ne 2 + 4m\) luôn đúng với mọi \(k,\,\,m \in \mathbb{Z}\).

Vậy nghiệm của phương trình đã cho là: \(x = n\pi ;\,\,x = \dfrac{\pi }{{20}} + \dfrac{{k\pi }}{{10}}\,\,\left( {k,\,\,n \in \mathbb{Z}} \right)\).