Phương pháp giải:

Sử dụng các công thức: \(\left\{ \begin{array}{l}\cos a + \cos b = 2\cos \frac{{a + b}}{2}.\cos \frac{{a - b}}{2}\\\sin a.\cos b = \frac{1}{2}\left[ {\sin \left( {a + b} \right) + \sin \left( {a - b} \right)} \right]\\\sin 2a = 2\sin a\cos a\\\cos 2a = {\cos ^2}a - {\cos ^2}b\end{array} \right..\)

Lời giải chi tiết:

\(\begin{array}{l}A = {\cos ^2}a + {\cos ^2}\left( {a + b} \right) - 2\cos a.\cos b.\cos \left( {a + b} \right)\\\,\,\,\,\, = {\cos ^2}a + {\cos ^2}\left( {a + b} \right) - 2.\frac{1}{2}\left[ {\cos \left( {a + b} \right) + \cos \left( {a - b} \right)} \right].\cos \left( {a + b} \right)\\\,\,\,\,\, = {\cos ^2}a + {\cos ^2}\left( {a + b} \right) - {\cos ^2}\left( {a + b} \right) - \cos \left( {a - b} \right).\cos \left( {a + b} \right)\\\,\,\,\,\, = \frac{{1 + \cos 2a}}{2} - \frac{1}{2}\left( {\cos 2a + \cos 2b} \right)\\\,\,\,\,\, = \frac{1}{2} - \frac{{\cos 2b}}{2} = {\sin ^2}b.\end{array}\)

Chọn C.