Phương pháp giải:

Gọi a’ là hình chiếu vuông góc của a trên mặt phẳng (P).

Góc giữa đường thẳng a và mặt phẳng (P) là góc giữa đường thẳng a và a’.

Lời giải chi tiết:

Gọi G là trọng tâm tam giác ABC. Theo đề bài, ta có : $A'G \bot \left( {ABC} \right)$.

$\Rightarrow \angle \left( {AA';\left( {ABC} \right)} \right) = \angle GAA' = {60^0}$

$\Rightarrow \left\{ \begin{array}{l}AG = AA'.{\rm{cos6}}{{\rm{0}}^0} = \dfrac{a}{2} \Rightarrow AN = \dfrac{3}{2}.\dfrac{a}{2} = \dfrac{{3{\rm{a}}}}{4}\\A'G = AA'.{\rm{sin6}}{{\rm{0}}^0} = \dfrac{{a\sqrt 3 }}{2}\end{array} \right.$

Giả sử độ dài đoạn $BC = x$ $\Rightarrow BN = \dfrac{x}{2},\,AB = BC.\tan \angle C = \tan {60^0}.x = x\sqrt 3$

$\Rightarrow AN = \sqrt {{{\left( {\dfrac{x}{2}} \right)}^2} + {{\left( {x\sqrt 3 } \right)}^2}}  = \dfrac{{x\sqrt {13} }}{2}$

$\begin{array}{l} \Rightarrow \dfrac{{x\sqrt {13} }}{2} = \dfrac{{3{\rm{a}}}}{4} \Rightarrow x = \dfrac{{3a}}{{2\sqrt {13} }} = \dfrac{{3\sqrt {13} }}{{26}}\\ \Rightarrow BC = \dfrac{{3a\sqrt {13} }}{{26}},\,\,AB = \dfrac{{3a\sqrt {13} }}{{26}}.\sqrt 3  = \dfrac{{3a\sqrt {39} }}{{26}}\\ \Rightarrow {S_{ABC}} = \dfrac{1}{2}.AB.BC = \dfrac{1}{2}.\dfrac{{3a\sqrt {13} }}{{26}}.\dfrac{{3a\sqrt {39} }}{{26}} = \dfrac{{9{a^2}\sqrt 3 }}{{104}}\end{array}$

Thể tích của khối lăng trụ ABC.A’B’C’ là: $V = {S_{ABC}}.A'G = \dfrac{{9{a^2}\sqrt 3 }}{{104}}.\dfrac{{a\sqrt 3 }}{2} = \dfrac{{27{a^3}}}{{208}}$

Chọn C.