Phương pháp giải:

- Xác định thiết diện của hình lăng trụ cắt bởi mặt phẳng \(\left( {AMN} \right)\).

- Công thức thể tích khối chóp cụt: \(V = \dfrac{1}{3}\left( {B + B' + \sqrt {BB'} } \right)h\) trong đó \(B,\,\,B'\) lần lượt là diện tích hai đáy, \(h\) là chiều cao của khối chóp cụt.

Lời giải chi tiết:

Gọi \(ME = \left( {AMN} \right) \cap \left( {A'B'C'} \right)\) , ta có:\(\left\{ \begin{array}{l}\left( {ABC} \right)//\left( {A'B'C'} \right)\\\left( {ANM} \right) \cap \left( {ABC} \right) = AN\\\left( {ANM} \right) \cap \left( {A'B'C'} \right) = ME\end{array} \right.\,\, \Rightarrow AN\parallel ME.\) Khi đó thiết diện của lăng trụ cắt bởi \(\left( {AMN} \right)\) là tứ giác \(AMEN\).

Đặt \({V_1} = {V_{ANC.MEC'}},\,\,{V_2} = {V_{ABN.A'B'EM}}\) với \(ANC.MEC'\) là hình chóp cụt.

Gọi \(F\) là trung điểm của \(AB\) \( \Rightarrow CF \bot AB\) (trung tuyến đồng thời là đường cao).

Mà \(CC' \bot AB \Rightarrow AB \bot \left( {CFC'} \right) \Rightarrow AB \bot C'F.\)

Ta có: \(\left\{ \begin{array}{l}\left( {ABC'} \right) \cap \left( {ABC} \right) = AB\\\left( {ABC'} \right) \supset C'F \bot AB\\\left( {ABC} \right) \supset CF \bot AB\end{array} \right.\) \( \Rightarrow \angle \left( {\left( {ABC} \right);\left( {ABC'} \right)} \right) = \angle CFC' = {60^0}\).

Xét tam giác \(ABC\) vuông cân tại \(C\) có \(AB = 2a \Rightarrow CF = \dfrac{1}{2}AB = a\).

Xét \(\Delta CC'F\) có: \(CC' = CF.\tan {60^0} = a\sqrt 3 .\)

Xét \(\Delta ANC\) và \(\Delta MEC'\) có \(\angle C = \angle C' = {90^0}\), \(AC\parallel A'C',\,\,AN\parallel ME\) \( \Rightarrow \angle CAN = \angle C'ME\).

\( \Rightarrow \Delta ANC \sim \Delta MEC'\,\,\left( {g.g} \right)\) theo tỉ số \(k = \dfrac{{AC}}{{MC'}} = 2\).

\( \Rightarrow {S_{ANC}} = {k^2}{S_{MEC'}} = 4{S_{MEC'}}\).

Ta có: \({S_{ABC}} = \dfrac{1}{2}AB.FC = \dfrac{1}{4}A{B^2} = \dfrac{1}{4}{\left( {2a} \right)^2} = {a^2}\).

      \( \Rightarrow S = {S_{ANC}} = \dfrac{1}{2}{S_{ABC}} = \dfrac{1}{2}{a^2}\) và \(S' = {S_{MEC'}} = \dfrac{1}{4}.{S_{ANC}} = \dfrac{1}{8}{a^2}\)

Thể tích khối chóp cụt \(ANC.MEC'\) là: \({V_1} = \dfrac{h}{3}\left( {S + S' + \sqrt {S.S'} } \right)\)\( = \dfrac{{a\sqrt 3 }}{3}.\left( {\dfrac{1}{2}{a^2} + \dfrac{1}{8}{a^2} + \sqrt {\dfrac{1}{2}{a^2}.\dfrac{1}{8}{a^2}} } \right)\)\( = \dfrac{{7\sqrt 3 }}{{24}}{a^3}.\)

Thể tích khối lăng trụ là: \({V_{ABC.A'B'C'}} = CC'.{S_{ABC}} = a\sqrt 3 .{a^2} = {a^3}\sqrt 3 \).

\( \Rightarrow {V_2} = {V_{ABC.A'B'C'}} - {V_1} = \dfrac{{17\sqrt 3 {a^3}}}{{24}}\).

Vậy thể tích của phần nhỏ hơn bằng \(\dfrac{{7\sqrt 3 }}{{24}}{a^3}.\)

Chọn A.