Phương pháp giải:

Dựa vào phương pháp xác định góc giữa hai mặt phẳng và đưa vào tam giác vuông tính toán cosin góc giữa hai mặt phẳng

Lời giải chi tiết:

Vì \(A{A}'{B}'B\) là hình vuông cạnh \(a\)\(\Rightarrow \,\,A{{{B}'}^{2}}=2{{a}^{2}}.\)

Ta có

\(A{{I}^{2}}=A{{C}^{2}}+C{{I}^{2}}=\frac{5{{a}^{2}}}{4};\,\,{B}'{{I}^{2}}={B}'{{{C}'}^{2}}+{C}'{{I}^{2}}=B{{C}^{2}}+\frac{{{a}^{2}}}{4}\)Mà \(B{{C}^{2}}=A{{B}^{2}}+A{{C}^{2}}-2.AB.AC.\cos {{120}^{0}}=3{{a}^{2}}\Rightarrow BC=a\sqrt{3}.\)

Khi đó :

\({B}'{{I}^{2}}=3{{a}^{2}}+\frac{{{a}^{2}}}{4}=\frac{13{{a}^{2}}}{4}\Rightarrow A{{{B}'}^{2}}+A{{I}^{2}}={B}'{{I}^{2}}\)\(\Rightarrow \,\,\Delta \,A{B}'I\) vuông tại \(A.\)

Gọi \(D\) là giao điểm của \(BC\) và \({B}'I\,\,\Rightarrow \,\,AD=\left( ABC \right)\cap \left( A{B}'I \right).\)

Kẻ \(CH\bot AD\)  \(\left( H\in AD \right).\) Vì \(C\) là hình chiếu của \(I\) trên \(mp\,\,\left( ABC \right).\)

Suy ra \(IH\bot AD\)\(\Rightarrow \,\,\widehat{IHC}\) chính là góc giữa hai mặt phẳng \(\left( ABC \right)\) và \(\left( A{B}'I \right).\)

Trong tam giác \(B{B}'D\) có \(CI\) là đường trung bình \(\Rightarrow CD=CB=a\sqrt{3}.\) Xét tam giác \(ACD,\) có \(A{{D}^{2}}=A{{C}^{2}}+C{{D}^{2}}-2.AC.CD.\cos {{150}^{0}}=7{{a}^{2}}\Rightarrow AD=a\sqrt{7}.\)

Lại có \(\frac{AC}{\sin \widehat{ADC}}=\frac{AD}{\sin {{150}^{0}}}\Rightarrow \sin \widehat{ADC}=\frac{1}{2\sqrt{7}}\Rightarrow CH=CD.\sin \widehat{ADC}=\frac{a\sqrt{21}}{14}.\)

Tam giác \(IHC\) vuông \(\Rightarrow \,\,I{{H}^{2}}=C{{I}^{2}}+C{{H}^{2}}\Rightarrow \,\,IH=\frac{a\sqrt{70}}{14}.\) Vậy \(\cos \widehat{IHC}=\frac{CH}{IH}=\frac{\sqrt{30}}{10}.\)

Chọn C.