Phương pháp giải:

Góc giữa hai mặt phẳng là góc giữa hai đường thẳng lần lượt thuộc hai mặt phẳng và vuông góc với giao tuyến.

Lời giải chi tiết:

Nhận thấy giao tuyến (d) của hai mặt phẳng $\left( {MAB} \right),\left( {MC'D'} \right)$ là đường thẳng đi qua $M$ và song song với $AB,C'D'$

Do $M\in OI\Rightarrow MA=MB\Rightarrow \Delta MAB$ cân tại M, tương tự $\Delta MC'D'$ cân tại M. Gọi K, H lần lượt là trung điểm của AB và C’D’ ta có:

Do đó $MK \bot AB \Rightarrow MK \bot d;MH \bot C'D' \Rightarrow MH \bot d$

Khi đó $\left( {\left( {MC'D'} \right),\left( {MAB} \right)} \right) = \left( {MH,MK} \right) = \varphi  \Rightarrow \cos \varphi  = \left| {\cos \widehat {HMK}} \right|$

Giả sử hình lập phương có cạnh bằng $6$

Ta có: $IM=2,IH=3\Rightarrow MH=\sqrt{13}$

Gọi $E$ là tâm hình vuông $ABCD \Rightarrow EM = 4;EK = 3 \Rightarrow MK = \sqrt {{4^2} + {3^2}}  = 5$

Mà $HK = AD' = 6\sqrt 2$

Suy ra $\left| {\cos \widehat {HMK}} \right| = \left| {\frac{{M{K^2} + M{H^2} - H{K^2}}}{{2MH.MK}}} \right| = \left| {\frac{{25 + 13 - 72}}{{2.5\sqrt {13} }}} \right| = \left| {\frac{{ - 34}}{{10\sqrt {13} }}} \right| = \frac{{17\sqrt {13} }}{{65}}$

Vậy $\cos \varphi =\frac{17\sqrt{13}}{65}$

Chọn D.