Phương pháp giải:

Biến đổi vecto để đưa về $MK = x$ với $x$ là hằng số thì quỹ tích điểm $M$ là mặt cầu tâm $K$ có bán kính bằng $x$.

Lời giải chi tiết:

Gọi $G$ là trọng tâm tam giác $ABC$.

Tam giác $ABC$ là tam giác đều có cạn bằng 8 nên $\left\{ \begin{array}{l}\overrightarrow {GA}  + \overrightarrow {GB}  + \overrightarrow {GC}  = \overrightarrow 0 \\GA = GB = GC = \dfrac{{\sqrt 3 }}{3}AB = \dfrac{{8\sqrt 3 }}{3}\end{array} \right.$

Ta có:

$\begin{array}{l}M{A^2} + M{B^2} + M{C^2} = 100\\ \Leftrightarrow {\overrightarrow {MA} ^2} + {\overrightarrow {MB} ^2} + {\overrightarrow {MC} ^2} = 100\\ \Leftrightarrow {\left( {\overrightarrow {MG}  + \overrightarrow {GA} } \right)^2} + {\left( {\overrightarrow {MG}  + \overrightarrow {GB} } \right)^2} + {\left( {\overrightarrow {MG}  + \overrightarrow {GC} } \right)^2} = 100\\ \Leftrightarrow M{G^2} + 2\overrightarrow {MG} .\overrightarrow {GA}  + G{A^2} + M{G^2} + 2\overrightarrow {MG} .\overrightarrow {GB}  + G{B^2} + M{G^2} + 2\overrightarrow {MG} .\overrightarrow {GC}  + G{C^2} = 100\end{array}$

$\begin{array}{l} \Leftrightarrow 3M{G^2} + 2\overrightarrow {MG} \left( {\overrightarrow {GA}  + \overrightarrow {GB}  + \overrightarrow {GC} } \right) + \left( {G{A^2} + G{B^2} + G{C^2}} \right) = 100\\ \Leftrightarrow 3M{G^2} + 2.\overrightarrow {MG} .\overrightarrow 0  + 3G{A^2} = 100\\ \Leftrightarrow 3M{G^2} + 3.{\left( {\dfrac{{8\sqrt 3 }}{3}} \right)^2} = 100\\ \Leftrightarrow M{G^2} = 12 \Leftrightarrow MG = 2\sqrt 3 \end{array}$

Vậy quỹ tích điểm $M$ là mặt cầu tâm $G$ có bán kính bằng $2\sqrt 3$.

Chọn C.