Phương pháp giải:

Biến đổi vecto để đưa về \(MK = x\) với \(x\) là hằng số thì quỹ tích điểm \(M\) là mặt cầu tâm \(K\) có bán kính bằng \(x\).

Lời giải chi tiết:

Gọi \(G\) là trọng tâm tam giác \(ABC\).

Tam giác \(ABC\) là tam giác đều có cạn bằng 8 nên \(\left\{ \begin{array}{l}\overrightarrow {GA}  + \overrightarrow {GB}  + \overrightarrow {GC}  = \overrightarrow 0 \\GA = GB = GC = \dfrac{{\sqrt 3 }}{3}AB = \dfrac{{8\sqrt 3 }}{3}\end{array} \right.\)

Ta có:

\(\begin{array}{l}M{A^2} + M{B^2} + M{C^2} = 100\\ \Leftrightarrow {\overrightarrow {MA} ^2} + {\overrightarrow {MB} ^2} + {\overrightarrow {MC} ^2} = 100\\ \Leftrightarrow {\left( {\overrightarrow {MG}  + \overrightarrow {GA} } \right)^2} + {\left( {\overrightarrow {MG}  + \overrightarrow {GB} } \right)^2} + {\left( {\overrightarrow {MG}  + \overrightarrow {GC} } \right)^2} = 100\\ \Leftrightarrow M{G^2} + 2\overrightarrow {MG} .\overrightarrow {GA}  + G{A^2} + M{G^2} + 2\overrightarrow {MG} .\overrightarrow {GB}  + G{B^2} + M{G^2} + 2\overrightarrow {MG} .\overrightarrow {GC}  + G{C^2} = 100\end{array}\)

\(\begin{array}{l} \Leftrightarrow 3M{G^2} + 2\overrightarrow {MG} \left( {\overrightarrow {GA}  + \overrightarrow {GB}  + \overrightarrow {GC} } \right) + \left( {G{A^2} + G{B^2} + G{C^2}} \right) = 100\\ \Leftrightarrow 3M{G^2} + 2.\overrightarrow {MG} .\overrightarrow 0  + 3G{A^2} = 100\\ \Leftrightarrow 3M{G^2} + 3.{\left( {\dfrac{{8\sqrt 3 }}{3}} \right)^2} = 100\\ \Leftrightarrow M{G^2} = 12 \Leftrightarrow MG = 2\sqrt 3 \end{array}\)

Vậy quỹ tích điểm \(M\) là mặt cầu tâm \(G\) có bán kính bằng \(2\sqrt 3 \).

Chọn C.