Phương pháp giải:

Sử dụng lý thuyết của đường thẳng vuông góc với mặt phẳng và định lý Pytago

Lời giải chi tiết:

Vì SA = SB = SC và G là trọng tâm tam giác ABC

Suy ra G là chân đường cao kẻ từ đỉnh S xuống mặt phẳng (ABC).

Gọi M là trung điểm của BC suy ra \(BM=CM=\frac{BC}{2}=\frac{a}{2}.\)

Tam giác ABC đều cạnh a, có \(GM=\frac{AM}{3}=\frac{a\sqrt{3}}{2}.\frac{1}{3}=\frac{a\sqrt{3}}{6}.\)

Tam giác SBM vuông tại M, có \(SM=\sqrt{S{{B}^{2}}-M{{B}^{2}}}=\sqrt{{{b}^{2}}-\frac{{{a}^{2}}}{4}}.\)

Tam giác SGM vuông tại G, có \(SG=\sqrt{S{{M}^{2}}-G{{M}^{2}}}=\sqrt{{{b}^{2}}-\frac{{{a}^{2}}}{4}-\frac{{{a}^{2}}}{12}}=\frac{\sqrt{9{{b}^{2}}-3{{a}^{2}}}}{3}.\)

Chọn C.