Выделить полные квадраты:
(x^2+2x)+(y^2-4y)+(z^2-6z)-11=0
(x^2+2x+1-1)+(y^2-4y+4-4)+(z^2-6z+9-9)-11=0
(x^2+2x+1)+(y^2-4y+4)+(z^2-6z+9)-11-1-4-9=0
(x+1)^2+(y-2)^2+(z-3)^2=25
Сфера с центром в точке (-1:2;3) и R=5
Подставим координаты точек в уравнение (x+1)^2+(y-2)^2+(z-3)^2=25
А(0; 5; 7)
x=0
y=5
z=7
(0+1)^2+(5-2)^2+(7-3)^2=25
1^2+3^2+4^2=26 > 25
Точка А не лежит на сфере, она расположена вне сферы.
В (–3; 4; 0)
(-3+1)^2+(4-2)^2+(0-3)^2=25
4+4+9 < 25
Точка B не лежит на сфере, она расположена внутри сферы.
...