Очень интересное уравнение. Напишем так:
11sin^2 x – 3sin x*cos x + 5cos^2 x = b(sin^2 x + cos^2 x)
Переносим всё налево:
11sin^2 x – 3sin x*cos x + 5cos^2 x - b*sin^2 x - b*cos^2 x = 0
(11 - b)*sin^2 x – 3sin x*cos x + (5 - b)*cos^2 x = 0
Делим всё на cos^2 x:
(11 - b)*tg^2 x - 3*tg x + (5 - b) = 0
Получили обычное квадратное уравнение относительно tg x:
D = (-3)^2 - 4(11 - b)(5 - b) = 9 - 4(55 - 5b - 11b + b^2)
D = -4b^2 + 64b - 211
Наше уравнение имеет решения, если D ≥ 0.
Решаем квадратное неравенство:
-4b^2 + 64b - 211 ≥ 0
4b^2 - 64b + 211 ≤ 0
D1/4 = (-32)^2 - 4*211 = 1024 - 844 = 180 = (6*sqrt(5))^2
b1 = (32 - 6*sqrt(5))/4 = 8 - 1,5sqrt(5)
b2 = (32 + 6*sqrt(5))/4 = 8 + 1,5sqrt(5)
Ответ: уравнение имеет решения при b ∈ [8 - 1,5sqrt(5); 8 + 1,5sqrt(5)]