cos^2x+sin^2x-3cos^2x=2sinx*cosx
sin^2x-2sinx*cosx-2cos^2x=0
Это однородное тригонометрическое уравнение.
Делим на cos^2x:
tg^2x-2tgx-2=0
D=4+8=12
tgx=1-sqrt(3); tgx=1+sqrt(3)
x=[b]arctg(1-sqrt(3))+πk, [/b]k ∈ Z или х=[b]arctg(1+sqrt(3))+πn[/b], n∈ Z