y = x^(ctg x)
y' = x^(ctg x)*ln(x)*(-1/sin^2 x) + ctg x*x^(ctg x - 1)
y' = x^(ctg x)*(-ln(x)/sin^2 x + ctg x/x)
y' = x^(ctg x)*(-ln x + x*sin x*cos x)/sin^2 x
А если надо найти экстремума, то приравняй скобки к 0.
-ln x + x*sin x*cos x = 0
Дальше решаешь это уравнение.
Лучше графическим путем, потому что аналитически оно не решается.