x^3-3=u
du=3x^2dx
x^2dx=(1/3)du
Если считать неопределенный интеграл, то
[m]∫\frac{x^2dx}{13-6x^3+x^6}=\frac{1}{3} ∫ \frac{du}{u^2+4}=\frac{1}{3}\cdot \frac{1}{2}arctg\frac{u}{2}+C[/m]
Поэтому, чтобы не менять пределы интегрирования, можно решать так:
[m] ∫^{\sqrt{5}} _{1}\frac{x^2dx}{13-6x^3+x^6}=\frac{1}{3} ∫^{\sqrt{5}} _{1} \frac{3x^2dx}{(x^3-3)^2+4}=\frac{1}{3} ∫^{\sqrt{5}} _{1}\frac{d(x^3-3)}{(x^3-3)^2+4}=[/m]
[m]=\frac{1}{3}(\frac{1}{2}arctg\frac{x^3-3}{2})|^{\sqrt{5}} _{1}=\frac{1}{6}arctg\frac{5\sqrt{5}-3}{2}-\frac{1}{6}arctg\frac{1-3}{2}=[/m]
[m]=\frac{1}{6}arctg\frac{5\sqrt{5}-3}{2}-\frac{1}{6}arctg(-1)=\frac{1}{6}arctg\frac{5\sqrt{5}-3}{2}-\frac{1}{6}\cdot (-\frac{π}{4})[/m]