y ≥ 0
Возводим первое уравнение в квадрат:
{4x+8sqrt(xy)+4y=9xy
{x-y=5 ⇒ x=y+5
4*(y+5)+8*sqrt(y*(y+5))+4y=9*y*(y+5)
8*sqrt(y*(y+5))=9y^2+45y-8y-20
8*sqrt(y*(y+5))=9y^2+37y-20
Еще раз в квадрат
64(y^2+5y)=81y^4+1369y^2+400+666y^3-360y^2-1480y
81y^4+1369y^2+400+666y^3-360y^2-1480y-64y^2-320y
81y^4+666y^3+945y^2-1800y+400=0
Ответ приближенный
y ≈ 1
x ≈ 6
Скорее всего проблема в условии.