Выражаем а из первого уравнения системы a = 12-b, подставляем во второе уравнение (12-b)^2+b^2 = 121, находим корни квадратного уравнения уравнения b1=6-7/sqrt(2) и b2=6+7/sqrt(2). Выбираем понравившееся нам b. Находим a = 12-(6-7/sqrt(2))= 6+7/sqrt(2). Далее S=a*b = (6+7/sqrt(2))*(6-7/sqrt(2)) = 11.5