По теореме косинусов, если известен отмеченный угол (a; c):
b^2 = a^2 + c^2 - 2*a*c*cos (a; c)
Но, как я понял, у вас известны a и b, поэтому нужно найти c:
c^2 - 2*a*c*cos (a; c) + (a^2 - b^2) = 0
Придётся решать квадратное уравнение относительно с.
Выбираем, естественно, корень c > 0, потому что это расстояние.
А если оба корня больше 0, то выбираем c > a и c > b.