По теореме косинусов, если известен отмеченный угол (a; c):
b2 = a2 + c2 – 2·a·c·cos (a; c)
Но, как я понял, у вас известны a и b, поэтому нужно найти c:
c2 – 2·a·c·cos (a; c) + (a2 – b2) = 0
Придётся решать квадратное уравнение относительно с.
Выбираем, естественно, корень c > 0, потому что это расстояние.
А если оба корня больше 0, то выбираем c > a и c > b.