vector{b}=(1;-3;2)
vector{c}=(3;2;-4)
Пусть вектор vector{х}=(m;n;p)
Скалярное произведение векторов, заданных своими координатами равно сумме произведений одноименных координат
vector{x}*vector{a}=-5, значит
2m-n+3p=-5
vector{x}*vector{b}=-11, значит
m-3n+2p=-11
vector{x}*vector{c}=20, значит
3m+2n-4p=20
Решаем систему трех уравнений с тремя переменными
{2m-n+3p=-5
{m-3n+2p=-11
{3m+2n-4p=20
Умножаем первое на 2 и складываем с третьим
{2m-n+3p=-5
{m-3n+2p=-11
{7m+2p=10
Умножаем первое на (-3) и складываем со вторым
{2m-n+3p=-5
{-5m-7p=4
{7m+2p=10
Умножаем третье на 5, второе на 7
{2m-n+3p=-5
{-35m-49p=28
{35m+10p=50
Складываем второе и третье
-39р=78
р=-2
m=(10-2p)/7=(10+4)/7=2
n=2m+3p+5=2*2+3*(-2)+5=4-6+5=3
О т в е т. vector{х}=(2;3;-2)