[m](\vec{a}+\alpha \vec{b})\cdot (\vec{a}-\alpha \vec{b})=\vec{a}\cdot\vec{a}-\alpha\vec{a}\cdot \vec{b}+\alpha\vec{b}\cdot \vec{a}-\alpha^2 \vec{b}\cdot\vec{b}=[/m]
[m]=|\vec{a}|\cdot|\vec{a}|\cdot cos0^{o}-\alpha^2\cdot | \vec{b}|\cdot|\vec{b}|\cdot cos0^{o}=3\cdot 3-\alpha^2\cdot 5\cdot 5=9-25\alpha^2[/m]
Ненулевые векторы ортогональны ⇔ их скалярное произведение равно 0
[m]9-25\alpha^2[/m]
[m]\alpha^2=\frac{9}{25}[/m] ⇒ [m]\alpha=\pm \frac{3}{5}[/m]