Откуда взялась эта формула скалярного произведения?

Answer 1

скалярное произведение задается аксиомами.
у вас аксиомы вроде не нарушены, операция линейна и v*v=0

а вид такой необычный потому, что мы привыкли рассматривать скалярное произведение в "родном" базисе, в котором (1, 0) * (0, 1) =0, а тут оно взято в каком-то другом.

то есть, существует матрица перехода А такая, что для получится привычное нам "отротгональное" скалярное произведение.

Answer 2

Нет такой формулы (в общем случае в ОНБ скалярное произведение через кординаты так не выражается) .
А в твоём случае, наверное, просто векторы какие-то удачные попались, и вот именно для твоего случая эта формула как-то выводилась.