Как решить "ультрасложную" систему ?

Answer 1

Эту систему не надо решать, е надо анализировать.
На первый взгляд тут в глаза бросается, что при b = 0 первое уравнение вырождается в:
x = 0
Если, при этом, a не равно 1, решений нет. А что при a = 1? Второе уравнение распадается на :
x = 0, y = 0.
То есть при a = 1, b = 0 решение есть.
Остается посмотреть, будет ли решение при всех остальных b. Попытка рассмотрения графически тут же подскажет вам, что решения есть.
Значит ответ: a = 1.