Вопрос по терминологии дифференциального исчисления.

Answer 1

Это вопрос только терминологии. Когда говорят о пределах, то для удобства вводится понятие "бесконечного" предела. Говорят "существует бесконечный предел". А обычные пределы - это числа.
Когда говорят о производной, то имется в виду конечный предел. Если предел бесконечный, то так и говорят "производная бесконечная", т. е. не существует. Геометрический смысл этого - вертикальная касательная.