В каких случаях раньше писалась Юс малый, а в каких случаях А йотированое; когда ещё не было буквы Я ?

Answer 1

Смотря что понимать под "раньше". Изначально йотированная А использовалась для обозначения буквы Я в её современном значении, а юс малый обозначал носовую Э (сейчас такая осталась только в польском) . Где-то к концу 11 в. носовая Э в РЯ исчезла и с тех пор слова, в которых писали юс малый, стали читаться через Я/А.

Answer 2

Юс малый писался там, где до монофтонгизации дифтонгов в праславянском либо в праиндоевропейском было en семя - *semen, обычно он после согласных употреблялся, а йотированный аз после гласных или в абсолютном начале слова