Что означает O в этой формуле ?

Answer 1

Это О большое, в нотации Бахмана (и Ландау) , означает асимтотическую близость, примерно меньше чем указанная в скобках. Ищите подробности в сети по О большое ( и малое ещё есть) .
Тут формулы писать неудобно.
У вас приведена формула плюс погрешность примерно меньше обратной лямды в кубе.