Задача получилась интересная.  В интернете четкого ответа не нашлось. По моей версии получается, что первый закон Ньютона здесь ни при чем и ракета не должна лететь по прямой, поскольку действует только одна сила гравитации. И она не уравновешена никакими другими силами, поскольку " сила инерции", которая толкает ракету по касательной , на самом деле является не силой, а импульсом. Этот импульс ракета получает при разгоне. Этот импульс отклоняет ракету от вертикального падения на Землю. Траектория  движения ракеты на орбите зависит от  соотношения величины импульса. Импульс зависит от скорости. Чем выше скорость, тем выше орбита.