En primer lugar, el viaje en el tiempo en el sentido más estricto de la palabra no es tan fantástico, como lo ilustra brillantemente el xkcd: 
Pero volviendo a su pregunta:
Viajes: si algo viaja en el espacio o no, depende de su elección de coordenadas. Por ejemplo, puedes imaginar a dos astronautas que se acercan uno al otro: desde la perspectiva de uno de ellos, el otro viaja hacia él y viceversa.
Por lo general, tendemos a estar de acuerdo en usar un sistema de coordenadas que cubra la Tierra, por lo que generalmente no estamos en desacuerdo sobre si algo ha viajado o no (salvo en el caso de que haya algún problema que indique que todos estamos viajando alrededor del Sol a tal o cual velocidades). En pocas palabras: si algo viaja en el espacio o no, en realidad depende de su elección de coordenadas, pero generalmente solo estamos de acuerdo en el significado “tiene esto y lo que viajó en relación con la superficie del planeta”.
El viaje en el tiempo es diferente; sin importar la elección de coordenadas, verá que las cosas avanzan hacia el futuro. Puedes visualizar esto con un cono de luz como este: 
El ‘cono de luz futura’ representa las regiones del espacio-tiempo a las que puede ir (para salir de él, tendría que exceder la velocidad de la luz). Aunque su elección de coordenadas no afecta si las cosas viajan hacia el futuro o no, en realidad determina qué tan rápido lo hacen debido a un efecto llamado dilatación del tiempo. Una forma realmente agradable de pensar esto es en términos de impulso (si no está familiarizado con la física, el impulso en la física clásica es simplemente que la masa de algo multiplica su velocidad). En la relatividad, sin embargo, las cosas tienen una versión de impulso en cuatro dimensiones llamada simplemente Cuatro-impulso. Si está mirando un objeto en reposo en relación con usted, el impulso de cuatro puntos solo indica la dirección del tiempo y, como puede ver en el artículo de la wiki, tiene la longitud [math] \ frac {E} {c} [ / math], donde [math] E = mc ^ 2 [/ math] por lo que la longitud es simplemente mc .
Si el objeto comienza a moverse en relación con usted, la duración del impulso de cuatro permanece igual, pero su dirección girará para apuntar menos en la dirección del tiempo y más en la dirección del espacio. Esta es la dilatación del tiempo.
Larga historia corta: no si , pero la rapidez con la que ves que algo viaja en el tiempo es relativo a tu elección de coordenadas.
De todos modos, la pregunta no requiere una respuesta específica, pero yo era A2A, así que decidí irme a una perorata, ojalá tuviera sentido.