C'est ça.
L'âge de l'univers est 13.8 milliards d'années lumière. Ca veut dire que s'il existe une horloge depuis le début de l'univers, elle indique une date maximal de 13.8 milliards d'années.
Cela veut dire que l'objet le plus loin que l'on puisse voir est à 13 milliards d'années lumière.
En fait il faut que tu comprenne que l'univers est plus grand qu'il n'est vieux (l'univers est bien plus grand que 13 milliards d'années lumière). C'est pourquoi quelque soit la direction où on regarde, on est limité par le temps que la lumière a pu parcourir, c'est ce que l'on appelle l'horizon cosmologique.
C'est comme si tu étais sur terre, tu vois à 3 km autour de toi parce que la terre est ronde. Mais si tu te déplaces de 3000 km, tu ne verras que 3 km autour de toi, distance de l'horizon, et bien sûr tu es au centre de cet horizon.
Dans l'univers, on est au centre de notre horizon cosmologique. Au delà de cet horizon, il existe pleins d'autres endroits qu'on ne voit pas.
PS : je n'ai pas parlé de la finitude ou non de l'univers.