El puerto siempre ha sido el corazón de Lastres. Su configuración actual data en buena parte del siglo XVIII, cuando se mejoraron las infraestructuras que aún hoy protegen a la flota del oleaje. En esa época la pesca convivía con las primeras industrias de salazón y escabeche.
De aquellos años es también uno de los símbolos del pueblo: la Torre del Reloj. Cuadrada y de varios pisos, se levantó para vigilar el puerto; en 1751 se le añadió un gran reloj blanco traído de Londres, curioso por tener una sola aguja.
Cuenta la tradición local que aquel reloj salió de la misma casa relojera que, un siglo después, construiría el famoso reloj de la Puerta del Sol de Madrid.
La Torre del Reloj nació en el siglo XV como torre de vigía sobre el puerto y la bahía — todavía puede verse una ventana con arco de aquella época en su fachada. Su aspecto actual data de 1751, cuando fue reconstruida y se le añadió su pieza más famosa: un reloj traído de Londres. Es un reloj de pesas, con campana, al que hay que dar cuerda a diario — tarea que hoy sigue haciendo un vecino del pueblo — y, según cuentan en Lastres, desde 1751 solo en una ocasión dejó de dar las horas. Se dice incluso que salió de la misma casa relojera londinense que un siglo más tarde fabricaría el famoso reloj de la Puerta del Sol de Madrid.
Adosada a la torre estuvo la escuela de La Trinidad, la primera de Lastres, donde estudiaban sobre todo hijos de pescadores — y donde aprendió sus primeras cuentas Agustín de Pedrayes, el matemático más ilustre que dio el pueblo. Muy cerca, las Escaleras de la Fragua (siglo XVII) bajan al puerto con sus 105 peldaños, construidas sobre el sendero tallado en el acantilado que los vecinos usaban desde el siglo XIV para llegar al embarcadero.