Durante il suo soggiorno a Pisa Byron suscitava spesso la curiosità dei cittadini, confermando i pettegolezzi circa il suo carattere bizzarro, come quando cavalcava sulle spallette dell’Arno e poi rientrava nel suo palazzo, attraversava l’atrio, saliva le scale e infine si affacciava al balcone del primo piano sempre in sella al suo cavallo, mentre i pisani lo osservavano stupiti.

Byron si trovava a disagio tra gli estranei e cercava di nascondere questo stato d’animo ostentando pose da persona eccentrica, uomo di mondo, dandy. Inoltre la malformazione al piede destro, che aveva fin dalla nascita, contribuiva a renderlo scettico, cinico e scorbutico. Ma chi ebbe occasione di conoscerlo intimamente rimase colpito dalla sua gentilezza e cordialità, dalla disinvoltura priva di affettazione e dai suoi modi da gentiluomo. Era inoltre un amante degli animali e un bravo padrone adorato dalla sua servitù.
La vita degli inglesi a Pisa proseguì in una tranquilla routine fino al 24 marzo 1822, giorno in cui accadde uno spiacevole incidente: quella domenica pomeriggio Byron e i suoi amici rientravano dalla consueta passeggiata a cavallo alle Piagge quando vennero sorpassati ed urtati dal sergente Stefano Masi, dei Cacciatori Reali Toscani a cavallo, che rientrava di gran fretta in caserma per riprendere servizio. Indignati gli inglesi lo inseguirono fino alla porta della città e qui ci fu uno scontro col sergente Masi, aiutato dai militari di guardia alla porta, da cui uscirono feriti Shelley ed un altro amico. Il litigio riprese sotto Palazzo Lanfranchi ed il sergente Masi venne ferito gravemente da uno dei servitori di Byron. Il sergente non morì, ma uno dei servitori di Byron (che era però innocente) dopo il processo venne esiliato dal Granducato di Toscana. E’ difficile sapere come si svolsero realmente i fatti perché esistono svariate versioni di questo episodio, spesso contraddittorie, comunque questo incidente peggiorò i rapporti tra la popolazione pisana e gli inglesi e segnò l’inizio del declino del circolo pisano.

Da quel giorno si susseguirono una serie di sfortunati eventi che contribuirono ad allentare i legami all’interno della compagnia.
Il 20 aprile, dopo una breve malattia, Allegra, la figlia naturale di Lord Byron, morì di febbre tifoidea in un convento di Bagnacavallo. Quando la notizia lo raggiunse, Byron rimase stordito dal dolore tanto che non riuscì a versare una lacrima, come scrisse a Shelley, Il colpo fu incredibile e inaspettato, poiché credevo che il pericolo fosse passato….
Il dolore fu forse maggiore per il rimorso di aver abbandonato la piccina in un luogo dove non conosceva nessuno e di non essere mai andato a trovarla nonostante le sue continue richieste.