Nel 1831 fu incarcerato a Savona e, dopo una lunga riflessione sulle debolezze della Carboneria, maturò la decisione di fondare una nuova associazione cospirativa e insurrezionale: la Giovine Italia, che propugnava la fondazione di un’Italia una, indipendente, libera, repubblicana.
Durante vari soggiorni a Ginevra, Lione e in Corsica aveva appoggiato i moti del febbraio del 1831 e, una volta fallita la spedizione italiana, si rifugiò a Marsiglia dove, nel luglio, scrisse una famosa Lettera a Carlo Alberto, per sollecitare il sovrano, salito al trono piemontese il 27 aprile di quello stesso anno, a battersi in favore della libertà e dell’indipendenza nazionale. In quei mesi diede alle stampe, tra l’altro, le Istruzioni generali per gli affratellati nella Giovine Italia e il Manifesto della Giovine Italia, e fondò il periodico Giovine Italia, con lo scopo di sostenere l’azione della nuova associazione.
Costretto a lasciare la Francia si trasferì nuovamente in Svizzera nel 1833. Soggiornò a Ginevra, dove preparò i piani per una insurrezione in Savoia e nel napoletano, e poi a Berna. Nella capitale svizzera, seppur inseguito da mandati di cattura internazionali e da una condanna a morte per i falliti tentativi rivoluzionari, fondò, nel 1834, la Giovine Europa. Si trattava di un’organizzazione aperta, scrisse Mazzini, a tutti coloro i quali credendo in un avvenire di libertà, di eguaglianza, di fratellanza tra gli uomini (...) vogliono consacrare i loro pensieri, le loro opere a fondare quell’avvenire. Cercava così di offrire una dimensione internazionale al programma della Giovine Italia.
Nel 1835 approfondì le sue riflessioni in materia religiosa e sul rapporto tra la politica e la religione dando alle stampe il suo testo più importante su questo argomento: Fede e avvenire, scritto prima in francese e poi tradotto in italiano da lui stesso.
Costretto a lasciare la Svizzera nel 1837, si rifugiò a Londra ove sposò la causa degli operai italiani, fondando una scuola serale riservata soprattutto a loro e ai loro figli. In quegli anni, anche per autofinanziarsi, collaborò intensamente ai periodici inglesi con articoli di storia e di critica letteraria. Mantenne però sempre una fitta corrispondenza con gli italiani, per continuare l’attività cospirativa e per rafforzare la Giovine Italia, duramente colpita dalle persecuzioni della polizia. Questa attività poggiava soprattutto sulla stampa: importante il ruolo svolto dai periodici Apostolato popolare e il Pellegrino, che in seguito diviene L’Educatore.