Mr. Libby fu pertanto sloggiato dal suo negozio senza troppi complimenti, ma l’insegna che recitava L. Libby & Son, Ship Chandlers non fu rimossa, e così la nuova prigione finì per essere identificata da tutti come Libby Prison.
A piano terra dell’edificio l’Esercito Sudista installò alcuni uffici e l’infermeria, mentre il primo e il secondo piano furono utilizzati per la detenzione dei prigionieri. Lo scantinato fu suddiviso in tre parti: nel lato ovest fu posizionato un magazzino, al centro si trovava la carpenteria e a est le cucine che, però, dovettero essere abbandonate dopo poco tempo a causa di un’infestazione di ratti provocata dalla presenza del cibo e dalla abbondante quantità di paglia che era stata posta sul pavimento. La sezione di scantinato fu quindi chiusa e divenne nota come Rats’ Hell, l’Inferno dei Ratti, un luogo talmente lurido e sgradevole che perfino le sentinelle sudiste lo evitavano, entrandovi solo per pochi secondi nei loro giri d’ispezione.
Ben presto la Libby Prison si guadagnò la sinistra fama di essere la peggior prigione Confederata, fatta eccezione per la famigerata Andersonville: nel 1863 vi erano confinati ben 1200 ufficiali nordisti, stipati in enormi, cupi e poco ventilati stanzoni, denutriti, con nient’altro che un pagliericcio per dormire e con una scarsa e approssimativa assistenza sanitaria. Per molti di essi la morte finiva per essere l’unica liberazione possibile da queste terribili sofferenze.