Radikálně ale změnil pracovní podmínky. Sám otroky nevlastnil, ale místo toho zaměstnával svobodné černošské dělníky a chudé bělochy, vyplácel jim spravedlivé mzdy. Toto rozhodnutí vyvolalo zuřivé nepřátelství ostatních majitelů plantáží.
Byl obviněn z podkopávání ekonomického systému Jihu a z vštěpování špatných myšlenek otrokům. Mnozí se ho snažili bojkotovat, Samuel ale jeho investice diverzifikoval. Měl zájem o severní společnosti, obchodní lodě a textilní mlýny. Už nebyl závislý jen na plantáži.
Se Sarah proměnil Beaumontovo panství v tajný úkryt pro uprchlé otroky. Muži a ženy dorazili diskrétně v noci, spoutáni, doprovázeni průvodčími podzemní železnice. Samuel jim nabídl jídlo, oblečení a peníze, aby mohli pokračovat v cestě na sever. Riskoval svůj život a bohatství za každého uprchlíka, kterému pomohl. V roce 1854 Sarah porodila jejich první dítě, chlapce, kterého pojmenovali Jacques, na počest Alžbětina zesnulého manžela. Jméno bylo symbolickým gestem – uznáním, že by se nedostali tak daleko, aniž by se nashromáždilo bohatství, které Jacques nashromáždil.
Beaumont, jakkoli nemorální zdroj, by nedovolil, aby se to stalo. V letech 1854 až 1860 se Samuel stal primárním cílem otrokářů Jižní Karolíny. Svobodný, bohatý a vzdělaný černoch, který zaměstnával svobodné dělníky a tajně pomáhal rozjetým otrokům.
Její pouhá existence zpochybnila celý systém otroctví. Politické napětí v zemi se zvýšilo. Kansas byl zapleten do nevyhlášené občanské války mezi abolicionisty a otrokáři. Alžbětini bratranci Édouard a Guillaume učinili poslední pokus o znovuzískání dědictví.
V roce 1856 byl předvolán soudce, aby znovu otevřel případ probate. Pane. Harperovi se podařilo nechat případ převést k federálnímu soudu, mimo dosah místní korupce. Rozzuřený Édouard zorganizoval přímý útok. Jednoho srpna se deset maskovaných mužů pokusilo Samuelův majetek vypálit, ale on tuto hrozbu předvídal a nechali své zaměstnance zřídit sledovací systém.
Žháři byli poraženi. Jeden z nich byl zatčen a přiznal se, že mu Édouard zaplatil. Tentokrát Édouard sám stanul před soudem. Guillaume byl odsouzen k deseti letům vězení za žhářství a pokus o vraždu, takže Charleston zůstal v troskách a ostudě. Zvolení Abrahama Lincolna v roce 1860 vyvolalo na jihu paniku.
Jižní Karolína byla prvním státem, který se v prosinci odtrhl. V dubnu 1861 znamenalo bombardování Fort Sumter v Charleston Harboru začátek občanské války. Pro Samuela byla válka jak osobní katastrofou, tak ztrátou naděje na případné zrušení otroctví. Konfederační úřady ho považovaly za nebezpečného severního sympatizanta. V červenci 1861 se domobrany zmocnily části jeho majetku, aby tam zřídily vojenský tábor. Vojáci mu vyrabovali zásoby, ukradli mu dobytek a terorizovali jeho dělníky. Samuel si uvědomil, že nemůže zůstat. Sarah čekala jejich třetí dítě.
V září tajně prodal svůj majetek severním makléřům a peníze převedl do bank v Bostonu a New Yorku. V listopadu rodina uprchla na sever na podzemní železnici, kterou Samuel tak často používal k přepravě uprchlíků. Cesta byla nebezpečná. Sarah porodila cestou na abolicionistické farmě ve Virginii. Jejich dcera se narodila svobodná v zemi státu loajálního Unii.
Do Bostonu dorazili v prosinci, kde Mr. Harper je srdečně přivítal. V Bostonu Samuel objevil jiný svět, kde svobodní černoši, i když stále oběti diskriminace, měli skutečná práva. Své jmění investoval do textilních továren, lodních společností a bank a stal se respektovaným podnikatelem. Sarah otevřela svobodnou školu pro černošské děti, kde je nejen učila předměty, ale také jim vštěpovala pocit hrdosti na jejich dědictví.
V roce 1863 podepsal Lincoln proklamaci o osvobození. Samuel aktivně pracoval na náboru černých vojáků pro Unii a využil své bohatství k vybavení celých pluků. Chtěl, aby se černoši aktivně podíleli na vlastním osvobození. V dubnu 1865 válka skončila kapitulací generála Lee. Otroctví bylo zrušeno.
V roce 1866 se Samuel vrátil do Charlestonu. Město bylo k nepoznání, zpustošené válkou. Beaumontovo panství převzala Konfederace a později jako kasárna byla využíváno jako nemocnice. Nyní okupují vojáci Unie. Samuel se vzdal svého titulu…
