Den første vi vet om har bodd i Tollbodgården er Nils Larsen, og han har også efter all sannsynlighet bygget den omkring 1760. Han hadde også god råd til å opføre en så statelig patrisiergård, da han var en rik kjøpmann og skibsreder og dessuten pleiesønn av og arving til den bekjente eiendomsbesidder Jakob Nilsen Lerstang. Hvorvidt der har stått et hus på tomten før Tollbodgården blev bygget, forlyder der intet med bestemthet om. Men sannsynligvis har Jacob Nilsen hatt ett der også. Han eide nemlig flere hus i Brevik foruten 20 gårder i Eidanger og var således en godsbesidder og spekulant i stor stil. Vi kan ikke følge Nils Larsens familie lengere tilbake i tiden enn til begynnelsen av det 17de århundre. Da levde der en kjøpmann i Brevik ved navn Jan AxeIsen som døde i 1690. Han hadde to døtre, GunhiId og Bodil. Sistnevnte blev gift med Jakob Nilsen Lerstang og malerier av begge henger i Brevik kirke, som de forærte mange og store gaver til. GunhiId blev gift med Jakob Nilsens bror Lars Nilsen Lerstang. Bade Gunhild og Lars døde i forholdsvis ung alder omkring 1723. De hadde flere barn, og blandt disse var Nils Larsen. Farbroren tok barna til sig og sørget godt for dem. Jakob Nilsen Lerstang døde som vi har sett i 1756 og hans pleiesønn Nils har nok arvet en betydelig del av hans formue og eiendommer. Han kunde ialfall gi sin datter Bodil (opkalt efter pleiemoren) en fyrstelig medgift, da hun den 1ste februar 1771 blev gift med Jørgen Zachariassen fra Skien, nemlig ikke mindre enn 4 store gårder i Eidanger: Lanner, Lønne, Kokkersvold og Traaholt. Brudeparret hadde således god råd til som det gjorde i anledning av sitt bryllup å forære til Breviks gamle kirke «Et rødt Overtrek til Alteret med deres Navnetrek i Guldbroderier». Nils Larsens hustru hette Amborg og var datter av David Chrystie. I sitt ekteskap med henne hadde han foruten ovennevnte datter Bodil sønnen Jakob, som flyttet fra Brevik i 1788, og David Chrystie, d. 1796⁵⁾, samt Lars. Denne blev gift med en datter av Winfeldt i Tollbodgården i 1786, i hvilken anledning han gav til kirken den røde fløielsmessehagel som av Breviks menighetsråd blev solgt til Brekke museum i 1917.

Nils Larsen drev en betydelig virksomhet som skibsreder og var eier av mange fartøier. En tid var svogeren Jørgen Chrystie hans kompagnon, og firmaet hette da Chrystie & Larsen og hadde kontorer i Tollbodgården. Ingen av Nils Larsens barn overtok denne efter hans død i 1776. Det var som nevnt Lars Winfeldt som kjøpte den. Om ham vet vi ikke annet enn at han var officer og hadde formue og at han oprinnelig var kommet fra Slesvig. Han levde i Oslo før han kom hit, og i Brevik har han neppe spillet noen større rolle. Da han blev gammel og svakelig lot han sin svigersønn Joachim Borse overta gården; han eide den nu i noen år og solgte den som før omtalt til Hans Erichsen. Denne som blev født i 1757, var en meget velstående skibsreder og trelasthandler, som hadde innvandret fra landet etsteds til Brevik i den siste halvdel av det 18de århundre. På tomten nedenfor det hus han eide for Tollbodgården hadde han skibsbyggeri, hvor han lot bygge mange skuter. Blandt disse kan nevnes «Hensigten», «Søblomsten», «3de Venner» (ført av Halvor Dahl») samt «Friheten», brig «Industri» og skonnert «Neutral». Trelastplass hadde han på den tomten, som lå nedenfor «Grubbehaugen» og som strakte sig fra hjørnet av Vindebroen og ut til pynten av den nuværende kommunebrygge. Men den blev for liten, og han fikk en større plass, da han overtok Tollbodgården. Dennes tomt gikk helt bort til fru Iversens hus. Her stod i gamle dage en sjøbod⁶⁾ og foran denne noen benker, hvor Joachim Borse pleide å sitte og ta sig en piperøk og slå av en passiar med sine venner. Hans Erichsen gav til Universitetet i 1811 3000 riksdaler. Det var kun en, Thomas Blehr, som gav mere, nemlig 4000 r.d. Anders Jensen gav 1000. Forøvrig var bidragene små fra Brevik. At Hans Erichsen var en meget ansett mann fremgår at han var selvskreven til å ta imot den prinsen, som engang på et orlogsskib besøkte Brevik (Prins Christian Fredrik?). Skibet lå ved Blokhustangen, og prinsen blev rodd i land i en elegant jolle av noen av våre fornemste skippere, hvoriblandt Claus Barclay, Herman Grubbe og Christian Reiersen. De var efter hvad Kaja Erichsen har fortalt, for anledningen klædt i sorte benklær, hvite buseruller og hadde små lavpullete sorte hatter på hodet. Prinsen blev bevertet i den store salen, hvor der nu er tollkontorer, men som dengang ikke var avdelt.

I nøds- og krigsårene gikk det tilbake med Hans Erichsen. Pengene tapte i verdi, en del av hans skiber forliste eller blev kapret; resten blev liggende på havnen til ingen nytte. Han måtte gjøre opbud i 1820 og alt han eide blev solgt fra ham ved tvangsauksjon. Det var en alvorligere affære å gå fallitt i de dager enn nu. Erichsen levde ikke mange årene efter at denne skjebne hadde rammet ham og gjort ham forarmet, og da han døde i 1825, blev enken efter den før så rike og mektige mann sittende igjen i trange kår. Heldigvis kom også døden snart som en befrielse for henne, og i 1828 forlot hun denne verden med alle dens omskiftelser. Hun og Erichsen hadde en sønn som hette Lars; han blev født 1783 og døde som kjøpmann og smakkehandler i Brevik i samme år som sin mor. Hans hustru var den 12te i rekken av Simon Zachariassens barn. Det var ikke noe apotek i Brevik på den tid, og han hadde derfor et skap i sin butikk, fullt av store flasker med kamfer og hoffmannsdråper o. l., som han solgte til syke medmennesker i sin fødeby. Vi har tidligere sett at han bodde i det huset som nuværende kjøpmann Lars Eriksen eier. Han hadde to døtre, hvorav den ene hette Karen Simonine Dorthea og er identisk med den i det foregående flere ganger omtalte «Kaja» Erichsen. Hun var forlovet med sitt søskendebarn David Chrystie, der omkom på sjøen i 1836 som styrmann med briggen «Louise». Selv døde hun først i 1906, 94 år gammel. Den annen datter hette Hanna Bolette, og hun blev gift med skibsfører Petter Severin Dahl, som bodde i det såkalte Anders Sørensens hus, nu Stålpressens. Petter Dahl var sønn av Halvor Dahl og hustru Hanna f. Tyrholm og far til den av litt eldre Breviksfolk kjente Lars Dahl.

Ved auksjonen over Hans Eriksens konkursbo blev Tollbodgården kjøpt av Anton Stæger. Han var sønn av havnefoged Lauritz P. Stæger i Kjøbenhavn og kom som månedsløitnant op til Norge, hvor han i 1817 blev gift med Else Malene Hansson i Tønsberg, hvis mor var født Holst og søster til Simon Grøtter Wiborgs hustru. Som eier av Tollbodgården forsøkte han sig sammen med sin slektning Samuel Wiborg som trelasthandler noen år. Men det gikk den gale veien både med innkjøp og skibning og i 1826 måtte han gjøre opbud. Dette tok så på ham at det gikk rent rundt for ham, og han rømte fra alt sammen, deriblandt gamle bestefar Holst, som var i huset hos ham. Han blev atter sjømann, og som skibsfører og antagelig også skibsreder, kom han sig op igjen og blev formuende, og ærlig som han i grunnen var, kom han i 1813 tilbake til Brevik og betalte alt det han skyldte. Han døde som havnefoged i Kjøbenhavn 1856. Boet efter Stæger blev stående uopgjort i ca. 3 år, inntil gården i 1829 blev kjøpt av Christen Larsen (for ca. 1500 spd). Han var i 1824 kommet hit fra Kragerø og var kjøpmann, hollandsk konsul og smakkehandler. I 1840 leiet han bort gården sin til tollvesenet og da han i 1841 gjorde opbud blev den solgt til staten. Pastor Esmark optrådte som kommisjonær for denne og fikk tilslaget for 2700 speciedaler. Chr. Larsen døde 1844 47 år gammel.

Tollbodgården ligger som den har gjort i all sin tid på sin isolerte og dominerende plass og er en pryd for byen og for havna. Den er rik på minner fra fortiden; den han sett slekter komme, leve og dø ut. Den er rik på minner om livets omskiftelser; den har sett Brevik trives og blomstre; den har sett havnen full av fartøy,  hollendersmakker, store langfarende skip og mindre trelast- og isskuter. Den har sett Brevik gå tilbake og dens makt og velstand som sjøfartsby forsvinne.

Vi har lært å kjenne en del av dem som har bodd i denne gården, og derved er den blitt oss kjærere og mere interessant. Nu vaier statens trefarvede splittflagg fra dens flaggstang og det vil det antagelig gjøre i de tider, som kommer.

Skrevet av Dr. Nicolay W. Coch - fra boken "Brevik i gamle dager" utgitt i 1929,