Brevik var på Cort Adelers tid en liten by med stor eksport av trelast, spesielt til Holland. Kontakten med Holland var på 16- og 17-hundretallet så omfattende at det ble snakket hollandsk i Breviks gater. Far til Cort drev først saltverket på Langøya utenfor Langesund, før han slo seg ned i Brevik og gikk inn i byens lukrative trelasthandel.

Cort Adeler vokste opp i sjøfartsbyen Brevik. Byen var på 1600-tallet preget av livlig handel og stor trafikk av seilskuter. Barndommen og oppveksten ble preget av sjø og sjøfart, og Corts utferdstrang ble tidlig vekket.