移居纽约很快就让他得到了好处。1863年，他娶了一个出色的纽约商人的女儿海伦R26;米勒为妻。海伦的家庭属于纽约严密的上层商业社会，这个阶层通常只与门当户对的人家通婚。但是，海伦的父亲喜欢杰伊，二人结婚后也与海伦的父母住在一起。婚后，他们很快就接连生了六个孩子。在杰伊的后半生中，海伦和六个孩子成为他生活稳定的基石。

　　仅仅是出于偶然，古尔德在1861年终结的皮革生意却让他与修筑铁路结了缘。在做皮革生意时，他的另外一个合伙人持有纽约尚普兰湖地区的一条小铁路发行的五万美元的优先抵押债券，而这条铁路当时陷入了困境。内战开始以后，市场也崩溃了，原本1美元的债券现在跌到了10美分。古尔德买下了这些债券，并得到了这条铁路的有效控制权，而这肯定用尽了他当时所有的现金。据他自己说，在纽约的前几年里，他把大部分时间都花在使这条铁路恢复运营上了，而我们现在也只能凭他的简短叙述来确认是否真的如此了。几年之后，当这条铁路与一条大铁路合并时，他的债券是按票面价格计算的，但是已经变得非常值钱了。林肯去世的时候，他的名字在华尔街还几乎无人知晓；但是，他毕竟已经再次成为了一个玩家。