1770年，具有反叛精神的詹姆斯·卡内基在密尔暴动中发挥了重要作用，后来因煽动暴动罪被控入狱。无论如何，他还是挣了足够的钱来养家糊口。卡内基的纺织业客户来自于社会的各个阶层——甚至就连埃尔金夫人玛莎（第五任埃尔金伯爵的妻子）都从卡内基那里购买亚麻织品。

    詹姆斯的长子安德鲁继承了父亲的纺织手艺，安德鲁和父亲都是自主经营，并且受产品销售规则的限制。因此，比起他们从事农业的邻居来说（这些人一生中到过的最远地方也只不过离家几公里而已）卡内基父子更加灵活。年轻的安德鲁（即后来富有的安德鲁·卡内基的祖父）对法夫地区十分了解，从卡尔罗斯的鹅卵石小巷到苏格兰在圣安德鲁斯的老教会首都，他都了如指掌。也正是在附近的莱姆科恩斯，他遇到了自己的意中人。

    莱姆科恩斯以及后来比较新的、以繁荣的煤炭装运业闻名的布鲁斯哈文港，是从酿造业到肥皂制造业等一系列广泛行业的中心所在，它还是航海业汤姆家族的居住地。正是在这里，安德鲁·卡内基的祖父邂逅了伊丽莎白。伊丽莎白是富裕的轮船主乔治·汤姆和伊丽莎白·威尔基之女，让其父亲感到失望的是伊丽莎白决定嫁给这个身无分文的纺织工。尽管伊丽莎白的父亲曾威胁如果她这样做就会失去遗产继承权，但为了爱，伊丽莎白还是义无反顾地嫁给了年轻的安德鲁·卡内基。汤姆夫妇并没有参加女儿的婚礼，伊丽莎白的父亲还决定不从其船队中挑条船作为嫁妆送给女儿——在他们其他的女儿出嫁时通常都是以船作为嫁妆的。历史学家J·B·麦凯这样描述伊丽莎白和其父亲的和解：伊丽莎白同意如果她以后生了个儿子，那么就让儿子和自己的父亲同名；如果生女儿，则让女儿和自己的其中一个姐妹同名。后来，伊丽莎白生下了一个女儿，在洗礼的时候，伊丽莎白一家聚在了莱姆科恩斯长老教堂，并决定这个女孩跟随汤姆家的名字。在安德鲁·卡内基看来，这带有点行贿的意味。当牧师哈登问孩子叫什么名字时，安德鲁回答道：“她和我阿姨的名字一样，叫安。”汤姆一家从教堂蜂拥而出，从此以后两家再没有来往。

    长期以来，苏格兰都极度尊重教育。在改革席卷中世纪教堂后，苏格兰长老运动的首部法规书（1560年）决定要在每个教区建立一所学校。9此外，在教育平均主义的氛围下，那些曾经拒绝过有天赋的孩子的教育体系为那些聪明的孩子提供了很多机会。尽管如此，很多家庭还是无法为孩子支付正规教育的费用，因此，自我教育在并不富裕的家庭中就流行起来了。直到1872年颁布了《教育法案》（苏格兰），国家才首次承担起儿童教育的责任来。然而在帕提姆尔，安德鲁·卡内基早已加入自我教育之中。

    帕提姆尔有一栋被称为“学院”的楼，当地的纺织工和农民都纷纷聚集在此学习自我提高的课程。这些课程丰富多彩，从政治、哲学到经济学、神学无所不包。他们的精神神父是工人阶级的英雄罗伯特·伯恩斯，他在艾尔郡塔伯顿学士俱乐部的狂欢为学院提供了模板。很快，安德鲁·卡内基成为这所学院自称的教授，实际上他更多的时间都是和作为自我教育的社会饮酒问题联系在一起。10当地的传统认为，长久消失的牛头酒馆是这个学院的主要校园的所在地。只要一有钱，他们就会订阅1817年才问世的《爱丁堡政治文学报》（1855年，该报改名为《苏格兰人日报》），并且聚在一起阅读新一期的沃尔特·斯科特从1814年就开始发表的《威弗利》小说。一旦人们有了争论和辩论，那么他们总会记起卡内基的祖父，在那个时候他是个颇具影响力的人物。