1864年11月（同治三年十月），左宗棠作为闽浙总督离浙赴闽，奏请将在浙江的胡雪岩（当时已有“福建候补道”头衔）与另外几人调入福建，以资备用。

　　次年，左宗棠提出创办福州船政局的计划。左以胡雪岩“为不可多得之员”，“凡局务及出入款项，责胡光墉一手经理”。左宗棠派他与法国人德克碑、日意格共同商定《船政事宜十条》，制定了最初的规章制度。胡雪岩很重视章程事宜，写上船政的主权属于中国，外国员工来华工作系雇佣关系，要服从中国上一级官员的调度。同时，胡雪岩还策划聘请了法国人日意格、德克碑为正、副监督。他采取权力制衡的办法，请法国人帮助造船，利用法国人牵制英国势力，又请英国人教驾驶。新建立的船政局是中国现代第一个海军机构。

　　接着，因为西北战事，左宗棠奉命赴甘陕，乃举荐林则徐的女婿、原江西巡抚沈葆桢继任福建船政大臣；同时奏明清廷，称胡雪岩“才大心细”。胡雪岩辅佐沈葆桢，承担了筹措工料、聘请匠师、雇工、开艺局（技术学校）等重要的事务性工作。左宗棠在奏折中这样评价胡雪岩的功绩：“一切工料及延洋匠、雇华工、开艺局，责成胡光墉一手经理。缘胡光墉才大心细，熟谙洋务，为船局断不可少之人，且为洋人所素信也。”

　　l868年5月18日（同治六年十二月二十四日），福州船政局正式开工。第二年6月10日（同治八年五月初一日），该局建造的第一艘木壳轮船“万年青”号（排水量1450吨）下水。到1874年（同治十三年），这个局共造出15艘船。国有化率随着外国人的遣散也迅速提高。

　　作为左宗棠的最主要助手，胡雪岩充分吸收西方办理海军的先进经验。马尾船政学堂采用法国教育体制，把船舶工程学校与海军学校合二为一，是一所按技术分设专业的近代高等院校。该局设立前后学堂，前学堂学制造，由法国人教；后学堂学驾驶，由英国人教。陆续毕业的学生共628名（一说629名）。从1876年起，还先后派三批优秀学生68人（一说111名）赴欧洲深造，学习造船、驾驶、化学、冶金、地质等学科，培养高级技术人才。这批留学生学成归国后，大都成为造船专家和海军骨干。据不完全统计，福州船政学堂共培养1100多名学员，占中国近代海军同类人员的60％，其中包括中日甲午海战英雄邓世昌、林永升等。