王濬是弘农湖人，出身于世代为二千石的官吏之家。王濬少年时代就博通典籍，而且姿貌俊美。但不注意修养品行博取名声，故而不为乡里所称道。稍后才改变志节，爽朗旷达，恢宏有大志。
王濬曾经修建自己的宅第，在门前开了一条数十步宽的路。有人对他说路太宽有何用，王濬说：“我打算使路上能容纳长戟幡旗的仪仗。”众人都笑他，王濬说：“陈胜说过，燕雀哪能知道鸿鹄的大志呢？
王濬稍稍长大之后，被州郡长官征辟为河东从事。因王濬为人严正清峻，一些素来不廉洁的官吏听说他到任，皆望风而去。刺史燕国人徐邈有个才貌俱全的女儿，因选择夫婿而未嫁。徐邈便大会同僚佐吏，令女儿在内观看，女儿看中了王濬，并指着告诉了母亲，徐邈便把女儿嫁给了王濬。
后来，王濬受征南将军羊祜征辟，“参征南军事”，羊祜以深交知己待他。羊祜的侄子羊暨对羊祜说：“王濬为人志向太高，奢侈不节，不可单独担当大事，对他应该有所抑制。”羊祜说：“王濬有大才，将要实现他的愿望，是可以任用的。”后转为车骑将军从事中郎，有见识的人认为羊祜可算是善于荐贤的人了。
王濬又任巴郡太守，巴郡与吴国接壤，兵士苦于战争徭役，生了男丁多不愿养育。王濬制定了严格的法规条款，减轻徭役课税，生育者都可免除徭役，被保全成活的婴儿有数千人。
晋武帝泰始八年（272年），王濬转任广汉太守，对百姓广施德政，百姓非常爱戴他。一次，王濬梦见有三把刀悬挂在屋梁之上，不一会，又益（增）一刀。王濬惊醒后心中十分厌恶。主簿李毅拜了两拜表示祝贺道：“三个刀是州字，又增加一个，府君将要做益州刺史吧！”不久后，益州牙门将张弘发动叛乱，杀死益州刺史皇甫晏，朝廷果然迁王濬为益州刺史。王濬设下计谋，将张弘等人全部杀死，平息叛乱，因功封关内侯。王濬在任，广施仁政，树立威信，当地各族百姓，多来归附。
王濬因政绩突出，被拜为右卫将军、大司农。车骑将军羊祜当时正筹划平吴，素知王濬奇略过人。便密上表章，请仍留王濬于益州，参与平吴大计。同年·，晋武帝依羊祜之建议，复任王濬为益州刺史。
晋武帝谋划灭吴，下诏让王濬修造舟舰，王濬造连舫大船，方一百二十步，每艘可装载二千余人。大船周边以木栅为城，修城楼望台，有四道门出入，船上可以来往驰马。又在船头画上益鸟首怪兽，以恐吓江神，船舰规模之大数量之多，自古未有。王濬在蜀地造船，削下的碎木片浮满江面，顺流漂下。吴建平太守吾彦取些木片呈给孙皓说：“晋必有攻吴的打算，应在建平增兵防守，建平攻不下，晋军终不敢东下。”孙皓不听。当时吴国有童谣：“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙。”而王濬的小字又是“阿童”，正应了童谣之言，于是晋武帝拜王濬龙骧将军，监梁益诸军事。
当时朝中大臣对伐吴纷纷议论谏阻，王濬给皇帝上疏说：“臣多次查访研究吴楚的情况，孙皓荒淫凶暴，荆扬一带无论贤愚，没有不怨恨的，观察目前形势，应从速伐吴。今日不伐，形势变化不可预测。如果孙皓突然死去，吴人更立贤主，文武各得其所，人尽其才，则吴国就成了我们的强敌。再者，臣造船已经七年，船日渐腐朽损坏，另外臣年已七十，死期临近。以上三事如不遂人愿，伐吴更加困难。诚恳希望陛下不要失去良机。”武帝内心同意王濬的意见。
贾充、荀勖进谏以为不可伐吴，只有张华坚意劝武帝伐吴，又遇上杜预自荆州上表请求伐吴，武帝这才下诏，分别布署伐吴兵力。王濬于是统领水军。王濬先前在巴郡所保全的男婴，现在都到了服兵役供徭役的年龄，他们的父母都劝勉从军的儿子说：“是王府君给你的生命，你要勤勉效力，不要贪生怕死啊！”
咸宁五年（279年）十一月（《晋书·王濬传》作太康元年（280年）正月），王濬率水陆大军自成都沿江而下，过瞿塘峡、巫峡，进至秭归附近。王濬率巴东监军、广武将军唐彬攻破吴丹阳（今湖北秭归东南），擒吴丹阳监盛纪。然后顺流而下，进入西陵峡，遇到了吴军设置的拦江铁锁和暗置江中的铁锥。由于此前羊祜擒获吴国间谍，得知上述情况，王濬就做了几十个大木筏，每个也有方百余步大，筏上扎成草人，被甲执杖，令善水士兵乘筏先行，铁锥刺到筏上都被筏带去。又做火炬，长十余丈，大数十围，灌上麻油，放在船前，遇到铁锁，就点起火炬，将铁锁熔化烧断，于是战船通行无阻。
太康元年（280年）二月初三，攻克西陵，俘获吴镇南将军留宪、征南将军成据、宜都太守虞忠。初五，攻克荆门、夷道二城，俘获监军陆晏。初八，攻克乐乡，俘获水军督陆景，平西将军施洪等投降。十八日，晋武帝下诏进王濬为平东将军、假节、都督益梁诸军事。
王濬从蜀出兵，兵不血刃，无坚不摧，夏口、武昌的吴军，无敢支吾抗拒者。于是挥师顺流而下，直抵吴都附近的三山，孙皓派遣游击将军张象率水军万人抵御王濬，张象望见晋军旗帜而投降。孙皓等听说王濬军队的旗帜器甲，连天蔽江，威势极盛，莫不胆破魂飞。于是采纳光禄勋薛莹、中书令胡冲之计，向王濬递上降表说：“吴郡孙皓向您叩头请死罪。昔日汉室失控，九州分裂，我先人乘机占有江南，遂恃山河险阻，与魏乖离对峙。大晋建国，德被四海，愚昧卑劣之人，偷安于一隅，不知天命。至于今天烦劳您的六军，风餐露宿，远临江边。吴人举国震惊，命存片刻之人，尚思攀缘天朝得宽宏光大之恩。谨遣私署太常张夔等送上所佩玺绶，委身以待处分。”