益阳城邑的崛起，当在宋元之间，特别是元代升州以后。明初，益阳人口骤降，“降州为县”，但已纳入政治视野的战略分量似乎有增无减。《益阳县志》记载：“明洪武初年，指挥胡海洋镇县，筑土为城，挖壕堑，立敌楼，岁久圮。”当时，据守益阳的都指挥使胡海洋面对十室九空、百废待兴的益阳县邑，决定带领士卒筑土为城，城上修立战楼，并在城外深挖壕堑。当然，胡海洋的土城主要是从军事上考虑的，却也为恢复益阳城起到一定的作用。后因土城疏于修葺，屡遭水害，不久即倒坍。洪武三年（1370），田俊出任益阳知县，任内多有建树。田俊招抚游民，定民数，稽田粮，使元末战乱的益阳逐渐得到安定，随后重建县衙，修学宫，等到洪武十三年（1380）离任时，益阳又恢复了旧朝的生机和活力。
明万历三十六年（1608）的洪水，加之张献忠起义，益阳城破坏严重。“（崇祯十六年）十一月，张献忠屠益阳”，“焚杀无数”，“驱市民千人，杀于起春亭江畔”。“但此一时期，在益阳官方与民间的共同努力下，益阳城几番修葺，已经初具规模。益阳修建的‘城垣’始见于明洪武初，当时筑城所用材料简单，用泥土筑成。”其后，“成化年间（1465—1487）典史赵安，弘治年间知县赵时中、刘志道屡加修筑，东至水北桥，西至常泰门，与鲁肃城相拒。”如此几经修缮，益阳城自水北桥（今东门口）至常泰门（今西门口），都形成相当大的规模，城埠逐渐扩建，塘汛驿站增多，城垣复苏，宗祠陆续兴建，交通贸易逐步发展繁荣。
明太祖死后，其孙朱允炆继位称惠帝，即建文帝。靖难之变，据说建文帝从南京出逃，匿踪来益阳会龙山，栖身于宝泉古寺（后易名栖霞寺），其人其事与“会龙栖霞”胜景一道，被后人传为千古美谈。随着益阳城的不断恢复，吸引了不少官贾在此兴家置业。永乐十三年（1415），进士出身的益阳人曹宏凭借仕朝十余年累积的资财，在县城置办了可观的家产。永乐二十二年（1424），明皇室贵烰被封为益阳王，在益阳城建有规模不小的府邸。正德六年（1511），太祖五子之嗣睦株被封为益阳王，亦在益阳城兴修宅院。这是继贵烰之后，又一位明皇室成员在益阳城受封。
嘉靖二十九年（1550），四川叙州富顺人刘激出任益阳知县。次年，刘激在益阳城大兴土木。第一是在鲁肃堤及胡海洋土城基础上外包青砖，改筑砖城。当时，鲁肃堤位于“儒学后墙道旁”。刘激从鲁肃城遗址筑城向西延伸至何家桥（今名贺家桥），城墙临资江北岸，内土外砖。城基宽二丈，路面一丈，高一丈二尺。筑有四座城门：东门称银城（今东门口），西门称金城（今西门口），南门称迎恩（今南门口），北门称拱极（今北门巷）。第二是刘激在知县任内，拓展益阳的集市，活跃了商贸，尤其重视教育，培养人才，繁荣文化，极大提升了益阳的知名度。创办龙洲书院，聘请名师讲授经史，使益阳学风一时大振。又倡礼仪，行节约，曾二修《益阳县志》，龟台山上勒有《资江十景诗》的石刻，为刘激遗墨。凡此种种，使益阳古城成为两湖地区最有规模和影响的古城之一，市井繁庶，盛极一时。
万历年间，街市西延，已经与岐头市商埠连成一片。万历五年（1577），知县郑思孟加修城垣。后为防御匪患，西区沿资江一线筑土堡，派兵驻防，头堡、二堡、三堡由此诞生。万历三十六年（1608），资江洪水漫溢，部分城垣被冲溃。后知县黄宏在城垣旧址上稍加修葺，旋即倾圮。频繁的洪涝灾损，对益阳城形成不小的威胁，为城池的完整保留带来很大难度。也许，这也是作为一座古城，为什么益阳的江防至今仍不完备的主要原因吧。
清顺治十四年（1657），县衙为扩充临江城垣，编织木排若干，置江边以防浪护城，但数年后簰筏腐朽，形同虚设。此一时期，按功能差异，益阳城分为“城内”和“堡上”两大块。“城内”以行政区为主，“堡上”从头堡至三堡，均以商业区为主。清初，堡内转畅，来此经商者日多。随后，三堡街区继续沿资江西延伸至黄溪桥（实际上只到窑湾）。
康熙二十一年（1682），知县江闿主持复筑断垣，设置城门启闭设施。将银城更名永安（今东门），金城更名常泰（今西门），北、南二门依旧名。城门上筑堞楼，永安门楼名酹湖，常泰门楼名倚江，迎恩门（今南门）楼名见岳，拱极门楼名汉寿。
乾隆三十年（1765），乡邑有位陈圣修的贤士，请帑重新修筑县城，在旧址上修筑新城池。采用石基砖身形制将旧城改建；基宽一丈二尺，路九尺，城高一丈八尺，周长七百一十九丈。同时，迎恩门被更名为资江，常泰门被更名为兴贤，东、北二门依旧。堞楼备有盾牌和武器。城外，从西门河岸到南门口河边，砌筑一条长一百三十二丈的麻石驳岸和码头一座，城始坚固。嘉庆五年（1800），县丞胡铃联络乡绅民众捐修了麻石驳岸所有护栏上的石担。
咸丰五年（1855），知县林廷式奉命修葺城池。咸丰七年（1857），知县陶绍甓继续对四处城门进行修整，并在城楼置题额。可是两年之后，一场大火将银城门毁于一旦，时任知县郑本玉只得会同千总袁我林重新将东门加以修葺，同时，对其他城门也作了不同程度的补修。
光绪二年（1876），知县吴兆熊禀请上司核准，以每担粮油抽一串文钱集资，用于修整城墙。专门烧制青砖，印上“光绪二年吴兆熊”字迹，用于城墙的修砌。其后每逢资水春夏暴涨，所筑城墙为城内防洪起到了一定的作用。目前残留的部分城墙基址，多为其时所建。
清朝中叶，国内海禁大开，西方人陆续进入益阳。清末，有西方牧师前来传教，西式教堂和房舍相继在城中兴起。随着中国社会半封建半殖民地化的加深，作为湖南对外商贸的主要门户之一，益阳水陆交通被渐次打开，水运业的发展更是日新月异。由于东门城外的魁星楼建在刘公滩的烟波洲上，河滩淤积严重，时常阻滞资水畅流，致使不少过往船只搁浅，稍重一点的舟楫很难驶抵堡上，故而城东沿岸逐渐发展成季节性船埠。于是，益阳城区的街道便向东延伸到清水潭一带，时人称之为东关。至此，清代的益阳城拥有东关、城内、堡上，宽三至四米，长十余里，号称“十五里麻石街”。其时，益阳城步入历史上的鼎盛时期，声望和影响遍及包括湖南、湖北、江西、江苏在内的长江流域地区。
益阳县城及县署
三国时吴将鲁肃屯兵于此。国朝丙午（1366）总制胡海洋重修，岁久圮。成化中典史赵安重筑。弘治中知县刘志道包瓷砖石建立城楼。东西有濠，南阻资江为池，门四，东曰永安，南曰应宿，西曰常泰，北曰拱北，万历二年（1574）巡抚都御史赵贤、巡按御史李栻奏建。
益阳县署城南临资水，洪武十一年知县王贯建，弘治中赵时中修。
知县一人，县丞主簿各一人，典史一人。申明亭门左，旌善亭门右，布政分司县东，按察分司县东，府馆县北，阴阳学、医学俱县前，训术训科各一人。河泊所县东，河泊一人，税科司县东，使一人，僧会司在广法寺，道会司在迎贞观，僧会道会各一人。预备仓二：一兴贤街，一太平街。养济院县东，桑枣园县东，漏泽园，厉坛东。
——《湖广通志》（卷十三）