东汉建安年间，先主刘备当阳兵败，不得不率领部将逃到同为汉室后裔的荆州牧刘表门下寄居。刘表过世后，由于其子刘琦无能，孙权不久就获得对荆州的控制。后来，曹操南侵，在诸葛亮的精心谋划下，吴蜀联合，取得赤壁之战的巨大胜利，形成三足鼎立之势。此外，兵微将寡的蜀汉除加强对荆州的蚕食，还通过吴蜀联姻，从吴主孙权处借得荆州。
随着势力的扩大，刘备先后取得荆州、南郡和襄阳，并听从马良的建议，决定夺取零陵、桂阳等地。为了打开通往湘南的通道，诸葛亮差张飞为先锋，赵云合后，自己则与刘玄德为中军，率领人马一万五千人，从荆州出发，屯兵益阳。
雄踞洞庭湖南岸的益阳，土地平阔肥沃，腹地深广，历来是兵家必争之地。但由于地处湿地边缘，水土卑湿，时有瘴疠发生，因此对战事的进程多少形成一种阻滞。时值春夏之交，资江正是洪水泛滥时节。浊浪滚滚，挟带着枯枝败叶的洪水很快涌进了益阳这个荆南古县地势并不算高的城邑。一时间，居民望着满河江流顿时感到无水可饮，不少人因为饮用秽水上吐下泻不止，生命垂危。见此情景，带领大军屯兵益阳准备渡河征战的诸葛亮心急如焚，非常难过。当下，他就号令禁止城中军民饮用河水，并迅速组织人马在城邑内外掘井取水，一来要保证百姓健康，二来可以阻断疫病流行，保持部将的战斗力。
于是，诸葛亮亲自带领将士四处寻找掘井的水源，最后，在城中一块退出洪水的沙质地上，他确定了掘井的位置。很快，一阵锹和铲的挥舞之后，随着掏出的沙土不断堆高，井底的水汩汩地往外冒，不消两个时辰，一口深达四米的简易水井掘成。望着清澈见底的井水，将士们争相舀水品味，纷纷夸奖水质清冽，醇如佳酿。居民闻讯后，也前来取水解渴。
看到井少人多，无法保证军民饮水的供给，诸葛亮继续率领士卒在城内外四处寻访，又在城郊找到质量上乘的水源，并开凿成了两口水井，一口在明星池巷，另一口在猫咀村，从而保证了成千上万将士的饮水。
诸葛亮的军队离开后，这几口井都留给了当地老百姓继续使用。饮水不忘挖井人，人们为感激诸葛亮的功德，对井口用砖石进行了加固和修砌，并称之为诸葛井。清人李昌爰为此有诗云：“炎火销沉汉业空，井也余有白云封。找来黄叶萧萧里，泣向秋风拜卧龙。”
相传宋元时期，益阳酒非常出名，除独特的酿酒工艺外，来自城中诸葛井的这口好水也为酒的品质加了分。后来，人们把沿用近千年的诸葛井用青砖加衬，进行了大规模的整修。但是，外观相同的水井益阳城内不计其数，上千年的时光也早已销蚀了人们的记忆，特别是元末，益阳人户十室九空，明清两代又大举移民，因此诸葛井在益阳城也就有了不同的版本。旧说，最好的诸葛古井原是在城内明星池旁的曹氏宗祠内；后有人考证指出，它应该在魏家巷的刘氏宗祠院内，当初刘激的后裔是因为看上这口老井，才将宗祠修到此处的。
不过，这古井与益阳老酒有瓜葛，却是不争的事实。明清时期，益阳酒闻名江南，甚至在汉口还建有一个叫酒洗码头的地方专沽此酒。当年益阳城里无论是有名的酒坊还是豆腐坊，都要上这儿来提水。常常是风清月白的夜晚，那些载运着井水的车马和担水的挑夫来来往往，一路吱呀，一路晃荡，成了益阳麻石街上一道别有情韵的风景线。
关于诸葛井的一些细节，如今也有了一些眉目。前些年，有人在刘氏宗祠一墙之隔的市三中院内发现了一个青石板诸葛井盖，上刻铭文称：“深数丈，砖壁内圆，上弇下侈，石瓮共口，水之盈缩视资水为增减，水亦清冽。”看来，这也许是目前诸葛井最确凿的物件了。