同治三年（1864年）中，蛮匪仍不时过江为患。
黄毛背、鱼肚岩，是寨子附近的荒地，蛮患稍微舒缓，李耀庭乃率领诸弟进行农垦。没有耕牛，多方设法向回人租赁。在当地，毕竟回人多居平坝相对富足，且拥有一定的生产工具。最终租得两条黄牛。为防盗失，耀庭与回人约定：如果因为盗匪而丢失则要赔偿，如果是因为回人的原因而丢失则免赔，毕竟回人认为自己内部的事好商量，没有太大的问题。风雨劳作，艰辛备至。农闲则依旧做贩运盐布的生意，趁春季水小赶运，既可避开夏季涨水渡河的艰难，又不会遇到打劫的蛮人，往来获利也比较丰厚。因为本小利微，所以每遇到殷实诚信的商贾，耀庭都极意与之结交。客人到家，母亲常隔门窥听，客走，母亲一定会对耀庭说出自己对客人的看法：某人可交，某人可拒，某人仅可虚与委蛇应付。凡母亲观察评价过的人，耀庭打交道无不应验。耀庭七十岁以后，回顾这段历史，感慨万端：自己能有今日的成就，是母亲教育的结果。在耀庭的心目中，母亲性格威严，自己到四五十岁时，母亲的训饬还让人慄慄悚惧。然而，惟有母亲的恩德，才成就了今日的自己。这一年秋收，久旷而显得膏腴的土地对庄稼人的回馈极为慷慨，耀庭兄弟所开垦的田地获得大丰收，一家人欣喜非常。然而母亲仍然坚持吃粗粮，而将精粮借贷给有需求的乡邻。耀庭劝母亲不要太过艰苦，母亲说，不可能年年都是丰收，你们忘了在仙人洞连菜粥都没有的日子吗？况且我拿去既可接济急需的乡邻，又可以增加我们家的积储，是两利的事情呵。
同治四年（1865年），仍耕仍贩运，兼买卖山货。惟道路多梗阻，常有一二日的路程，却需绕行四五日的情况。经商往往又结队多人，乱世中路上多不太平，耀庭一行屡招回人为向导乃相安无事，毕竟回人作乱多且回人势力大。自此，耀庭与回人稍有势力者都互通友好，回帅则待耀庭为上客。但是，这也带来问题：因为与回人打交道，太过疏远则彼此之间会产生猜嫌，过于亲昵则又会被官民视为是回人的同党，既要办好事情又不陷入身名拖累，在艰难乱世是很棘手的事。