张之洞当山西巡抚时，府中轿班有个人叫张彪，山西榆次左辅村人，虽说出身贫寒，但相貌生得不俗，眉清目秀，聪明伶俐，且有一身武功。有一次，张之洞出外巡视，绕着弯曲的山路行进，青藤缠绕，古木参天，途经一座寺庙时，忽然跳出一千人来，领头的是个身高七尺的壮汉，迎面拦住张巡抚的轿子，拍着扶手板大声喊冤。护卫巡抚的侍卫上前去拦，下手重了点，将壮汉摔倒在地，跟随而来的那些人不答应了，呼拉拉出手，竟与巡抚的侍卫们对打起来。此时江南刚发生张文祥刺马案不久，风声鹤唳，草木皆兵，张之洞躲在轿中不敢探头。双方打了一阵，侍卫中有人体力不支撒腿逃跑，这只“领头羊”启发了其他人，打斗中的侍卫们一哄而散，比喊了口令还整齐，只剩下张之洞一个人孤零零地坐在轿子中束手无策，不知将面临怎样的灾祸。
正在危急时刻，轿班中跳出了张彪，抽出抬轿的杠子，秋风扫落叶似的朝那群人打去。穿鞋的怕赤脚的，胆大的怕亡命的，那群告状的人见忽然跳出了这么个勇夫，一个个抱头鼠窜，迅速作鸟兽散。先前逃跑的侍卫这才纷纷回来，张巡抚的官轿终于解围。
经历了这场风波，张之洞意外得到了一员爱将，他将张彪在巡防营补了名字，提拔他做了哨官，替他起了个别号叫“虎臣”，派为贴身马弁，当做自家人一般看待，即便出入上房亦不避忌。
张之洞一生共娶了三房妻子。元配夫人石氏去世时还不到30岁；续弦夫人唐氏也在34岁那年病故了；第三任夫人是名翰林王懿荣的胞妹，娶过门没几年又命归黄泉。此时张之洞已人中年，接二连三的丧妻之痛使他心灵大受打击，到太原城著名的寺庙玄中寺求卜算卦，一位高僧认为他命太硬，不宜娶妻，若要自己的女人长久，唯有不居夫人名分方可。
经高人指点，张之洞从此便断了娶妻的念头，以偷情和泛爱为乐事，张府中的那些丫头、使女，只要模样长得俊俏的，个个都是他的进攻对象。张之洞身边有两个丫头，一个叫远山，一个叫近水，经常被总督宠幸，张之洞死后，有人作挽联云：“魂兮归来乎，星海云门同怅惘；死者长已矣，远山近水各凄凉。”星海、云门是张之洞的两个得意门生，联中巧妙嵌入四个人名，妙趣天成。
在张府众多丫头使女中，有个名叫李宝珠的，生得端庄大方，说话办事均很得体，像个大户人家出身的小姐。张之洞本想将其梳栊，可是遭到宝珠婉拒，张之洞和颜悦色问她：“你需要什么？”宝珠落落大方地说道：“老爷，我什么都不需要，只要名分。”这一点恰恰是张之洞所缺的，只好摇头苦笑：“这世上的女子，什么样的都有，真是千奇百怪。”风月场中有句老话：妻不如妾，妾不如妓，妓不如偷，偷不如偷不着。张之洞之于李宝珠，就是这种偷不着的感觉，因此反倒对她另眼相看。
李宝珠想要名分，张之洞便想到了张彪。有一天，在后花园里，张之洞将想法说了，宝珠半天没吭声。不说话就是默认，过了几天，张之洞把张彪叫来，口称九姨太有个干女儿，待字闺中，要许配给他。张彪听了哪有不领情的道理？赶紧给张之洞下跪行礼，拜总督大人为干岳丈。当年秋天，张彪娶李宝珠为妻，张府为他们举办了隆重的婚礼，张彪成了张之洞的“干女婿”，也因此得了个尊号：丫姑爷。
仰仗干岳丈的提携，丫姑爷一路官运亨通，张之洞任湖广总督时，张彪实授提督，掌管湖北全省兵权。袁世凯天津小站练兵，取名北洋；张之洞也在武昌练兵，取名南洋。负责练兵的即为武进士出身的张彪。后来担任民国大总统的黎元洪当时就是张彪的部下。
辛亥革命爆发之时，张彪是第八镇统制兼防营提督，他带领士兵负隅顽抗，无奈起义的新军攻势太猛烈，又听说总督瑞徵已钻墙出逃，下落不明，张彪带兵从司令部仓促撤退，在近代史上留下了狼狈不堪的一笔。
辛亥革命后，其部下黎元洪先后7次请他出任湖北军政府都督，均被严词拒绝。这个晚清遗老倒是懂得急流勇退的道理，先是跑到了日本，隔着海岸观察风声。民国初年，清王朝的遗老遗少实际上仍然盘踞着半个天下，前朝的达官贵人甚至还能享受到政治上的荣耀和经济上的特权，于是张彪又悄悄溜回国来，隐居天津办起了实业。
张彪在湖北担任军界要职期间，曾有他“吞蚀军费百万”的传闻，也不知是真是假。不过张彪的富有倒是真的，他在天津某纱厂投资人股，又在西郊以极低廉的价格买进600多亩碱地，一眨眼工夫地皮升值变成了黄金。经过几次倒腾，张彪成了名震津门的大富翁，他斥巨资在日租界修建了一幢大型游艺场，命名为“露香园”，后改名为“张同”，名花异草，古树参天，是天津闻名遐迩的一个景点。近代史上的许多著名人物都与张园有过千丝万缕的联系：孙中山偕宋庆龄北上，在天津的下榻之处就是张园：末代皇帝溥仪移居天津时入住的也是张园。张彪为了表忠心，特别订制了全套欧式家具，连溥仪也夸赞不已：“这里要比紫禁城舒服得多！”
张彪一生除了元配夫人李宝珠外，还娶有3位姨太太，留有8子9女。到了晚年，行武出身的张彪已经完全改变了往昔的形象，他像一个绅士，戴着礼帽，提着手杖，含着雪茄烟，悠然自得地走在张园附近的街道上，过去的那些记忆离他越来越远了。