离婚后的文绣又回到了她熟悉的北平。母亲蒋氏已经去世，文绣无处可去，只好在东十四条附近的辛寺胡同租房安身。妹妹文珊也和丈夫离了婚，来北平和姐姐一起生活。姐妹俩每天也不出门，就在房间里读读书，写写字。虽然不再是高贵的皇妃，文绣却还保留着一些皇妃的习惯。她请佣人伺候自己的日常起居，每天都要换衣服，洗手也甚是讲究。如果佣人做得不好，她还要训骂。这样略显奢侈的生活一天天过着，可文绣总觉得精神上少些寄托，于是她想让族兄傅功清帮她谋个教书的差事。
1932年夏秋之交，在傅功清的介绍下，这个昔日尊贵的皇妃走进了北平市私立四存小学，她用回傅玉芳这个名字，成了孩子们国文和图画课的老师。新的生活开始了，文绣体会到了从未有过的快乐。文绣为人善良又有知识，和同事们、学生们的关系都非常融洽，她如鱼得水地享受着这种自由轻松的平民生活。然而好景不长，没过多久学校附近就有好事者发现，这个“傅玉芳老师”，居然就是那个和皇上离了婚的落魄皇妃。紧接着便不断有人来一睹昔日皇妃的风采，甚至连记者也来采访。文绣的个人生活和学校的教学秩序都被严重干扰。终于，在过了一年多美好的校园生活之后，文绣不得不离开了。
学校不能去了，就连辛寺胡同的家也因不断被骚扰而不能住了。于是文绣花了一大笔钱在刘海胡同买了一处四合院，打算过隐居的生活。她雇了几个佣人伺候她。妹妹文珊这时已经改嫁，搬到夫家去住了。文绣的日子清闲起来，她开始跟着画家傅儒专心学习国画。这段日子虽说平静，但也时常有人来找她。有来求婚的，有来说媒的，虽然大部分都是奔着她“末代皇妃”的身份和她从宫里带出的金银珠宝而来，但也倒有几个真心实意的。可年轻的文绣却恪守着离婚时“永不再嫁”的约定，拒绝了所有人。1937年的“七七事变”后，北平沦陷了，她“单身贵妇”的生活也更加不安宁。依仗日本人的势力，各种警察、保长甚至狗腿子之流作威作福，变着法地敲诈勒索文绣，让她为所谓的“大东亚圣战”效劳。在这一时期，还发生了一件让文绣意想不到的事情。据文绣的世交马锡五先生回忆，1942至1943年的冬春之际，日本关东军让溥仪娶个日本女人，溥仪怕被日本人监视，没有答应，于是又想起了文绣，并送信过来请文绣去满洲再做皇妃，结果文绣断然回绝。当初文绣就是因为厌恶溥仪和日本人同流合污，才和他离婚，而今又怎么可能为了虚有的富贵再回去陪他一起与日本人勾结呢？
在如此混乱的环境下，坐吃山空的日子自然长久不了。没几年，文绣就维持不了“富贵”的生活，她辞了佣人，卖了房子。首饰也卖给了一个金店掌柜，不料却被人算计，本应价值连城的珠宝到头来只换回厚厚的一叠伪钞。祸不单行，她身边唯一的亲人文珊又在这个时候病逝了。文绣只得独自一人住进一间破旧的小房子里，重新拿起针线，靠挑花维持生计。这手艺还是她读书时跟母亲学的，当年也是为了养家。想不到她去做了九年皇妃，到头来，又得靠这个手艺养活自己。这个活计，挣得实在是少。走投无路的她只好投靠娘家的表哥。表哥家的日子也很艰难，文绣住进来之后，先是和表嫂一起糊纸盒，后来又去瓦工队里做苦力。没多久，表哥想到在街上卖香烟的这条挣钱门路，文绣虽不愿抛头露面，但她更不愿白吃白住，所以不得不硬着头皮去驸马大街的街头巷尾叫卖香烟。结果附近的地痞流氓得知“皇妃”卖香烟后，不断地过来无理取闹，弄得文绣不光挣不了钱，还狼狈不堪。表哥为人老实，他当初只是考虑到可以挣钱，而没有想到文绣的身份不适合上街叫卖。于是改由表嫂出去卖香烟，文绣留在家里继续糊纸盒。