许建国在上海担任市委书记时，曾兼任上海市公安局长。他执法严明，从不姑息任何人。
他有个侄子，有段时间不务正业，和社会上的一些不三不四的人鬼混，干了一些坏事。他自恃叔叔是公安局长，以为公安部门没人敢管他。民警管教他，他根本不听。许建国知道后，十分恼火，立即把他找来，狠狠地训斥了他一顿，告诉他马上到派出所去主动交待问题。随后，他亲自打电话给派出所所长说：“我们是执法者，必须带头守法，如果执法违法，又怎么能取信于民呢？正因为他是我的侄子，就更要从严处理。”
在许建国的坚持下，公安局把他的这个侄子送进了管教所。有些亲属因此对许建国很不满意，认为只要他说句话，孩子就没事了。事后许建国又找孩子们谈话，他说：“不要以为我是市委书记、公安局长，你们就可以高人一等，你们也是社会普通一员，并没有什么特殊的地方。”
1958年，他的大儿子准备考大学，秘书起草了一封要求组织照顾的信。许建国知道后立刻加以制止，并且批评说：“这样不好，考大学要凭本事，考上就考，考不上就去做工嘛！”后来，他的大儿子果然硬是凭着本事，考上了大学。
几年后，大儿子从北京航空学院毕业。当时，许建国已经出国任大使。他的女儿和小儿子希望哥哥能留在北京照顾弟妹，联合给父亲写信，要求他向有关方面打个招呼，在分配时给些照顾。谁知，许建国回信，严厉地批评了他们，教育子女当个人和国家利益发生冲突的时候，一定要以大局为重。结果，他的大儿子服从统一分配，高高兴兴地离开北京去外地工作。
许建国还十分注意对孩子们进行艰苦朴素的教育。有一次，全家吃早饭时，不满10岁的小儿子把一大截红薯扔掉了。许建国看到了十分严肃又十分耐心地说：“你们不要因为今天有吃有喝就大手大脚。我们长征过草地时连皮带都吃光了，为了坚持战斗，我们把前面走过同志粪便里没有消化的青稞都一粒一粒地拣了出来，洗一洗再充饥。现在连红薯都咽不下去吗？你们要珍惜别人的劳动成果，要养成艰苦朴素的劳动习惯。”小儿子听了，红着脸把扔了的那一大截红薯从地上拾了起来。
他在国外工作了8年，从来没有买过什么贵重的物品。有一次，孩子要他从国外买手表，他指着自己手上戴的上海表，语重心长地说：“你们不知道，在国外，我为能戴上一块国产手表有多么自豪，我经常把它出示给外国朋友看。你们不要看不起我们自己国家的东西。再说，当前国家外汇紧张，要把外汇用到国家最需要的地方去。”
在许建国的教育和影响下，他的孩子都衣食俭朴，对自己要求严格，成为国家有用的人才。