蒙古大汗并未放弃外交努力。毕竟，攻打日本需要耗费大量资源，而且，当时蒙古最艰巨的任务是攻打南宋。忽必烈心里十分清楚，如果能说服日本称臣，并得到日本相助攻打南宋，当然是上上之策。
前面提到过，《元史》提到潘阜等人的出访，是以“不得其要领而归”作为结论。于是，在公元1268年9月，忽必烈命殷弘、黑的再次持国书出使日本。这一次，二位侍郎抵达了对马岛[1]，但日本人拒绝接纳他们，于是，他们捉了两个日本平民——塔二郎和弥二郎——回国交差。
两个平民显然不会有什么战略价值。公元1269年6月，忽必烈让高丽国将他们送回日本，并让中书省就这件事情致信日本，但日本方面仍然没有回应。12月，忽必烈又命令秘书监赵良弼出使，同时写信批评并警告日本国王：
日本素号知礼之国，王之君臣宁肯漫为弗思之事乎？……特命少中大夫秘书监赵良弼充国信使，持书以往。如即发使与之偕来，亲仁善邻，国之美事。
[1]位于日本、朝鲜之间的朝鲜海峡内，今属日本长崎县。
其或犹豫以至用兵，夫谁所乐为也，王其审图之。
意思是：日本素来号称是知礼之国，王之君臣怎么能随便做出这种不加思量的事情来呢？……（再次）特派少中大夫秘书监赵良弼担任国信使，持书前往。如果你国能派使者随赵良弼来我朝，咱们做个亲善邻邦，这将是国家的美事。如果犹豫不定，乃至兵戎相见，谁都不想。大王好好考虑一下。
这个赵良弼是一个非常谨慎的人。在出发之前，还特地向忽必烈请求拟定与日本国王相见的礼仪。不过，忽必烈及参与廷议的群臣都认为，蒙古与日本的上下关系还没有确定，因此没有礼数可言。
但是，因为高丽国内发生了叛乱，王禃被权臣林衍赶下王位，赵良弼的出使拖了整整一年。关于这次叛乱的详细内容，后文将有专节进行介绍。在平息高丽叛乱之后，公元1270年12月，忽必烈下诏给复位的高丽王王禃，命令他一定要派人护送赵良弼，“期于必达”（一定要到达日本）。于是，王禃便派洪茶丘将军等人护送赵良弼去海港，再另派向导驾船送赵去日本。这一次出使仍然无功而返。
但是，赵良弼并没有放弃。终于，公元1271年9月，在一位高丽官员的引导下，这位特使的出访终有所获。日本派了一位叫弥四郎的使者来蒙古作了回访。但是，双方会面的细节至今都是一个谜。《元史》仅仅简单作了一笔交代：忽必烈热情款待了弥四郎一番后，又派赵良弼把他送回了日本。
公元1271年11月（阴历），忽必烈将国号定为“元”。公元1272年2月，赵良弼派人给忽必烈带回这样一条情报：
赵良弼与弥四郎一起回到日本后，太宰府西守护所接待了他。守护所的官吏还说，高丽人曾经欺骗日本人，说是蒙古将讨伐日本，但是，想不到蒙古皇
帝如此讨厌战争，还派使臣带来了国书，不过，京都距离太宰府太遥远了，所以，太宰府愿意再派出使臣，随同蒙古使臣一起回访。[1]
不久之后，随赵良弼出访的元朝使臣张铎，带着26名日本使者到京城觐见皇帝。但是，忽必烈对日本国情了解太少了，以至于认为，这些使者肯定是日本国王派来的，而不是由太宰府派来的。但他对自己的判断并不十分肯定，于是又征求姚枢、许衡等博学多才的大臣们的意见。结果姚枢、许衡等人都回答说，事实肯定如皇帝所猜测的，日本因为害怕我朝施加重兵，所以才派这些人来刺探我朝虚实。他们建议皇帝不要召见这些日本使者。忽必烈听从了他们的建议。
日本使者在京城待了一个月后，皇帝就下了诏书，让中书省迅速把这些使臣送回日本去。就这样，镰仓幕府派来的庞大的使团，与之前蒙古派往日本的使臣一样，都是两手空空地回了国。最有意思的事情是，公元1273年6月，赵良弼又出使日本，到达太宰府之后，无功而返。日本的强硬路线让蒙古人最终认识到，武力是实现其外交目标的惟一途径，除此之外别无他法。
我们可以想像一下，如果蒙古大汗忽必烈知道，日本的实际统治者不是王室，而是幕府的将军或执权，不知他会作何感想，又会采取怎样的战略：
他还会写信给日本国王吗？或者努力与镰仓幕府达成某种默契？又或者秘密联络日本国王，说服日本国王与自己联手，先帮王室除掉镰仓幕府，然后再控制日本国王，然后再联合日本攻打南宋？
当然，历史是无法假设的。但有一点可以肯定，如果忽必烈了解当时日本的情况，历史将会是另一番景象。而已经发生的历史是，公元1274年10月，元朝与高丽的联军进军日本，日本史称之为“文永之役”。
[1]《元史》卷二百○八，《外夷列传一》。