晁衡原名阿倍仲麻吕，698年出生于日本奈良。自小酷爱汉文学。717年（唐开元五年），正是晁衡19岁的那一年，他被朝廷选为留唐学生，随遣唐大使来唐都长安学习。
到达长安不久，晁衡被安置在唐代最高学府国子监太学里学习。太学里集聚着许多富有才华的中外学生，在学习气氛甚浓的环境里，晁衡专心攻读周秦以来的封建经典，并以优异的成绩，博得了唐朝廷许多学者的青睐。753年任秘书省的秘书监（相当于当今国立图书馆馆长一职）。
晁衡在唐期间，正是我国诗人辈出，诗歌创作极为繁荣的时期。李白和晁衡年龄相仿，学识相当。李白十分钦佩晁衡谦虚好学和良好的汉诗修养，二人一见如故，友谊极深。
晁衡在唐生活十八年后的753年11月15日，偕同藤原清河（日本天皇遣唐第十次使团团长）等人离长安，经扬州、张帆东归。21日船行至冲绳岛北部，天气骤变，航船遇难，170多人遭难，幸存者仅晁衡、藤原清河等十几人。消息传至唐朝，大家误以为晁衡也已遇难身死。李白听后，不仅失声痛哭，写《哭晁卿行》，以志悼念：日本晁卿辞帝都，征帆一片远逢壶。明月不归沉碧海，白云愁色满苍梧。
晁衡等人历尽艰辛，最后又重返长安。以为他已死去的李白及朋友们见他活着回来，欢喜若狂。晁衡自日本来唐至埋骨盛唐，在中国度过了五十四个春秋，李白与晁衡的友谊至今传为佳话。1977年5月，东京上演了著名剧作家田义贤编写的，歌颂李白与晁衡，中日友谊的话剧《望乡诗》，受到人民的喜爱。