会当凌绝顶，一览众山小。
——杜甫《望岳》
唐高宗年间，长安城内有个元都观，观里有个很有学问的道士叫尹崇。尹崇有很多藏书，有一段时间，有个叫张遂的少年天天到观里来借阅藏书。那个少年看起书来，常常连饭都忘了吃。尹崇很喜欢这个勤奋、刻苦的少年，常对周围的人说：“这孩子定会有大出息的。”
由于不间断的学习和思考，张遂在年轻时就对天文历法有了很深的造诣，在京城长安颇有名气。武则天做皇帝后，她的侄子武三思当了大官。武三思野心勃勃，企图独揽朝政，但又苦于自己不学无术。他听说张遂很有学问，就想拉拢他，想让他为自己观测天象预测吉凶。张遂十分讨厌武三思这种权贵，不想和这种人交往，就到河南嵩山的嵩阳寺，削去头发做了一名和尚，法名“一行”。
僻静的嵩山寺，一行不受干扰更加专心致志地研究天文学。天文学需要大量的数学知识，一行遍访学者，步行1000多千米，拜浙江天台山的一个和尚为师，学习数学。后来又辗转到湖北当阳的玉泉山，继续研究天文。
唐玄宗即位后，派人把一行请进京来，主持修订新历法。一行认为历法与老百姓的生产、生活有密切关系，就答应了。
为编新历法，一行做了大量的观测研究工作，带领一班人马在全国13个地方测量北极高度和春分、夏至、秋分、冬至那几天中午的日影长度，和天文仪器制造家梁令瓒一起设计制造了黄道游仪，测定太阳在宇宙中运动的轨道和其他星辰的运行情况，前后花了好些年才编出了新历法的草稿。而在新历法实施时，一行由于过度劳累去世了。