当时通行的历法，是唐高宗在位时由李淳风制定的《麟德历》，这种历法经过几十年的使用，逐渐暴露出很多误差。修正这些误差并不是件容易的事，需要进行周密的天文观测。
观测天文必须依靠天文仪器。原来已有的一些天文仪器都已破旧，不能再用。一行就同机械制造家梁令瓒合作，带领工匠一同设计制造了两具新的天文仪器。一具是用来测定太阳在天空里的位置的，叫“黄道游仪”；一具是用来表现日月星辰在天空里运行和测定时间的，叫“浑天铜仪”。一行主持制造的这两具天文仪器都很精致。所谓黄道，就是太阳在天空里运行的轨道，测定太阳每天在天空里的位置，是编制历法必不可少的工作。黄道游仪的精致之处，就在于它不仅能测出太阳的位置，也可以测定月亮和行星的位置。一行利用这个仪器，在世界上第一次发现了恒星移动现象，大大推动了人类对恒星的观察和研究。这个发现，比英国天文学家哈雷关于恒星自行观点的提出，早了整整1000年。
浑天铜仪是用水力运转的铜铸的浑天仪。它在后汉张衡设计的基础上，又做了很大改进，使之成为一套巧妙的报时机械。这被看作是世界上最早的自动报时器。
为了修订历法，一行必须在各地测量日影。日影是太阳造成的影子。一行所用的方法是在地面上直立一根八尺高的标杆，在冬至、春风、夏至、秋分这四天里，测定标杆影子有多长。一行把这一工作交给了太史监南宫说主持，并向全国12个地方派出了测量人员。这一工作进行了几年时间，得到了大量的数据。
在这次大规模的测定日影的科学活动中，一行还计算了子午线的长度。子午线就是经线，一行在河南省选了差不多同在一条经线上的四个点，根据这四个地方的纬度和它们之间的距离，算出纬度相差一度，南北相距为129.22公里。这个结果虽然比现代的数据111.2公里大了1/6还多，但在那时，已是相当难能可贵了。像一行这样通过实测来计算子午线的长度，在世界上还是第一次。
一行根据自己精细的计算，编制了一部新的历法，叫作《大衍历》，它对后世的历法产生了极大的影响。由于积劳成疾，在完成《大衍历》后不久，一行就去世了，享年只有45岁。