唐武德七年（651），五祖弘忍为四祖道信大师在西山建了这塔，同年九月四祖圆寂于此。此塔正名“真身塔”，唐大历七年（773），代宗赐谥四祖为“大医禅师”，塔名“慈云之塔”。因为塔外形近似毗卢遮那佛顶所戴的宝冠，故僧人尊称毗卢塔。         
        赵国宣的《题毗卢塔》与柳宗元的诗同被题在灵润桥上。