相传上古大禹年间，大禹大分天下为九州。当时便于官员的管辖，划分地界大多采取以山之行、川之向为划分的标准。而为了尽可能多的拓展自己治下地域的面积，各主事官员也是借助仙人明修栈道，暗渡陈仓，各自较着劲，由此演绎了一幕幕脍炙人口、流传甚广的民间故事。新昌乡西岭脚村仙人桥的故事便是众多故事中显为夺目的一例。
故事是这样拉开帷幕的：话说，古时在划分常山县与毗邻淳安县的县界时，土地爷与当地仙人就划分标准发生了分歧。土地爷主张以山高为界，以山的高处为界（即现新桥乡塘关村上界牌自然村），仙人则力主应按水流为界。两人你来我往，从晨曦微露到繁星闪烁，争得面红耳赤，仍然谁也说服不了谁，两人各执一词。于是两人商定来日再定。
仙人驾鹤而归，途中暗忖，“土地爷一意孤行，要按山高为界，与自己所执意见相距甚远，如此相持不下，莫说明日，就算三年五载也未必解决，”眼见快到家门，突然他心生一计，不觉暗自发笑……于是仙人按下云头，来到位于淳安县内的白马乡朱沙河处，连夜搬运石头至常山县内的新昌乡西岭脚以东（现仙人桥桥址处），开始了造山运动。
话说土地爷，自已觉得仙人十拿九稳会依自己主见，便心生畅快披星戴月的往土地庙赶，途中突觉眼皮跳得厉害，不觉忧从心生，暗思莫非仙人会违背意愿与己不利？想到此处于是拨转脚步向前趋行。土地爷赶到朱沙河附近，四处探访。从一村妇口中听闻一怪事。村妇言：“刚才曾见一人大半夜在河东侧赶一群鸭子，当时觉得很奇怪……”
土地爷听后，心中明白，却也是一筹莫展，奈何不得。顿时眉头紧锁，不时突觉灵光一现，计从心来。土地爷心想：“你暗渡陈仓，施请君入瓮之计；我来个将计就计，让你前功尽弃”。古时，土地爷掌管天亮时辰。
这时，土地爷来到河东侧，果然发现了仙人在搬运石头，便等待时间一分一秒地过去，眼见朦胧处一山的雏形渐成，土地爷掐准时机，提前一个时辰天亮，而天亮后，仙人已无法指挥河中石头来造山，而所垒之山却仍未成型，并且中间缺了一大口子。面对土地爷，仙人羞愧难当，为弥补所犯错误，便在缺口处用木头搭成一桥，以便当地百姓往来通行。此后此桥便称为仙人桥。
