相传明朝年间，如今芦浦镇大塘村庙前自然片原来住着一王姓大户，房屋百间，家财豪富，山场、田地不计其数，世人称“王世府”。王世府与徐府大宅都坐落在寿星山谢家山头西南山脚，仅以现龙山山岗相隔，王世府的家财与徐府大宅齐名，人称南居有徐府，北岙有王世府。 
　  王世府兴旺几代后，出了个不争气的后代。他忘记王家勤劳节俭的祖训，不珍惜富裕生活，以富摆阔，出手大方，别人送他一只鸡，而他回赠一座山。他不理家业，整天游手好闲，赌博成性，赌注又大，一夜间输了厢房数间。长辈劝教无效，王世府日趋败落。 
　  到了中晚年，他才省悟过来，觉得自己这样赌下去没有好结果，便痛改前非，开始关心家事，出门贩虾虮赚钱，勤俭度日，发誓日后不再赌博，并告诫子孙后代不得参与赌博。有道是：“浪子回头金不换。”打那以后，王家又兴旺发达了三代。 
　  可富不过三，王家又出了个败家子，不顾家事，好赌成性，致使王家迅速衰败。王家老奶奶看孙子是败家子，生怕家财被他败光，没好结局，将仅留的金元宝偷偷地抛入自家水井。王世府败落了，可传说中的金元宝至今也没人找到。