相传在很早很早以前，吕洞宾等诸八仙在瑶台参加王母开办的蟠桃会后，顺道巡游四海，了解一下凡间民情。
　  众神仙走过了方丈，看到了瀛洲，嬉玩过蓬莱等佛门胜地之后，路过玉环仙人山（今称古城头）上空，看到那山背上有一班兵丁，正在起劲地挖石造寨。这山哪里有好石头哟？到处是厚厚的黄土，几块碗巴大的石块怎好造城？几个兵丁从地下挖上几块石头，也不过是稀稀拉拉的烂岩石。这时，吕洞宾对铁拐李等众仙说：“你们看，他们在贫瘠的山岗上挖石造城，十分辛苦。我们不妨帮一点忙，赐其一批坚硬的好石块吧！”何仙姑插嘴道：“不行，我看那里正气不盛，邪气腾腾，那班造城者，不是强盗，定是野虬。”铁拐李也说：“仙姑的话有理，这伙人是正被朱元璋从鹿城赶出来的方汝宾的部下，我们不能随便帮忙。”吕洞宾因为话已经说出了口，不便收回，便固执地说：“你们顾前虑后，不愿相助，那就让我来吧！”说毕，径往南海去借石头去了。 
　  第二天五更，东方刚发白，白沙岙沙滩上一阵“噼噼扑扑”的响声，只见一群鸭子离开海滩直向古城方向而去。过了一会儿，一个老叟手提赶鸭竿，走到白沙岙溪边，看到清水溪边有一个村妇正在一块大石头上洗涤衣服。于是，他就问道：“大嫂，我是赶鸭的，刚才有一群鸭从这里过吗？”那村妇也不抬头应道：“哪里是鸭？是一批石头呗！”话音未落，只见上了半山的鸭群霎时间真的变成了一滩溜圆的石块。那老叟上到山头一看，大吃一惊，转身想去找那位洗衣大嫂算账，谁知她早已无影无踪。抬头向天空一望，只见半空一朵彩云之上站着何仙姑，笑呵呵地说：“洗衣大嫂在这里呢？”那老叟无奈，将赶鸭竿往山顶上一插，也驾起祥云撵何仙姑去了。原来老叟便是吕洞宾，辛辛苦苦从福建泉州海边借得些石头，让他们变成鸭子泅游过来，不想被何仙姑破了天机。 
　  从那时之后，白沙岙西边山坡上，就堆满一大片既坚硬又光滑的石头。也就从那时候起，人们就称这里为“仙人赶鸭”。后来，那座山上和石头堆里有许多野蜂窝，野蜂一群群满天飞，所以后人称这座山为“石蜂山”。如今在那山上，仍然可以找到很多野蜂。石蜂山顶上有一根独生独长的毛竹，一直长了好多年。人们说，那就是吕洞宾的赶鸭竿呢！