坎门黄门在明朝之前，没有统一的地名，称呼不一。到了明朝朱元璋做皇帝时，方汝宾在古城兴兵立旗，建造城池，想推翻朱元璋皇帝。朱元璋闻晓，便派官兵到古城与方汝宾交战。结果方汝宾无法抵抗，打了败仗，走投无路，只好逃到里岙，乘船逃生。他下船经过一个山门，被朱元璋的兵马前后夹击，料想死路一条，便跳海自尽。 
　  方汝宾是个野皇帝，也想穿黄袍，结果穿不到黄袍就死了。后来，人们就把方汝宾身死的山门叫做“黄门”了。