浮山所城初建时，为提调兵马，在城内开辟有十字大街，作中心大街。南阁庙即位于南北大街的南端，庙宇建在一个高约七米、东西长约二十米、南北宽约十米的平台的北半部，因为其形似楼阁，因此被人们惯称为南阁庙。南阁庙是道教和佛教合一的庙群，香火极盛。在建庙时在庙北两侧各种一株银杏树，这里喜欢种银杏树，玉皇庙和关帝庙内亦种有银杏树，显得古扑苍劲，历史味浓。
浮山卫所城四面墙，只有三个门，因为没有南门，南北背靠浮山，有墙无门。
既然设立了浮山所这个重要的军事防御单位，自然要建设好相关的配套设施，但这建城池的事儿可不是一日之功。
刘布观看记载资料，浮山所城略呈长方形，南北长422米，东西宽403米，周长约1500米，占地约17公顷，城市并不大，但当时却足足建了14年，一直到1402年才彻底完工。要抵御倭寇，自然要有坚固的城墙，浮山所城的城墙高约8米，厚5米，以夯土筑成，外面还包了青砖，城上还砌有雉堞（矮墙），从城外看上去颇具规模，威武雄伟。
因城墙取土，在城内留下了数处土坑，后来四个较大的土坑形成水湾，也就是苏家湾、余家湾北湾和东草湾，其中苏家湾面积最大，约占地2000平方米。
浮山所城是按照本朝规定的千户所构造修建的，城内有十字大街，可跑马、行车，官署就设在十字大街的交叉口西侧街北，两条大街将长方形的所城均匀分为四个部分，各个姓氏分区聚集而居。
本朝初年，为了抗击倭寇，太祖皇帝朱元璋下令在沿海地区设卫立所，于是在浮山湾畔设立了浮山备御千户所，简称浮山所。
曾随朱元璋起兵的苏氏始祖苏望带着家人来此，任浮山所千户，敕封武德将军，直至现在，苏氏一族共世袭了九世千户之职，扎根这片土地上，现在终是因为吴桥兵变，原千户及儿子战死，失去了继承权。
浮山是崂山山脉最西南隅的一座秀峰，每当天将雨时，海雾升腾缭绕峰巅，远望诸山峰如浮在云雾间，故其原名为浮峰山，后简称浮山，而浮山所建在浮山西麓二公里处，故以浮山为名。
浮山卫的全称是浮山寨备御前千户所，寨即军寨，在设置浮山千户所之前此处就曾是军寨，有防御壁垒和驻军。备御即防御之意。本朝倭寇猖獗，沿海百姓深受其害，洪武年间太祖皇帝下令在沿海广置卫所，仅1388年在青岛海域就设置了鳌山卫和浮山所、雄崖所。
前代表了浮山所的军事序列，本朝兵制中沿海备倭之卫，一般统属右(或左)、前、后三个千户所。而千户所是编制规格，千户所统军士1120人，隶属于卫，其长官为正五品千户。
苏氏始祖苏望便是在洪武年间来到此地任千户官，敕封武德将军，与同封的百户官余、杨、焦、亢、毛、张、两王以及封军户的丁、詹、侯、葛姓共十三户成为明代时来浮山所定居的主要族群，他们便是浮山一带最早的居民，比之刘家还早，是地头蛇，只不过刘家后来居上。
这叫沉舟畔侧千帆过，枯树桩前万树春。