传说，原始的吉山是一片肥沃的大洋旱田，由于缺水当地村民安装四门水车把河水抽上来灌溉农田，因而又有“车田洋”之称。

     明朝时期，有一位名叫刘贵三的人，从渔沄只身来到吉山放养母鸭，这里最初四周尽是水田，只有中间一块小土丘，他就在这块空地上搭起草棚，过着放牧的生活。有一天，天下着一阵阵大雨，一位路人经过此地避雨，受到刘贵三热情接待，将自己都舍不得吃的鸭蛋招待客人。第二天客人临走时对他说：“此处乃风水宝地，其地形似“肚囊状穴”（即绑在腹部的布袋），背靠北陵龙脉，日后一定丁财兴旺。”于是刘贵三相信了客人的话，从渔沄迁吉山，就在原地吉山刘姓第一宅，后来称之为刘氏祖屋。从此，他依靠出售鸭蛋为生，娶妻成家，勤俭持家，生衍繁息，丁财两旺，日子一天比一天好过。后来随着人口不断增长，逐渐发展成为刘氏一家姓，时达三百多户、数千人口的吉山村。

    祖屋前的石旌表是刘氏子孙有功名的标志，原有8根，抗战时期为避飞机轰炸，被放倒了4根，现存4根，保存完好，石旌表高约12米。至今祖屋前竖立着刘元晖进士石墙杆一对（当地人称旌表为石墙杆），每根石杆上有两个石斗，斗上刻有“联捷进士” 四个字。武举刘山的石墙杆一对，每根石杆上有一个石斗，斗上刻有“辛酉乡荐”四个字。现尚存石墙夹二对（加固用的），石墙杆已毁失。听刘氏老人说：当年考中进士或举人都是竖立木墙杆（以示其人还健在），石墙杆是后代有钱的子孙为其竖立的。昔日祖屋前林立着许多古老的石旌表，而今已成为吉山村里的人文景观，成为异地游人向往的标志。