西递始建于宋朝的元祐(宋哲宗)年间，由于河水向西流经这个村庄，原来称为“西川”。因古有递送邮件的驿站，故而得名“西递”，素有“桃花源里人家”之称。

    西递村中一条主道贯穿东西，与其两侧各一条与之平行的街道一起穿过很多窄巷。在敬爱堂、履福堂、刺史牌楼等公共建筑之前有小广场。今天，主要旅游景点包括124幢保护完好的明清建筑。大多数民居都对公众开放。主要建筑有明万历六年(1578年)建的青石牌坊，清康熙三十年(1691年)建的大夫第等。

    西递村建房多用黑色大理石，两条清泉穿村而过，99条高墙深巷，各具特色的古民居，使游客如置身迷宫。村头有座明万历六年(公元1578)建的三间四柱五楼的青石牌坊，峥嵘巍峨，结构精巧，是胡氏家族地位显赫的象征。村中有座康熙年间建造的“履福堂”，陈设典雅，充满书香气息，厅堂题为“书诗经世文章，孝悌传为报本”、“读书好营商好效好便好，创业难守成难知难不难”的对联，显示了儒学向建筑的渗透。村中另一古宅为“大夫第”，建于清康熙三十年(公元1691年)。“大夫第”为临街亭阁式建筑，原用于观景，楼额悬有“桃花源里人家。”六个大字”有趣的是，近人多将此楼当作古装戏中小姐择婿“热抛绣球”所在，现已成为西递村举办此项民俗活动的场所。“大夫第”门额下还有“作退一步想”的题字，语意双关，耐人寻味。此外，村中各家各户的富丽宅院、精巧的花园、黑色大理石制作的门框、漏窗，石雕的奇花异卉、飞禽走兽，砖雕的楼台亭阁、人物戏文，及精美的木雕，绚丽的彩绘、壁画，都体现了中国古代艺术之精华。