西递古村落位于黟县东南一峡谷地带，为胡姓聚族之地，四面环山，村前一湖一牌楼，湖美不及宏村，牌楼巍峨，美不胜收。据史料记载，西递始祖为唐昭宗李晔（867～904）之子，因遭变乱逃匿民间，改为胡姓，繁衍生息，形成聚居村落。因此自古文风昌盛。到明清年间，一部分读书人弃儒从贾，经商成功，大兴土木，建房、修祠、铺路、架桥，将故里建设得非常舒适、气派、堂皇。历经数百年社会的动荡，风雨的侵袭，虽半数以上的古民居、祠堂、书院、牌坊已毁，但仍保留下数百座古民居，从整体上保留下明清村落的基本面貌和特征。

徽派建筑错落有致，砖、木、石雕点缀其间。西递村建房多用黑色大理石，两条清泉穿村而过，99条高墙深巷，各具特色的古民居，使游客如置身迷宫。村头有座明万历六年（1578年）建的三间四柱五楼的青石牌坊，峥嵘巍峨，结构精巧，是胡氏家族地位显赫的象征。村中有座康熙年间建造的“履福堂”，陈设典雅，充满书香气息，厅堂题为“书诗经世文章，孝悌传为报本”、“读书好营商好效好便好，创业难守成难知难不难”的对联。村中另一古宅为“大夫第”，建于清康熙三十年（1691年），为临街亭阁式建筑，原用于观景，楼额悬有“桃花源里人家”六个大字。近人多将此楼当作古装戏中小姐择婿“热抛绣球”所在，现已成为西递村举办此项民俗活动的场所。“大夫第”门额下还有“作退一步想”的题字，语意双关，耐人寻味。

此外，村中各家各户的富丽宅院、精巧的花园、黑色大理石制作的门框、漏窗，石雕的奇花异卉、飞禽走兽，砖雕的楼台亭阁、人物戏文，及精美的木雕，绚丽的彩绘、璧画，都体现了中国古代艺术之精华，且“布局之工，结构之巧，装饰之美，营造之精，文化内涵之深”，为国内古民居建筑群所罕见，堪为徽派古民居建筑艺术之典范。