绩溪胡姓的始祖其实是唐昭宗李晔的儿子。当年李李晔落花流水难从长安迁都洛阳，皇后何氏生下一个男孩，李晔托给婺源人胡三公收养，改李姓为胡姓，取名昌翼。后来，李晔全家被杀，只有胡昌翼幸存下来。
绩溪这一支胡氏地宋太宜开宝二年（公元969年）从婺源迁来的，始迁祖是胡昌翼的儿子胡延正。绩溪胡氏一度祭祀胡公满，后来又改祀胡公满，后来又改祀胡昌翼。胡适在孩提时曾参加过始祖昌翼公一千岁的纪念祭典。
对于胡姓儿孙来说，绩溪是他们非常辉煌的家园。唐代，绩溪出了个散骑大将军胡宓；宋代，出了个以两劾秦桧而名垂青史的监察御史胡舜陟；明代出过奕世尚书胡富，胡宗宪；清代出了徽墨名家胡开文，红顶商人胡雪岩；现代有著名学者胡适；当代有国家军委副主古月锦涛……这一个个名字，在青史留芳，为胡姓增色。
由于绩溪县地处山区，历史上较少遭受到战乱的侵袭，也未受到较大的经济冲击，使这个县古村落的原始形态得以完好保存。境地内现存大量明，清古建筑，使用使得绩溪的古村落成为徽州古村落中的典范。其中以龙川景区和上庄景区最为著名。
龙川景区集中在绩溪瀛洲乡的坑口村，以坑口村的胡氏宗祠为重点，坑口胡氏宗祠始建于宋代，经明嘉靖年间大修之后，非常壮观。奕世尚书坊，不仅记录着胡姓在历史上的赫赫功勋，也是难得的木雕精品。
上庄景区在上庄镇上庄村，胡适故居，胡开文故居和纪念馆都是这里的浏览重点，另外旺川太平天国壁画，棋盘村（石家村），宅坦和冯村古民居等都是值得一看的地方。
