지금의 충효당은 서애 사후에 지은 집이다. 서애(西厓) 류성룡(柳成龍)선생이 초가삼간에서 돌아가신 후, 선생의 문하생과 사림이 장손(長孫) 졸재(拙齋) 원지(元之)공을 도와서 지었고, 증손자 의하(宜河)공이 확장한 조선중엽의 전형적 사대부(士大夫) 집으로서, 대문간채, 사랑채, 안채, 사당으로 52칸이 남아있다.
충효당 내에는 영모각이 별도로 건립되어 서애선생의 귀중한 저서와 유품 등이 전시되고 있으며, 바깥마당에 엘리자베스2세의 방문기념식수가 있다.