병산서원은 고려말부터 이어져온 풍산류씨 가문의 서당 「풍악서당(豊岳書堂)」이 그 전신(前身)이다. 선조 8년(1575년) 서애(西厓) 류성룡(柳成龍, 諡號 文忠公 1542-1607년)선생이 후학 양성을 위해 풍산에서 병산으로 자리를 옮겼다. 서당은 1592년 임진왜란 당시 왜병에 의해 불태워졌다.
1607년 서애선생이 타계하자 광해군 6년(1614년)에 선생의 제자인 우복(愚伏) 정경세(鄭經世, 1563-1633)공이 선생의 학덕을 추모하기 위하여 유림(儒林)과 뜻을 모아 사당(祠堂)인 존덕사(尊德祠)를 창건하여 선생을 봉안하면서 병산서원으로 개칭, 위상이 바뀌게 되었다.
광해군 12년(1620년)에 유림의 공론에 따라 퇴계 선생을 모시는 여강서원(廬江書院:현)호계서원虎溪書院)으로 위패를 옮기게 되었다. 그 뒤 인조9년(1629년)에 별도의 위패를 마련하여 존덕사에 모셨으며, 선생의 셋째 아들 수암(修巖) 류진(柳袗, 1582-1635)을 추가 배향하였다. 1863년(철종14)에 사액(賜額)되어 서원으로 승격하였다.
선현 배향과 지방교육의 일익을 담당하여 많은 학자를 배출한 병산서원은 1868년(고종5) 대원군의 서원철폐령이 내렸을 때에도 훼철(毁撤)되지 않고 보호되었다. 일제강점기에 대대적인 보수가 이루어졌으며 강당은 1921년에, 사당은 1937년 각각 다시 지어졌다. 매년 3월 초정일(丁日)과 9월 초정일에 향사례를 지내고 있다.
1978년 3월 31일에 사적으로 지정되었다.