Sách Dư địa chí của Phan Huy Chú chép: “…Núi Hương Tích ở phía tây núi Tuyết Sơn theo khe suối đi ngược lên, leo nhiều tầng núi mới vào động. Cảnh thiên nhiên như quỷ thần tạc rất lạ và khéo, là động đẹp nhất miền Nam Hải…Tương truyền, Phật Quan Âm Bồ Tát cầm tích trượng sang phương Nam trụ trì ở đây …mỗi năm ngày xuân về thiện nam, tín nữ ở các phương đến động dâng hương…” Động Hương Tích vốn có từ thời kỳ vận động tạo sơn, được phát hiện vào thế kỷ XI và đưa vào thờ Phật từ năm 1687.
Xưa kia động Hương Tích không một bóng người qua lại, cho đến khi cố Hoà thượng Vân Thuỷ Thiền Thiên Trần Đạo Viên Quang trụ trì chùa Thiên Trù nhân một chuyến vãn cảnh núi non Hương Sơn đã tìm ra cửa vào động. Nhìn toàn cảnh, động Hương Tích nhìn giống như một cái đầu Rồng đang há miệng vờn ngọc, núi Đụn Gạo là lưỡi rồng còn những khối thạch nhũ cao to trổ xuống là răng rồng…mà đuôi rồng thì ở tít núi Ái Nàng – Hang Nước. Trước cửa động nhìn sang là một ngọn núi nhỏ, tròn xinh giống như viên ngọc minh châu, thường được gọi là thung Cháu (hay một số người lại gọi lài thung Châu). Quả núi có động Hương Tích là núi cao thứ nhì trong toàn hệ thống núi rừng Hương Sơn.
Ngọn núi cao nhất ở đây là núi Bà Lồ, ở phía trước núi động Hương Tích. Nghe một số cụ già trong làng Yến Vĩ kể lại thì trước đây trên núi Bà Lồ cũng có một ngôi chùa cổ đã đổ nát. Ở bên ngoài cửa động, trước khi theo các bậc đá đi xuống, chúng ta có thể nhìn thấy một tấm bia hình vuông tạc ngay trên một phiến đá có một bài thơ vịnh Hương Sơn viết khắc bằng chữ Nho theo lối thảo cổ, nét chữ như “rồng bay phượng múa”. Đó là bài thơ của Bùi Dị - một đại thần Dương triều – xưa kia đã từng đi xứ sang Trung Quốc, trong đó có câu: “Mưa đấy, tạnh ngay đấy; Ngày lâu, tháng cũng lâu”. Cửa động Hương Tích được tạc bằng đá xanh theo từng phiến, ghép từng viên.
Theo một số tài liệu của các cố Hoà thượng trụ trì chùa Hương và già lão thôn Yên Vĩ cho biết thì cửa động được xây dựng từ năm Bính Dần (1914) đến năm Đinh Mão (1918) do thợ Kiện Khê tỉnh Hà Nam được nhà chùa thuê làm cùng với sự trợ giúp của người dân làng Yến Vĩ .
