Bangunan Cagar Budaya Candi Banyunibo terletak di area dataran Sorogedung yang memiliki sebaran bangunan candi. Keletakan Candi Banyunibo berada di dataran di bawah kaki bukit Ijo, serta di antara dua aliran anak sungai Sorogedug. Posisi bangunan candi berada 450 m dari tenggara Candi Barong, terletak 64 m di bawah kaki bukit tempat Candi Barong berada.
Candi Banyunibo bersifat agama Budha dengan keberadaan komponen stupa di puncak atap dan bangunan deretan stupa sebagai candi perwara yang mengelilingi candi induk. Selain itu, terdapat pahatan relief menggambarkan tokoh Hariti yang merupakan sosok dewi pelindung anak-anak dalam agama Budha).
Dewi Hariti dalam agama Budha merupakan perwujudan dari dewi kesuburan yang juga dikenal sebagai dewi ibu dan dewi kekayaan. Tokoh ini selalu digambarkan berupa figur wanita dengan payudara yang menonjol dan selalu disertai oleh figur anak-anak.
Candi Banyunibo berupa bangunan induk yang disertai 6 (enam) candi perwara berupa stupa yang terdiri atas masing-masing 3 (tiga) stupa berderet di sisi selatan dan timur. Di sebelah utara Candi Induk terdapat tembok batu sepanjang 65 meter yang membujur arah barat-timur yang diperkirakan sebagai sisa tembok pagar keliling.
Bangunan candi induk menghadap ke arah barat, berdenah persegi panjang ukuran 15,3 m x 14,2 m; tinggi 14,2 m. Bagian depan pada akses masuk di sisi barat memiliki bagian penampil denah persegi panjang berukuran 4,3 m x 6,8 m.
Candi Banyunibo memiliki keunikan pada bagian atap yang berbentuk menyerupai atap limasan namun dengan sudut lengkung menyerupai profil ojief (sisi genta). Bagian atap tidak memiliki ornamen. Pada bagian puncak terdapat satu bentuk stupa berada di tengah.
Bagian tubuh candi berbentuk persegi panjang yang pada sisi utara, timur, dan selatan di permukaan dindingnya terdapat ornamen relung semu di bingkai pilaster diapit dengan lubang jendela. Pada bagian muka (sisi timur) terdapat bagian penampil yang diapit ornamen relief figur dalam bingkai relung di permukaan dinding beserta lubang jendela yang tembus hingga bagian ruangan bilik di dalam candi.
Pada bagian dinding penampil sebelah Selatan terdapat relief seorang wanita yang dikerumuni anak-anak, sedangkan relief di dinding Utara menggambarkan seorang pria dalam posisi duduk. Bagian ini sekaligus sebagai ruang akses sepanjang 1,5 m menuju bilik candi berupa ruangan persegi panjang berukuran 6,8 m x 4,5 m. Kedua relief tersebut menggambarkan Hariti, dewi kesuburan dalam agama Budha, dan relief figur tokoh Vaisravana sebagai pasangannya. Di sisi dalam dan luar terdapat relief tokoh Kuwera sebagai simbol kemakmuran.
Ruang candi (garbhagrha) diketahui tidak terdapat altar/pentas persajian seperti umumnya candi-candi Buddha untuk menempatkan singgasana arcanya. Pada permukaan dinding sisi utara, timur, dan selatan masing-masing terdapat lubang relung yang dihias kala-makara dengan bingkai berbentuk menyerupai tapal kuda. Masing-masing relung diperkirakan sebagai tempat meletakan arca. Relung di sisi timur mempunyai ukuran lebih besar yang diperkirakan tempat arca utama.
Struktur bangunan candi berdiri pada suatu bentuk batur sebagai alas dengan tinggi 2,5 m. Pada masing-masing permukaan dinding terdapat beberapa bidang panil berisi ornamen relief sulur-suluran yang keluar dari pot–bunga yang berbentuk seperti sandaran lampu duduk, pinggan, buah wortel, dan siput yang dianggap sebagai lambang kehidupan atau kesuburan.
Di atas permukaan batur berupa selasar tanpa pagar langkan sebagai jalan mengelilingi candi. Di setiap sudut bagian atas batur terdapat komponen jaladwara yang berfungsi sebagai saluran air hujan.
Pada bagian kiri dan kanan tangga terdapat pipi tangga yang terdapat pahatan tokoh–tokoh yang belum dapat diketahui identitasnya. Pada bagian ambang pintu masuk, terdapat hiasan kalamakara, sedangkan pada bagian ujung pipi tangga terdapat hiasan makara yang berakhir dengan relief seekor singa.