Bangunan Cagar Budaya Candi Barong merupakan bangunan candi bersifat Hindu yang terletak di atas bukit karst (kapur) yang merupakan bagian dari Perbukitan Seribu (Pergunungan Sewu). Lokasi Candi Barong berdekatan dan berada pada area yang sama dengan Stupa Dawangsari, Ratu Boko, Candi Ijo, Arca Genesa Sumberwatu, dan Candi Miri serta dekat dengan Candi Banyunibo yang terletak di bawah kaki bukit tempat Candi Barong berdiri.
Bangunan candi ini oleh penduduk setempat dinamai Candi Barong, karena candi ini memiliki hiasan berupa kepala “Barong” di atas ambang pintunya, yang merupakan bentuk hiasan relief kepala Kala yang lazim dijumpai pada bangunan candi. Penamaan Barong merujuk pada tokoh populer di masyarakat berupa karakter binatang buas (singa) pada sendratari cerita Calon Arang. Penamaan awal pada literatur laporan tertua mengenai candi ini tercantum dengan nama Candi Sari Sorogedug.
Bangunan Cagar Budaya Candi Barong dibangun di atas puncak sebuah bukit karst yang telah dipangkas, dengan tiga bagian halaman berundak yang memanjang berarah timur ke barat. Ketiga halaman ini dibatasi oleh pagar keliling dari susunan batu dilengkapi pintu gerbang bentuk gapura paduraksa. Halaman yang paling belakang dan teratas adalah halaman yang paling suci dan merupakan dataran yang ditinggikan tempat berdirinya bangunan candi.
Terdapat dua bangunan candi dengan bentuk dan ukuran yang identik berjajar arah utara-selatan. Candi I berada di sisi utara dan candi II di sisi selatan. Posisi keletakan kedua candi ini tidak simetris terhadap halaman (teras I). Hal tersebut mengindikasikan bahwa terjadi penambahan bangunan candi ke dua (Candi II di bagian selatan) berikut dengan perluasan halaman ke arah selatan. Kondisi semacam ini sangat jarang dijumpai pada teknologi pembangunan candi-candi lainnya.
Candi Barong dibangun di atas bukit kapur (karst), terdiri dari 4 teras, yaitu:
Teras I berada paling tinggi merupakan bagian inti berukuran 26,7 m x 39,81 m. Pada teras I terdapat dua bangunan candi yang berdiri di atas batur (struktur bagian bawah bangunan terbuat dari susunan blok batu, umumnya berdenah segi empat) dari batu putih setinggi 1,4 m dari permukaan halaman. Permukaan talut pada dinding batur terletak miring 60°. Masing-masing bangunan candi terletak berjajar arah utara-selatan, candi I berada di sisi utara dan candi II di sisi selatan. Kedua bangunan candi berbahan batu andesit berukuran luas denah 8,18 m x 8,18 m, tinggi 9,05 m,.
Kedua candi diketahui menghadap ke barat berdasarkan pada keberadaan pintu gerbang di sisi barat Teras I. Kedua candi memiliki relung di keempat sisi permukaan dindingnya. Pada setiap ambang atas masing-masing relung terdapat hiasan relief kala.?
Teras II, merupakan halaman berukuran 62,81 m x 90,72 m dibatasi struktur pagar berbahan batu putih. Permukaan halaman teras ini berada 2,5 m dari teras I. Pada teras II terdapat lima struktur fondasi serta batu umpak sisa bangunan. Di tengah-tengah teras II terdapat jalan masuk yang tersusun dari bahan batu putih (sedimen). Jalan masuk ini merupakan penghubung dari gerbang teras II menuju gapura teras I.
Teras III berukuran 128,72 m x 86, 22 m, tidak terdapat sisa bangunan.
Teras IV berukuran panjang 154,61 m, ukuran lebar belum diketahui secara pasti, teras IV dibatasi oleh struktur pagar luar yang baru ditemukan hanya pada sisi timur. Pagar ini tersusun dari batu putih berukuran tinggi 1,90 m, tebal 80 cm.
Secara vertikal candi Barong dibagi menjadi tiga bagian yaitu? bagian kaki, tubuh dan atap.?Kedua candi (di teras I) tidak mempunyai ruangan bilik dan tidak memiliki pintu masuk, namun bagian tengah candi memiliki rongga. Secara konstruksi cara penyusunan dinding tubuh candi hanya terdiri dari dua blok batu yang punggungnya berdempetan. Akibat dari teknik konstruksi semacam ini menyebabkan adanya rongga pada tubuh bangunan candi, padahal tidak ada pintu masuk ke dalam tubuh candi. Model konstruksi semacam ini sangat jarang terjadi pada bangunan candi di Yogyakarta.
Hiasan pada Candi Barong dikelompokkan menjadi dua yaitu yang bersifat arsitektur dan dekoratif. Pada saat dilakukan pembongkaran bangunan dalam rangkaian proses pemugaran, di bawah candi I pada bagian fondasi terdapat 9 lubang berbentuk kotak bujur sangkar dalam area 3 m x 3 m yang dipahat permukaan bedrock sebagai alas candi. Kedelapan lubang berukuran 1 m x 1 m, sedangkan satu lubang di tengah berukuran 1,5 m x 1,5 m. Lubang seperti ini tidak dijumpai pada candi II.
Hiasan yang bersifat arsitektur adalah ragam hias yang mutlak keberadaannya dan tidak bisa dipisahkan dengan bangunannya, berupa pelipit, pilaster, relung, halfround, makara pada pipi tangga, jaladwara dan kemuncak/ratna candi. Sedangkan hiasan yang bersifat dekoratif, adalah ragam hias yang tidak mutlak keberadaannya dan apabila hilang tidak merusak keseimbangan arsitektur bangunan, meliputi motif geometris, kala makara, untaian permata, pita berhias menggantung, bentuk-bentuk binatang, makhluk-makhluk kahyangan, hiasan ceplok bunga, motif tumbuh-tumbuhan, dan antefiks.?
Di sebelah barat, di antara kedua bangunan inti terdapat pintu masuk berupa gapura berbentuk paduraksa berukuran 2,59 m x 2,59 m dengan tinggi 4,76 m. Keberadaan dan keletakan gapura tidak lurus dengan candinya maupun selasar halaman teras II.
Terdapat temuan lepas di area Candi Barong berupa: (1) Dua Arca Wisnu, (2) Dua Arca Dewi Sri, (3) Tiga arca yang belum selesai dikerjakan, (4) Empat kotak peripih, (5) Keramik Cina berupa 7 mangkuk dan dua gusi yang ditemukan di area teras II, (6) mata kapak dan sendok terbuat dari besi yang tidak terkonfirmasi konteks temuannya.
