Bangunan Cagar Budaya Candi Sari tercatat pertama kali dalam publikasi di Hindia Belanda (Mackenzie, 1814 dan Raffles, 1817) dengan nama candi “Kali Sari” merujuk pada nama dusun tempat candi ini berada saat pertama kali candi didokumentasi. Sempat dikenal pula dengan nama candi Bendah; Bedah; Bendan. Candi Sari berada di antara dua sungai (200 m di sebelah barat Kali Bening dan 700 m di sebelah timur Kali Wareng), serta terletak 600 m timur laut dari Candi Kalasan. Bangunan ini berada di dataran Soro Gedug yang memiliki sebaran lokasi candi.
Bangunan Cagar Budaya Candi Sari memiliki denah empat persegi panjang berukuran 17,41?m x 10 m dan tinggi 17 m dengan konstruksi bangunan bertingkat dua lantai. Arah hadap bangunan ke timur ditandai dengan bukaan pintu masuk utama dan tangga yang berada di muka bangunan.
Bagian dalam candi terdapat tiga bilik (ruangan) yang berjajar dan masing-masing dihubungkan dengan lubang pintu antara sekat dinding pemisah. Tiap bilik berukuran 3,45 m x 5,8 m terbagi atas bilik di lantai dasar dan di lantai atas. Masing-masing bilik lantai dasar terdapat altar yang diperkirakan sebagai tempat untuk meletakkan arca Budha diapit arca Bodhisatwa.
Diperkirakan ruang lantai atas terdapat gelagar dan lantai dari bahan kayu, hal ini terlihat dari bagian permukaan sisi dalam dinding masih tampak deretan dudukan gelagar berukuran ±20 cm untuk meletakkan ujung gelagar. Lantai atas dicapai dengan tangga kayu di bagian dalam di bilik selatan. Hal ini terindikasi pada permukaan dinding yang terdapat beberapa batu dipahat serong yang diperkirakan sebagai sandaran konstruksi tangga.
Pada bagian atap terdapat hiasan bentuk 9 stupa, masing-masing berderet tiga yang berada di atas tiap ketiga ruangan di bilik bangunan. Di bagian tepi atap terdapat 12 relung (masing-masing 3 relung di setiap sisi) yang dulunya di dalamnya terdapat arca-arca panteon Buddha
Dinding luar bangunan dihiasi pahatan berupa 38 figur Bodhisattwa, terdiri atas masing-masing 8 figur di sisi timur, utara, dan selatan, serta 14 figur di sisi barat. Perwujudan figur tersebut diletakan di antara jendela yang digambarkan dengan sikap tribanggha sambil memegang setangkai bunga teratai. Di sebelah kanan-kiri jendela terdapat pahatan kinara-kinari (makhluk kayangan yang berwujud setengah manusia dan setengah burung).
Bangunan ini memiliki bukaan jendela yang merupakan komponen langka dijumpai pada bangunan candi. Sisi timur terdapat 5 jendela (2 untuk lantai dasar dan 3 untuk lantai atas), masing-masing 4 jendela di sisi utara dan selatan (2 untuk lantai dasar dan 2 untuk lantai atas), dan 3 jendela di sisi belakang bangunan (sisi barat) yang hanya terdapat di lantai atas, sedangkan lantai dasar pada permukaan dinding sisi barat ini berupa jendela semu yang tertutup. Pada jendela lantai atas terdapat lubang bekas kusen jendela serta pada semua lubang jendela sisi luar (permukaan dinding eksterior) memiliki masing-masing 4 lubang jeruji kayu.
Terdapat inskripsi berupa huruf Jawa Kuna di permukaan dinding dalam bagian atas kiri dan kanan pada pintu masuk. Inskripsi ini dituliskan pada permukaan batu dengan warna hitam.
Bagian kaki struktur bangunan berupa sisa dari konstruksi batur yang tidak utuh. Diperkirakan bentuk utuh batur sebagai alas bangunan candi memiliki permukaan selasar menyerupai bentuk di candi Plaosan. Perkiraan ukuran bagian kaki candi Sari adalah 20 m x 14 m yang memiliki bagian menjorok (penampil/portico) ke timur selebar ukuran tangga.
Karena bentuk dan keberadaan bilik ruangnya tersebut, Candi Sari cenderung diperkirakan sebagai wihara daripada bangunan candi pada umumnya. Meskipun demikian penamaannya tetap menggunakan predikat “candi” sebagaimana untuk penyebutan tinggalan arkeologis bangunan keagamaan Hindu/Buddha dari abad VIII–XV M (periode historiografi masa klasik) yang terdapat di Indonesia.
Bentuk bangunan seperti ini memiliki kesamaan dengan Candi Plaosan yang berada 4 km di arah timur laut (saat ini berada di wilayah Klaten, Jawa Tengah). Kedua bangunan ini menyerupai bentuk-bentuk bangunan bertingkat dari kayu yang digambarkan dalam relief di Candi Borobudur yang lebih dulu ada. Candi Sari merupakan salah satu candi yang unik dari sisi arsitektur yakni menampakkan bangunan bertingkat. Bangunan candi bertingkat yang lain adalah Candi Plaosan di Prambanan Jawa Tengah.
