Masjid Sela dibangun pada masa pemerintahan Sultan HamengkuBuwono I tahun 1709 J (1787 M). Pendirian masjid ini dipimpin oleh Tumenggung Mangundipuro dan di bawah pengawasan R.M. Sundara (Pangeran Adipati Anom yang kelak menjadi Hamengku Buwono II). Masjid ini sebenamya merupakan bagian dari kompleks DaJem Kadipaten atau Putra Mahkota). Konon masjid ini seluruh bangunannya terbuat dari adonan pasir dan gamping, dan bahan perekatnya dari legen (nira). Hasil rakitan tersebut menjadi seperti batu, tampak hitam dan keras, sehingga masjid ini dinamakan Masjid Sela (sela berarti batu)
Halaman Masjid dahulunya adalah kolarn dengan pembagian kolam bersih dan kolam kotor. Seiring dengan semakin banyaknya jamaah masjid, maka pada tahun 1955/1956 kolam tersebut diurug agar dapat dipakai berjamaah. Kolam berbentuk huruf U yang berada di halaman sudah tidak ada, diganti dengan bangunan perpustakaan dan ruang ibadah. Hal ini berkaitan dengan mulai difungsikannya lagi masjid ini pada tahun 1962 yang sebelumnya hanya digunakan untuk menyimpan peti mati (bandosa) yang berjumlah empat buah.
Bangunan masjid terdiri dari bangunan pokok dengan atap tajug, mahkota sliliran floral, dan burung, tampak luar garis-garis yang memberi kesan sirap, penyelesaian pada ujung sudut atap runcing bentuk tanduk. Pada keempat sisi dinding terletak jendela jeruji kayu masing-masing dua buah. Sedangkan bangunan serambi beratai limasan dengan penyelesaian bentuk tanduk pada ujung sudut, tampak luar garis garis memberi kesan atap sirap. Jendela terdapat pada dinding samping kiri dan kanan masing - masing satu buah dan pada dinding depan dua buah.
