Masjid Lama Arau didirikan semasa pemerintahan Raja Syed Ahmad Jamalullail sekitar tahun 1873 hingga 1897M. Tukang-tukang Arab dan Melayu merupakan antara tukang kayu yang diberi tanggungjawab untuk membina Masjid Lama ini. Bahagian tenga h masjid diperbuat daripada batu manakala di bahagian lain kebanyakkannya diperbuat daripada kayu.

Bahan binaan Masjid Lama terdiri daripada batu-bata, kayu, tanah liat, telur ayam, telur itik dan berbagai jenis manisan. Proses membina masjid ini mengambil masa yang agak lama. Oleh kerana pada masa tersebut simen belum ada di pasaran maka ia telah digantikan dengan pasir yang dicampur dengan kapur serta batu dan kemudiannya dibancuh dengan manisan lebah, manisan tebu, manisan nipah, telur ayam dan telur itik. Telur ayam dan itik hanya akan diambil telur yang berwarna putih sahaja kerana putih telur dan manisan akan bertindak sebagai simen untuk meneguhkan pegangan antara batu-bata dan juga tanah liat.

Keluasan masjid pada ketika itu berukuran 60 kaki x 60 kaki persegi iaitu berbentuk empat segi tepat. Kecubung masjid tersebut adalah jenis kecubung besar yang berdinding kaca berwarna hijau. Manakala pada bahagian atapnya pula diperbuat daripada zink tebal yang mempunyai bucu empat segi sementara tiangnya diperbuat daripada batu-bata dan tanah liat yang diadun dengan putih telur ayam dan telur itik. Pintu dan alang pula diperbuat daripada kayu yang teguh sementara lantai masjid yang pada awalnya berasal daripada tanah liat namun kemudiannya telah disimen oleh generasi baru.

Semasa pemerintahan Raja Syed Alwi Jamalullail , ruang beranda telah diperbesarkan di sekeliling masjid. Beberapa tahun kemudiannya pula dibuat lagi tambahan bangunan di sebelah kanan dan kiri masjid yang kelihatannya seperti bersayap bagi menampung bilangan jemaah yang semakin bertambah.

Pada waktu malam akan dipasang lampu minyak tanah untuk menerangi masjid terutamanya pada bulan puasa dan ketika diadakan sebarang sambutan dan kenduri. Tikar mengkuang, tikar menerung atau tikar rumput dijadikan hamparan di dalam masjid. Air untuk mengambil wuduk akan diangkut oleh anak jemaah secara bergilir-gilir seminggu sekali dari sungai yang berhampiran iaitu Sungai Arau dan kemudian akan dituang ke dalam kolah air yang terletak bersebelahan masjid. Kerja-kerja membersih di dalam dan luar masjid pula diusahakan secara bergotong-royong oleh anak-anak jemaah masjid.

Semasa pemerintahan Raja Syed Putra Jamalullail, Masjid Lama Arau telah mengalami pelbagai perubahan. Atap masjid, lampu, tikar dan segala kelengkapan masjid telah ditukar dengan yang baru. Walau bagaimana pun, pada tahun 1973 Masjid Negeri telah dibina di tapak masjid yang ada sekarang menggantikan Masjid Lama Arau. Justeru itu, mulai tahun tersebut fungsi Masjid Lama Arau telah berpindah ke Masjid Negeri baru tersebut.