Sejarah Masjid Tanah mendapat nama sempena sebuah masjid yang terletak di tengah-tengah pekan yang dibina daripada tanah di tepian sungai. Nama asal adalah Pekan Sungai Baru sempena nama sebatang sungai iaitu sungai baru. Lokasi masjid tersebut dibina di tepi sungai itu dan terletak di dalam Pekan masjid Tanah. Masjid ini dibina pada tahun 1800an oleh seorang Sheikh yang bernama Sheikh Khadi Abdul Latif berasal dari Gujerat India namun sebenarnya dari keturunan Arab Yaman.

          Namun Haji Sulong bin Sibeng merupakan orang tempatan yang turut bekerja keras dalam pembinaanya. Pada awal pembinaannya kesemua bahagian baik lantai mahupun dindingnya diperbuat daripada tanah. Maka dari situlah ia dikenali umum sebagai Masjid Tanah. Pada tahun 1951 masjid ini diubahsuai. Antara kerja-kerja yang dilakukan ialah memperbaiki tapak dan menggantikan atapnya. Masjid Tanah suatu ketika dahulu adalah sebuah pekan perdagangan yang dibawa daripada Kota Melaka ke daerah-daerah sekitar utara Negeri Melaka dan Alor Gajah dan juga sebaliknya. Masjid Tanah dihuni pelbagai lapisan masyarakat yang penduduk utamanya adalah berbangsa Melayu. Disebabkan lokasinya yang berda di dalam daerah Alor Gajah dan berdekatan dengan sempadan Negeri Sembilan, sebilangan besar dari penduduk Masjid Tanah dan kampung-kampung sekelilingnya bertutur dalam loghat Negeri Sembilan atau loghat Minang, atau lebih dikenali oleh orang Masjid Tanah dengan loghat ‘Hulu’ atau ‘Cakap Hulu’.  Bagi penduduk asal dan anak-anak Masjid Tanah yang asal. Pekan Masjid Tanah dipanggil ‘SIMPANG’ merujuk kepada pekan asal yang mempunyai 3 simpang (simpang tiga di hadapan Jam Besar Masjid Tanah)