Sejarah Kota Semarang dimulai sekitar abad ke-6 M, yaitu daerah pesisir yang bernama Pragota yang sekarang dikenal menjadi Bergota dan merupakan bagian dari kerajaan Mataram Kuno. Daerah pesisir Pragota (Bergota) pada masa itu merupakan pelabuhan dan di depannya terdapat gugusan pulau-pulau kecil. Akibat pengendapan yang hingga saat ini masih terus berlangsung, gugusan tersebut sekarang menyatu membentuk daratan. Pada bagian kota Semarang Bawah yang dikenal saat ini dengan demikian pada zaman dahulu merupakan laut. Pada sekitar tahun 1435 M pelabuhan tersebut diperkirakan berada di daerah Pasar Bulu dan memanjang masuk ke Pelabuhan Simongan adalah tempat armada Laksamana Cheng Ho bersandar. Laksamana Cheng Ho di tempat pendaratannya, mendirikan kelenteng dan masjid yang sampai sekarang ini masih dikunjungi dan oleh penduduk lokal dinamakan Kelenteng Sam Po Kong (Gedung Batu).
Kerajaan Demak pada akhir abad ke-15 M ada seseorang yang dikenal sebagai Pangeran Made Pandan atau Sunan Pandanaran I, ditempatkan untuk menyebarkan ajaran agama Islam dari perbukitan Pragota (Bergota). Daerah tersebut dari waktu ke waktu menjadi semakin berkembang dan subur, daerah tersebut subur dan tumbuhlah pohon asam yang berbatang hitam seperti arang yang dimana dalam bahasa Jawa asem arang, sehingga daerah tersebut kemudian mendapatkan gelar atau nama daerah menjadi kota Semarang. Sebagai pendiri desa, dengan gelar Kyai Ageng Pandan Arang I dan sepeninggalnya, pimpinan daerah tersebut dipegang oleh putranya yang bergelar Pandan Arang II yang disebut sebagai Sunan Bayat atau Sunan Pandanaran II atau Sunan Pandanaran Bayat atau Sunan Pandanaran saja.