Romalılardan Osmanlı dönemine uzanan en önemli ulaşım yolu Zeytinburnu'dan geçiyordu.
Romalılar tarafından MÖ 2. yüzyılda yapılan ve Adriyatik’i İstanbul’a bağlayan Egnatia yolu Zeytinburnu'dan geçiyordu. Yaklaşık 1200 km uzunluğundaki Egnatia yolu Roma'nın dev ulaşım ağının önemli bir koluydu. Ayrıca imparatorluğun Balkanlar ve Trakya üzerindeki hâkimiyetinin de güçlü bir sembolüydü. Bu güzergah Osmanlı döneminde de önemini korudu.
5. yüzyılda bölgeye çok önemli dinî ve siyasi yapılar inşa edildi.
5. yüzyıla gelindiğinde Zeytinburnu Bizans imparatorluğunun gözde yerleşim yerlerinden biri oldu. Bu yüzyılın ikinci yarısında imparator I. Leo Panayia Kilisesi’ni ve hemen yanındaki Balıklı Ayazması’nı inşa ettirdi. Daha sonra imparator I. Iustinianos, bu kiliseyi onararak genişletti ve o günden bugüne bazı patrik cenazeleri buraya defnedildi. Böylece bölge Hıristiyanlık açısından önem kazandı. 9. yüzyıla gelindiğinde, imparator I. Basileios tarafından Balıklı Ayazması civarında inşâ edilen Piyi Sarayı, bölgeyi bir cazibe merkezine dönüştürdü. Zaman içinde Ayazma ve Çırpıcı Çayırı halkın kutsal günlerde ve panayırlarda geldikleri yerler oldu.
Fatih, Haliç’le Marmara denizi arasında uzanan kara surlarını Yedikule Hisarı’yla takviye ettirdi.
Fatih Sultan Mehmed İstanbul’u fethettikten sonra Haliç’le Marmara denizi arasındaki kara surlarına takviye olarak Yedikule Hisarı’nı inşâ ettirdi. Böylece Zeytinburnu’nun önemi daha da arttı. Rivayete göre, İstanbul’un fethi sırasında ordu içinde su sıkıntısı yaşandığı bir dönemde gökyüzünde uçuşan kazlar görülür. Kazların görüldüğü yerde yapılan araştırmaların sonunda temiz bir su kaynağı keşfedilir. Bu hadisenin anısına buraya üzerinde kaz kabartması bulunan bir çeşme yaptırılır. O günden itibaren bölge Kazlıçeşme olarak anılır.
15. yüzyıldan itibaren Kazlıçeşme bölgesi tabakhane, mezbaha ve mumhanelerin merkezi oldu.
Kazlıçeşme bölgesi, Fatih Sultan Mehmed tarafından kasap ve debbağ esnafına tahsis edildi. Zaman içinde burada irili ufaklı birçok mezbaha ve yüzlerce tabakhane kuruldu. Kesilen hayvanların iç yağlarından mum yapılan mumhaneler de Kazlıçeşme’de yerini aldı. Böylece bölge entegre işleyen bir üretim merkezine dönüştü. İktisadi canlılığa paralel olarak Kazlıçeşme ve çevresinde yerleşim sayısı çoğaldı.
Zeytinburnu bostanları, mescitleri, tekke ve dergahları, mevlevihanesi ve külliyeleriyle tipik bir Osmanlı şehrine dönüştü.
Zeytinburnu, İstanbul'un fethinden sonra mescitleri, tekke ve dergahları, mevlevihanesi ve külliyeleri sayesinde tipik bir Osmanlı yerleşimine dönüştü. Kara surları boyunca uzanan meşhur bostanlarında çeşitli sebzeler yetiştiriliyor, İstanbul’un zerzevat ihtiyacı büyük oranda buradan karşılanıyordu. Sur dışı aynı zamanda büyük bir mezarlık alanıydı. İlk olarak Fetih şehitlerinin defnedildiği bu eski Türk mezarlıkları, zaman içinde sanatsal değeri yüksek mezar taşlarıyla âdeta bir açık hava müzesi görünümüne kavuştu.
Zeytinburnu, Kazlıçeşme Organize Sanayi Bölgesi olarak planlandı ve ağır sanayi bölgelerinden ikisi Zeytinburnu’nda kuruldu.
Zeytinburnu 19. yüzyılda Osmanlı sanayileşme sürecinin her adımına tanıklık etti. Geleneksel üretim yapan tabakhanelerin yanına yeni teknolojiyle demir, çelik, mavzer-fişek, şimendifer, kimyahane ve dokuma fabrikaları kuruldu. Zeytinburnu Cumhuriyet döneminde de hızlı bir değişime uğradı. Burası 1947 yılında İstanbul Belediyesi tarafından Kazlıçeşme Organize Sanayi Bölgesi olarak planlandı ve ağır sanayi bölgelerinden ikisi Zeytinburnu'nda kuruldu. Sanayileşmeyle birlikte Zeytinburnu, köyden kente göç olgusuyla, akabinde gecekondu mahalleleriyle tanıştı.
Zeytinburnu, 1957 yılında ilçe statüsüne yükseltildi.
Artan nüfusun etkisiyle birlikte 1957 yılında ilçe statüsüne yükseltildi. 1990’lı yıllara gelindiğinde gecekonduların yerini apartmanlar alırken ilçenin sosyal yapısı da değişti. Bu yılların sonuna doğru ZEYPORT liman projesi hayata geçirildi. 2000’lere yeni bir kimlik arayışında giren ilçe, bu yıllardaki kentsel dönüşüm projeleri, altyapı çalışmaları, çevre düzenlemeleri ve ulaşım yatırımlarıyla yepyeni bir çehreye büründü. Özellikle ilçe sakinlerinin kültürel ve sosyal bakımdan gelişmesini önceleyen belediyecilik hizmetlerine ağırlık verildi.
Zeytinburnu, tarihî dokusu ve yerel değerleriyle bugün İstanbul’un önde gelen kültür ve inanç turizmi merkezlerinden biridir.
Tüm bu çabalar meyvelerini vermeye başladı, günümüzde Zeytinburnu parlatılan tarihî dokusu, yerel değerleriyle İstanbul’un önde gelen kültür ve inanç turizmi destinasyonları içindedir.