Sâlih Zeki, 1864’te İstanbul’da mutevazı bir ailenin çocuğu olarak dünyaya geldi. Babası Boyabatlı Hasan Ağa, annesi Saniye Hanım’dır. Küçük yaşta anne ve babasını kaybeden Sâlih Zeki, büyükannesi tarafından büyütüldü. İlk önce mahalle mektebine verildi; ancak pek çok deha gibi aşırı yaramazlıklarından dolayı okumaya niyeti olmadığı gerekçesiyle okuldan uzaklaştırıldı. Sonrasında o dönemde yeni açılan, öksüz, yetim ve Müslüman çocukların eğitim gördüğü, önemli bir eğitim kurumu olan Dârüşşafaka’ya yazdırıldı. Burada parlak bir öğrenci olarak eğitimini sürdürürken, büyük bir rastlantıyla dönemin önemli matematikçilerinden Mehmed Nâdir Bey’den ders aldı. Nâdir Bey bu genc talebedeki buyuk kabiliyeti fark edip onunla yakından ilgilendi. Bunu Mehmet Nâdir’in, Sâlih Zeki’nin kabiliyeti hakkındaki şu sözlerinden anlıyoruz:

“Ben şimdi çıkıp gidecek ve bir daha bu mektebe ayak basmayacak idim. Fakat şu büyük kabiliyet beni bu fikrimden vazgeçirdi. Seni çok iyi bir matematikci yetiştirip enfes-i asarım arasına dahil edeceğim.”