Osmanlılar beylik olarak tarih sahnesine çıktıkları ilk yıllarda düzenli bir orduya sahip değillerdi. Zamanla fetih hareketleri artınca düzenli ve kalıcı birliklere ihtiyaç duyuldu. İlk düzenli ordu Orhan Gazi zamanında kurulmuştur. Yaya ve müsellem olarak adlandırılan atlı birliklerden oluşan düzenli ordunun askerleri, sadece savaş zamanında maaş alır; barış vaktinde sivil halde kendi işlerini yaparak geçimlerini sağlarlardı. Birlikler 1.000’er kişiden oluşurdu.
Osmanlıların ilk kalıcı askerî teşkilatı olan Yeniçeri Ocağı’nın da kuruluşu Orhan Gazi zamanına kadar geriye götürülebilir. Bu teşkilat savaş esirlerinden meydana getirilen bir ordu olarak ortaya çıkmıştır. Yeniçeriler, sadece savaş zamanında değil, barış zamanında da asker olarak görev yaparlardı. İlk kurulduğu sıralarda Yeniçeri Ocağı mensuplarının yaklaşık 1.000 kişi olduğu tahmin edilmektedir. Sultan I. Murad’ın Gelibolu’da kurduğu Acemi Ocağı da ilk askerî okul olarak kayıtlara geçmiştir. Burada sadece yeniçeriler değil, kapıkulu askerleri de yetiştiriliyordu.
İlk Yeniçeri Ocağı Sultan I. Murad tarafından Edirne’de açtırılmıştır. Zamanla Yeniçeri Ocaklarına Hıristiyan ailelerinin çocukları devşirme usulüyle alınmaya başlanmıştır. Bunlar ordunun ana omurgalarından birini oluşturuyordu. Yavuz Sultan Selim döneminden itibaren Müslüman ailelerin çocukları da devşirilerek orduya alınmıştır. 16. ve 17. yüzyıllarda yeniçerilerin sayısı 10 bin-60 bin arasında değişmiştir. Osmanlı ordusunun bir diğer birimi ise Topçu Ocağı’ydı. Fatih Sultan Mehmed tarafından Tophane’de kurulan bu askerî birimin vazifesi topları imal etmek ve kullanmaktı. Osmanlı ordusunun askerî kuvvetlerinin asıl büyük kısmını ise eyaletlerden toplanan tımarlı sipahiler oluşturmaktaydı. Sultan III. Selim döneminde askerî alanda önemli bir ıslahat yapılarak Nizam-ı Cedid ordusu kuruldu. Bu ordunun teşekkülünde Avrupa’daki askerî düzen örnek alınmıştır. Sultan II. Mahmud döneminde Sadrazam Alemdar Mustafa Paşa öncülüğünde Nizam-ı Cedid’in isim değiştirmiş hali olan Sekban-ı Cedid ordusu kurulmuştur. Bir ara Sultan II. Mahmud tarafından Eşkinci Ocağı adıyla bir ordu kurulmaya çalışılsa da başarılı olunamadı. Nihayet aynı sultan tarafından 15 Haziran 1826 tarihinde Yeniçeri Ocağı kaldırılınca, yerine Asakir-i Mansure-i Muhammediye kuruldu. Böylece günümüze kadar gelen yeni ordu sisteminin ilk hali hayata geçirilmiş oluyordu.
Yeni ordunun subay ihtiyacını karşılamak üzere 1834’te Harbiye Mektebi açıldı. Daha önceden açılmış olan Mühendishâne-i Bahrî-i Hümâyun ile Mühendishâne-i Berrî-i Hümâyun ise kara ve deniz mühendisliği sahasında teknik eleman yetiştiriyordu. Modern tıp eğitimi vermek ve tabip yetiştirmek üzere 1827’de Mekteb-i Tıbbiye açıldı. 1840’lara gelindiğinde, harbiye öncesi ortaöğretim seviyesinde eğitim vermek amacıyla Emin Paşa’nın öncülüğünde idâdîler kuruldu. Süleyman Hüsnü Paşa’nın harbiye mektebi nazırlığı sırasında ise idâdîlerden önce eğitim vermek üzere ortaokul seviyesinde rüştiyeler açılmıştır (1874-75). Rüştiyelerin açılması ile birlikte Osmanlı Devleti’nde askerî eğitimin son şekline büründüğü görülür. Böylece klasik dönemden sonra Avrupa’dan etkilenen ve yeni dünya standartlarına ulaşan bir eğitim sistemi, Osmanlı anlayışıyla ortaya çıkmış oluyordu.