在開展外交的同時，明朝認識到，要抵禦倭寇，關鍵還得靠軍事力量，加強海防建設。
    明朝初期的軍隊戰鬥力確實非常強，洪武時期擁有徐達、常遇春、湯和、藍玉、李文忠、周德興等大名鼎鼎的將領，他們帶領軍隊南征北戰，所向披靡，戰無不勝，不僅打敗陳友諒、張士誠、方國珍部隊，還戰勝元朝大軍，將元順帝趕到大漠深處。永樂年間的軍隊戰鬥力也是超級強悍，朱棣的軍隊能夠以少勝多，從北京一路打到南京，奪了皇帝大位，此外朱棣還親自率軍深入漠北征戰蒙軍，戰果累累，這些都是軍隊能征善戰的最好明證。
    麵對倭寇，明朝初期的陸軍毫不手軟，顯示出強者風範，在戰鬥中勇猛衝殺，打得倭寇哇哇叫。洪武二年，倭寇侵犯淮安，鎮撫吳祐率兵抵禦，在天麻山遭遇倭寇，官兵奮勇衝殺，大敗倭寇，生擒57人。洪武七年，倭寇侵犯海州（今連雲港），百戶何達毫不畏懼，率兵與倭寇大戰，斬首24人，其餘倭寇落荒而逃。洪武三十一年，倭寇侵犯寧海（今山東牟平），衛指揮陶鐸和其弟弟陶鉞齊上陣，帶領士兵勇鬥倭寇，斬首30餘人，其餘倭寇見狀紛紛潰逃。
    永樂十一年（1413年），倭寇3000人圍攻浙江昌國衛爵溪千戶所（今寧波象山縣爵溪），城外的倭寇密密麻麻的，數量之多創了明初紀錄。倭寇開始攻城，但是城內守軍並不畏懼，以矢石將攻城倭寇砸得腦袋開花，打退倭寇一次又一次的進攻，讓倭寇死傷甚多。最後倭寇不得不放棄攻城而撤退。備倭指揮僉事周榮率軍追擊，殺死倭寇甚多，倭寇溺水死者不計其數。明軍獲得大勝。
    最出名最經典的戰鬥還得數望海渦大捷。望海渦位於遼東（今遼寧大連市金州區東北30公裏的亮甲店街道金頂山）。永樂十七年四月，大明接到朝鮮人提供的情報，說有一群如餓狼般饑困的倭寇準備進攻大明。明成祖朱棣得悉後，命令遼東總兵官劉江在沿海全力做好防備，隻要有機可乘，就盡力剿捕，不留後患，不得有誤。
    劉江，宿遷人，本名劉榮，因替父從軍而冒父名劉江。接到情報後，他立即開展戰鬥動員，利用軍事設施做好各種準備工作。其實，在這之前，任遼東總兵官的劉江就注重海防設施建設，當他來到金州衛地方巡視，看到望海堝地高且廣，旁可駐兵千餘人，並聽當地的百姓說，凡有倭寇到來，必經此地，這裏實為濱海咽喉之地。於是，劉江就上疏朝廷，在此用石頭壘堡築城，置煙墩瞭望，以備倭寇來犯。朝廷當即同意劉江的奏疏。於是一座石頭城在望海渦建成，並駐紮了軍隊。
    一天晚上，負責瞭望的哨兵發現東北方向的王家島上有火光，於是立即向劉江報告。劉江預料一定是倭寇來到島上，估計不久就會登陸，便立即調兵遣將，嚴陣以待。他令一位名為徐剛的將軍率領步兵在山腳設伏；令一位名為錢真的將軍率領馬軍繞到倭寇背後，準備截其歸路；令百戶薑隆率領壯士，繞道到海邊，準備燒掉倭寇所乘寇船，讓倭寇沒法逃跑。
    果然不出所料，第二天，有約兩千名倭寇乘三十多艘船駛來。倭寇登岸後，成一字形，魚貫而行，直朝望海堝而來。倭寇看到望海渦附近沒有任何異常，放鬆警惕，快步而走。當倭寇進入伏擊圈，劉江下令旗舉炮鳴，於是明軍伏兵盡起，兩翼並進，殺向倭寇。值得一提的是，明軍還故意披頭散發，裝成真武神的樣子嚇倭寇，從精神上壓倒敵人。倭寇毫無準備，被打得措手不及，雖然急忙抵抗，但明軍氣勢正盛，鬥誌昂揚，而倭寇氣勢不佳，占不到半點便宜。倭寇見勢不妙，開始撤退。但是已繞到倭寇背後的錢真率軍殺出。且江隆率壯士潛至倭寇登陸地點，燒毀倭船，斷敵歸路。倭寇看到船隻沒了，明軍如神兵一樣降臨，嚇得魂不守舍，隻剩下兩種選擇，其一是戰死，其二是舉手被擒。明軍殺得起興，沒多久就斬首一千餘級；對於投降的，算是手下留情，生擒了數百人。明軍獲得完勝。
    此戰有效震懾了倭寇，《明史》記載：“自是倭大創，不敢複入遼東。”明成祖獲得捷報後，十分高興，下詔封劉江為廣寧伯，其替父從軍的事也不追究了，讓其改回原名劉榮，對其他將士也進行獎賞。這也反映明初政治清明，該賞則賞明，不會像後來的嘉靖年間忠奸不分，功臣往往被誣陷遭罪。
    明初不僅陸軍威武，水軍也是十分厲害。
    明朝的水軍發源於元末農民戰爭時期。朱元璋軍隊起初並無水軍。他準備奪取江南地區時，苦無舟船，難渡長江天塹，實在是愁。正當朱元璋愁眉不展的時候，俞廷玉、俞通海父子和廖永忠、廖永安兄弟致書朱元璋，表示願率戰艦千艘，歸附朱元璋。本來他們是為了保護鄉裏而聚兵巢湖，修船和訓練水軍，漸漸地發展壯大起來，竟然成為一支群雄矚目的水上勁旅。他們覺得在諸路義軍中，朱元璋最值得信賴、最有前途，決定投靠之。朱元璋得知後，大喜過望，笑道：“我正在謀劃渡江，而巢湖水軍就來歸附，我大事可成矣！”然後親自帶著幾位大將到巢湖，跟水軍的領袖們進行會商，很快就一拍即合。自俞氏父子、廖氏兄弟歸附之後，朱元璋一夜之間擁有一千多艘大小戰艦，實力大增。
    後來這支水軍在朱元璋奪取天下的過程中發揮出十分重要的作用。元軍聽說巢湖水軍和朱元璋合作，膽戰心驚，雖然派出部隊應戰，但被打得大敗而逃。朱元璋因此勢如破竹地攻占南京。接著，朱元璋依靠水軍在太湖擊敗張士誠，在鄱陽湖擊敗陳友諒，控製整個長江流域，統一南方，奠定了明朝的根基。此後，湯和與廖永忠率領水軍從寧波出發，從海道攻入福建，消滅了在元末割據福建的陳友定勢力。之後，又從福建打到廣東，從廣東打到廣西，由此統一了南方。
    大明帝國成立後，這支水軍也沒閑著，而是繼續發揮作用。基於倭寇時不時侵犯大明疆土，朱元璋便命水軍出海巡邏，主動尋找倭寇殺之，屢屢都有斬獲。出海巡邏相比在沿岸防衛有個優點，那就是沒等倭寇登岸劫掠，就將倭寇在大洋中予以消滅，讓倭寇的破壞力大大降低。如洪武二年（1369年），太倉衛指揮僉事翁德率水軍出海巡邏，在海上遇到倭寇，倭寇看得明軍水軍浩浩蕩蕩的氣勢，士氣就下降不少。經過一番勢如破竹的戰鬥，最後明軍俘獲倭寇92人。洪武七年（1374年），靖海候吳禎率水軍出海巡邏，他不斷擴大巡邏範圍，直至琉球大洋，夠遠的，且在大洋中俘獲不少倭寇，繳獲不少船隻。至此，倭寇看到明軍水軍，就像遇到天兵天將，腦中隻有一個念頭，趕緊跑，能跑多快就跑多快。
    到了永樂年間，大明的水軍更加強大。當時朱棣高度重視水軍的建設，願意投入巨大的財力物力人力打造世界一流的水軍。最典型的曆史事件莫過於眾所周知的鄭和下西洋。鄭和下西洋前後共七次，最遠到達非洲。鄭和下西洋是中國古代規模最大、船隻和海員最多、時間最久的海上航行，也是當時世界曆史上規模最大的海上探險活動。如永樂三年（1405年）鄭和第一次下西洋，全隊共有各種艦船208艘，共有官兵2。78萬餘名，其中軍士2。68萬名，包括總兵官鄭和、都指揮2名、指揮93名、千戶140多名以及旗校、旗卒等等。艦船配備大量當時最先進的武器裝備。可以說比後來擁有130左右艘船、號稱無敵艦隊的西班牙艦隊還無敵。
    從鄭和下西洋一事可見永樂年間水軍的厲害。明成祖朱棣也命水軍出海巡邏。永樂六年（1408年）十二月，朱棣一次就派6支部隊出海剿捕倭寇，每支50艘船左右，官兵五六千人，讓倭寇聞風喪膽。永樂十四年（1416年），總兵官蔡福奉命率萬人在山東海域巡邏，遭遇倭寇32艘船隻進犯靖海衛（在今山東榮城市西南端），海上大戰就此上演，經一番作戰，明軍大敗倭寇。