源於中國的劍術，在隋、唐時期傳入日本，經日本人的研習修改，形成獨特的刀法技術，古時用來保家衛國、防禦外敵和維護社會秩序，現今才漸漸成為一項武術運動，改用竹刀、穿著護具對打。
    在公元前473年，中國的吳被越所滅，吳的難民由山東半島及東夷諸島國渡海逃亡到日本，同時並攜帶了青銅製的“戈”與“劍”等。再經二百多年後，中國進入生產鐵器的秦漢時代，這些鐵器也隨同大陸與朝鮮渡海過來的移民們，一塊抵達日本。二世紀後半葉，耶馬台國女王，遣使貢魏四次，獲魏明帝贈絹、銅鏡和大量的武器如“鐵矛”、“鐵劍”。
    最初創定劍法三個段位者“天地人”也就是“上中下”段的人，據傳為二世紀初，日本景行天皇之子“日本武尊”。此說乃是記載於距此六百年後(712年)完成的日本最初之書《古書記》和《日本書記》上的，但書上的內容大多屬於類似神話的傳說，內容就令人懷疑了。到第四紀中葉，在常陸國鹿島的國摩真人，創出“神妙劍”的劍法，此即為有名的“鹿島之太刀”，後世流派多源出於它。第八世紀末，桓武天皇的皇宮大夫和氣清磨，建立武德殿，武人於此練武，始自桓武天皇於至曆代“平安朝”的天皇，每年的五月五日，在此舉行天覽比賽。
    到了平安中葉的十一世紀初，由過去在戰場上實戰的經驗，發現在馬上作戰時，使用砍斬的機會比刺擊為多並較有利，也為了較利於拔刀，遂將原來單手使用，以刺擊為主，削僅為副的雙刃三尺直劍，改變形體為雙手使用，以砍斬為主，刺擊為副的單刃彎刀，也即成為今日“日本刀”的雛形。
    鎮西八郎源為朝，劍技淩駕號稱“西陲第一”之乃師，複創“陰陽”也即“左右”兩個段位，加上原有的“上中下”其五個段位的構型，成為後世的規範。
    源義經(幼名牛若丸)，“平治之亂”其父源義朝被平清盛所殺，其母被擄並納為妾。故義經得免死，軟禁於山城國鞍馬寺，讀書習武。一日，於後山山穀中，遇上自稱為“天狗”的異人傳授劍技。義經將其融入日本刀獨特的使用法，成為源家一統的劍法。此劍法遂經由其門下，麼一法眼的門下八達人，成為有名的“京八流”或稱“鞍馬八流”，其支流等一直流傳至今。
    鐮倉朝以後，攻防的劍技與武具，亦益形進步與發達，為了防禦戰場上強而有力的矢箭，遂必須穿著厚厚的甲胄。而一旦到了白刃戰時，為了對付此類甲胄，遂將三尺以上，甚至於達到四至五尺長的太刀，把劍尖垂斜於右或左後，揚劍從斜上方往斜下方砍下，或從斜下方往斜下方揮斬，所以才產生了“構”的構型。
    室町幕府末期進入了戰國時代，於1544年火繩槍輸入日本之後，厚重的甲胄已失去其防護的能力，遂改著用利於進退的輕巧護甲，刀劍的尺寸也改短。由常佩刀(刀刃向下，水平式掛吊於腰帶上)改成為刀刃向上，斜插於腰帶上，劍技也以攻擊頸、喉、腰、腋下、股間與手腳關節等等，護甲所保護不到的地方為主。此時代學習劍法，以真劍、刃引(鍛劍時沒有嵌入刃鋒的刀)、木刀等作“型”的練習。
    一代劍聖上泉伊勢守信綱，發明以三尺餘長的竹子，從留下刀柄的部分，往刀尖方向逐段割成四片、八片、十六片或卅二片，再以厚木棉布作成袋子把它套起來，做成素麵素小手，可直接互相擊打練習的“袋竹刀”，但一直到後世它除了其傳下的新陰流，新當流，和部分一刀流所接納沿用之外，它的流傳並不普遍。
    戰國過去，經桃山時代進入到江戶時代，天下劍豪輩出，武道之興盛達最高潮。1764年前後，中西忠藏仿擬頭盔，護胸，籠手而發明了麵，胴，小手等護套，並將竹子割成四片，加上先革，中結，約絲，柄革，鍔而做成竹刀，然後限定打擊有護套保護下的任何地方。當時劍術的練習與比賽，這就是現在我們所學習的“劍道”最初之雛型。但各流各派，仍保有其各自獨創之“型”的劍法，故以真刀實戰，仍需輔以型的練習，到德川幕末為止，天下的劍法流派，達二百餘流之多。
    明治維新後，廢藩治縣，失去主家的武士們，紛紛淪為浪人。1876年發布除軍人警官之外，一般人的帶刀禁止令，使原來的武士們，為了生活，不得不轉事農工商之工作，但卻又因不擅其事，以致多陷入衣食無著，生活窮困的地步。
    明治十年西南戰爭爆發，警視局招募全國劍士，組織“拔刀隊”討伐西鄉隆盛，十二年jch正式興習劍術，同年五月，集各地劍士舉行擊劍會，首創製定“勝負三次”的辦法，並由直心影流，鞍馬流，寶山流，立身流，一刀流，傳流，自源流，無念流，柳生流，鏡新明智流等十流中，各采一式，製定成“警視廳流”之劍道型，此型後來也為全國的學校所采用。廿八年於京都平安神宮內，舉行武德祭，重建武德殿，成立“大日本武德會”，卅六年製定範士、教士之稱號，後再加煉士。
    第二次世界大戰戰敗後的日本，被日本國土占領軍總司令部，認定劍道為殘酷恐怖的武技，遂與射擊、銃劍術等，全麵的禁止練習，一般人所擁有的護套，全部沒收並予焚毀等。後來由森順造氏等出麵陳情並反駁謂：“劍道並非如貴部所思，專為學習殺刃為本旨之技，其所含更高次元的精神意義為：承習古傳諸流攻防體技之間，不僅形而下之體格、體力、健康、長壽等之增進，更能具備形而上之觀察、理解、判定、斷行、思考、克己、撙節、禮讓、信義、仁愛等精神上的教育，故貴部如此禁絕，是否悖民主主義之自由精神，何況，際此原子武器的時代，而卻對此劍道有所畏懼而予禁絕，豈不是一件非常可笑的怪事，與淺慮謬誤之指施？”，如上反駁提出後，劍道禁止的命令果獲停發。昭和廿四年舉辦戰後首次全國劍道競技選手權大會，向總部提出申請，卻未獲正式批準，但也並不加以禁止，故就在這樣形同“默許”的狀態下舉行。