不過今日的考古證據卻表明，古代的日本是由眾多的部落國家以及自東北亞遷徙來的遊牧民族融合演變而成的。
大約在公元前一萬年開始，日本進入新石器時期，是為繩紋時代（公元前一萬年至公元前3世紀）和彌生時代（公元前3世紀至公元3世紀）。
在彌生時代時期，伴隨著來自中國和朝鮮人的移入，出現了陶器、鐵和銅器；還出現了成塊的水田，日本成為了一個農業佔主要地位的社會。
公元3世紀後半期到4世紀初，日本已經出現了統一政權—大和王權。
587年，豪族蘇我氏的頭目蘇我馬子打倒了物部守屋，又在592年暗殺了崇峻天皇、立女皇推古天皇為帝，聖德太子攝政，日本進入飛鳥時代。
聖徳太子制定了冠位十二階，並頒布了憲法十七條，試圖建立一個以天皇為中心的國家。聖徳太子過世後，蘇我氏長期掌權。
中大兄皇子擁立孝德天皇即位，推動大化革新等改革，仿效中國的政治制度，試圖建立一個律令制的國家。
710年，元明天皇遷都平城京，日本進入了奈良時代，律令制國家也日益成熟。
日本的版圖在這時也逐漸擴張，征服了東北地方部分地區和南九州。
修建於平安時代的平等院
鳳凰堂
奈良時代後期，政局動蕩，律令制鬆弛。794年，桓武天皇遷都平安京（現在的京都），此後到1192年成立鎌倉幕府的這段期間是為平安時代。
這一時期，隨著地方莊園勢力的不斷增強和中央政府的內亂，武士階層逐漸上升到權力的中心。
平安時代末期，出現了以東國為勢力范圍的源氏和以西國為勢力范圍的平氏兩個龐大的政治勢力，1159年，發生平治之亂，源氏實力雖遭遇很大削弱，但在東國仍擁有強大實力，國家內亂頻仍。
經過長期的源平合戰，平氏被趕出京都，於1185年在壇之浦之戰中徹底覆滅。
1192年，武士首領源賴朝被封為征夷大將軍，建立鎌倉幕府，開始了日本600多年的幕府時代。源賴朝過世後，賴朝妻子的娘家北條氏實力擴大。
三代以後權利轉歸北條氏之手。承久之亂後，北條氏的合議制執權政治達於全盛。
1232年（貞永元年），北條泰時制訂法典《御成敗式目》（《貞永式目》）。
該法典最初僅適用於武家內部，後來適用於全國。
1274年（文永十一年）與1281年（弘安四年），蒙元兩次侵日都未能成功，而戰後受貨幣經濟影響，無法恩賞抗元官兵，導致御家人的貧困與御家人制度的解體。
北條氏實行一族獨裁，加深御家人和非御家人武士的反感。
地方武士和農民的聯合武裝團體到處進行反幕活動。
倒幕號召得到各地武士響應。
1333年5月新田義貞攻陷鎌倉，鎌倉幕府滅亡。
後醍醐天皇掌握大權以後，並沒有滿足武士階層的期望。
武士們支持足利尊氏，於1336年攻陷京都，扶持光明天皇即位。
後醍醐天皇逃到吉野山中，仍堅持自己才是正統。
於是出現了京都（北朝）和吉野（南朝）兩個對立的朝廷。
足利尊氏則在京都建立了室町幕府。南北朝的征戰持續了將近60年，1392年才告結束。
江戶時代的日本城堡（姬路城）
1573年，織田信長攻下室町幕府所在地二條御所，將足利義昭流放到河內國，室町幕府滅亡。
日本歷史進入安土桃山時代。
信長重臣羽柴秀吉繼承了其勢力，繼續進行統一日本的戰爭。
1586年，秀吉受賜姓豐臣氏並就任太政大臣；1590年完全統一了日本，隔年秀吉將關白一職讓與養子豐臣秀次，自稱太閤，以世襲的方式宣示豐臣政權的穩定。
1598年7月，秀吉在伏見城過世，日軍開始撤出朝鮮半島。
1600年，封地在關東地方的大名德川家康取得了關原之戰的勝利。
1615年，德川家康在大坂之役中消滅了豐臣氏，實現了日本的統一，日本步入江戶幕府的時代。
江戶幕府實行高度集權的封建制，將社會分為士農工商四個階級及穢多、非人等賤民，嚴格限制階級間的流動。
佩里的「黑船」敲開了日本的國門
1543年，一艘葡萄牙船漂流到種子島，這是日本第一次接觸歐洲人。
時日本正值戰國紛擾，葡萄牙人將火槍帶入日本，並快速普及。
天主教也在這時進入日本。然而傳教活動與發達的貿易逐漸威脅到江戶幕府的統治。
鎖國期間日本只與荷蘭和中國進行貿易。鎖國政策奉行了200多年，直到1854年美國海軍准將馬休·佩里率領艦隊駛抵江戶附近的浦賀，才重新敲開了日本的國門。
與西方重新接觸後的日本立即感受到自己在世界舞台長時間的缺席已造成相當程度上的落後。幕府末年暴動頻繁，幕藩體制搖搖欲墜。
在以西南四藩（薩摩、長州、土佐、肥前）為主的維新志士帶領下，開啟了一場全國性的倒幕尊皇運動。1867年末代德川幕府將軍德川慶喜主動大政奉還，以明治天皇為首的新政府成立。
1867年開始的明治維新對日本進行了大刀闊斧的多項改革，在地方政治上廢藩置縣，1889年頒布了《大日本帝國憲法》（明治憲法），1890年舉行了第一次帝國議會。
整頓內政的同時日本也在進行對外擴張。1879年，日本兼併了琉球國；1895年與清朝爆發甲午戰爭並取勝，獲得了台灣與巨額賠款；1905年在日俄戰爭中獲勝，取得了北緯50度以南的庫頁島（樺太）。
1910年與韓國簽訂了日韓合併條約，使朝鮮半島成為了日本的一部分。
第一次世界大戰增強了日本的經濟實力，日本進入短暫的「大正民主」時期。
1923年9月，日本發生關東大地震，死亡人數達13萬人，日本經濟遭遇重創；1927年4月由於日本政府對臺灣銀行的救濟失敗，引發全國性金融危機；1930年，世界經濟陷入嚴重衰退，日本未能倖免。
這期間濱口內閣失敗的經濟政策引發人民的嚴重不信任，右翼勢力藉此擴張。
1936年2月26日發生了二二六事件，廣田弘毅組閣，軍部對政治的干預進一步增強。
1937年7月，日本與中國爆發中日戰爭，戰爭持續了8年之久。
1941年日軍奇襲位於夏威夷的美國軍港珍珠港，太平洋戰爭爆發，日本正式向美國、英國和荷蘭宣戰，同時開始進軍東南亞及大洋洲。
中途島戰役是太平洋戰爭的轉捩點。戰爭後期，日本本土受到盟軍的密集轟炸，造成數百萬人喪生與工業設施的損毀。
1945年8月6日和9日，美軍分別在廣島市和長崎市投下兩枚原子彈；8月8日，蘇聯對日本宣戰；8月15日，裕仁天皇透過電台廣播宣佈投降，9月2日, 日本政府調印降伏文書、第二次世界大戰正式結束。
廣島原爆圓頂
從戰敗到1952年期間，日本實際被美國主導下的同盟國最高司令官總司令部（GHQ）統治 ，美軍實行財閥解體政策，對壟斷資本進行大規模重組。
1950年，伴隨韓戰而生的「特需繁榮」讓日本經濟進入高速發展期。
1964年，東京成功舉辦奧運會；同年日本加入了經濟合作與發展組織，正式躋身於先進國家之列。
1973年，由於能源危機，日本經濟由高速成長轉入安定成長階段，但成長速度仍是西方先進國家中的前列。
日本在國際上的影響力也與日俱增。
戰後的日本長期由自民黨執政，是為所謂「55年體制」，直到1993年才告瓦解。
1990年代初期，日本泡沫經濟崩潰，經濟陷入長期不景氣階段。
這一時期失業攀升，財政赤字龐大，加上奧姆真理教發動的一系列恐怖攻擊與阪神大地震，社會陷入不安。
進入21世紀，日本經濟已穩健復甦，逐漸擺脫了長期低迷的局面。