已知最早的日本人类化石可追溯到3万年前。今日的考古学证据则表明，古代的日本除了原住民外其他是由东南亚跟东北亚迁徙而来的各民族融合演变而成的。大约在公元前一万年开始，日本进入新石器时期，是为绳纹时代（公元前一万年至公元前3世纪）和弥生时代（公元前3世纪至公元3世纪）。伴随着从东亚迁入日本的渡来人，日本在弥生时代初期出现陶器、铁、铜器以及水田等文化，逐渐成为一个农业社会，同时一些如奴国等的小国也开始与中国发展外交关系。
在《日本书纪》中，天照大神的后裔神武天皇于辛酉年旧历一月一日（公元前660年2月11日）即位为初代天皇、并创建日本国。现今日本的建国纪念日即依此而定为2月11日。
日本朝廷一直透过朝鲜半岛的诸国吸收来自于亚洲大陆的文化。587年，豪族苏我氏的头目苏我马子击败物部守屋，又在592年*杀暗**崇峻天皇、立女皇推古天皇为帝，圣德太子摄政，日本进入飞鸟时代。圣德太子制定官位十二阶，并颁布宪法十七条，尝试创建一个以天皇为中心的国家。圣德太子过世后，苏我氏长期掌权。645年，中大兄皇子和中臣镰足*杀暗**苏我入鹿，掌握政权，是为“乙巳之变”。中大兄皇子拥立孝德天皇即位，推动大化革新等改革，仿效中国唐朝的政治制度，尝试创建一个律令制的国家。710年，元明天皇*都迁**平城京，日本进入奈良时代，律令制国家也日益成熟。朝廷的版图在这时也逐渐扩张，征服东北地方部分地区和南九州。
奈良时代后期，政局动荡，律令制松弛。794年，桓武天皇*都迁**平安京（现在的京都），此后到1192年成立镰仓幕府的这段期间是为平安时代，日语假名以及国风文化在此时代成形。嵯峨天皇时期的《新撰姓氏录》记录居住在京都及畿内的1182个氏族，其中“汉”为163氏，“百济”为104氏，“*句丽高**”为41氏，“新罗”为9氏，“任那”为9氏。
平安时代末期，出现以东国为势力范围的源氏和以西国为势力范围的平氏两个庞大的武家势力，1159年，发生平治之乱，源氏实力虽遭遇很大削弱，但在东国仍拥有强大实力，国家内部因为割据有源平二氏及奥州藤原氏等势力，加上各界不满架空朝廷的太政大臣平清盛专横擅政而内战频仍。经过长期的源平合战，平氏被赶出京都，将朝廷迁往福原京，之后于1185年在坛之浦之战中彻底覆灭。
1192年，武家首领源赖朝被封为征夷大将军，创建镰仓幕府，并展开幕府统治，开始日本600多年的幕府时代。源赖朝过世后，其妻子的娘家北条氏实力扩大，开始操纵、*杀暗**或废立之后的继位者，幕府大权旁落执权的北条氏得宗家之手。承久之乱后，北条氏的合议制执权政治达于全盛。1232年（贞永元年），北条泰时制订法典《御成败式目》（又称《贞永式目》）。该法典最初仅适用于武家内部，后来适用于全国。1274年（文永十一年）与1281年（弘安四年），蒙元两次侵日都未能成功，而战后受货币经济影响，无法恩赏抗元兵，导致御家人的贫困与御家人制度的解体。北条氏实行一族独裁，加深御家人和非御家人武士的反感，地方武士和农民积极进行反幕活动，幕府由盛转衰。后醍醐天皇乘机发动正中之变与元弘之变，倒幕号召得到各地武士响应。1333年5月新田义贞攻陷镰仓，北条氏控制的镰仓幕府灭亡。
后醍醐天皇掌握大权以后，并没有满足武士层次结构的期望。大军阀足利尊氏成为所有武士的代表，于1336年攻陷京都，扶持两统迭立中的持明院统光明天皇即位。大觉寺统的后醍醐天皇把持着日本皇室的三神器逃到吉野山中，坚持自己才是正统，足利尊氏则在京都创建室町幕府，于是出现京都（北朝）和吉野（南朝）两个对立的朝廷。南北朝的征战持续将近60年，1392年，足利义满逼南朝的后龟山天皇让位，由室町幕府拥立的北朝后小松天皇成为天皇，也终止长达57年的南北朝时期。1401年，室町幕府第三任将军足利义满为了经济利益和抗衡天皇而向明朝朝贡，大明皇帝遂封其为“日本国王”，但幕府于7年后与明朝断交。
室町幕府末期（1467年）发生应仁之乱，标志着日本进入长达148年的战国时代。1573年，大名织田信长，亦是当时最强悍的诸侯，攻下室町幕府所在地二条御所，将足利义昭流放到河内国，室町幕府灭亡，日本进入安土桃山时代（1573年至1603年）。1582年，织田信长因家臣明智光秀发动兵变而被害。信长重臣羽柴秀吉继承其势力，继续进行统一日本的战争。1586年，秀吉受赐姓丰臣氏并就任太政大臣与关白的最*官高**职，并于1590年击败北条氏统一全日本，隔年秀吉将关白一职让与过继来的养子丰臣秀次，自称太阁，以世袭的方式宣示丰臣政权的稳定。秀吉统率大部分的大名诸侯，自1592年起发动文禄・庆长之役，攻打朝鲜。1593年6月，日本因海战失利，无法补给，加上朝鲜瘟疫流行，为保朝鲜南部四岛的战果，遂派使节随同明使沈惟敬到北京议和，其间谈判使者石星、沈惟敬与小西行长合谋欺瞒蒙混中日双方，使得明朝在册封秀吉为日本国王时态度轻慢。9月，明朝赐封的使者抵达日本，丰臣秀吉因朝鲜王子不前来答谢而顿感大怒，拒绝受封，下令驱逐明朝使节，并将小西行长治罪，再次发兵攻打朝鲜。1598年7月，丰臣秀吉在伏见城过世，日方于当年逐渐撤出朝鲜结束战争。
1600年，封地在关东地方的大名德川家康获取关原之战的胜利，基本上获得全国军、政上的优势。1603年，家康被任命为征夷大将军，开创江户幕府。1615年，德川家康在大坂之役中完全消灭丰臣氏的势力，实现了日本的统一，江户幕府也成为日本实际上的统治者。江户幕府实行日本独特的封建体制“幕藩制”，将社会分为士农工商四个阶级及秽多、非人等贱民，基本上阶级间的流动受到限制。在幕藩制之下，各藩领国在经济上依赖中央政府的市场进行交易，幕府凭借经济上优势确保其统治权；但随着后期商品经济的高度发展，藩际贸易大大减少各领国对中央的依附性，各藩表现出明显的独立倾向，瓦解了幕藩体制的政治基础。
1543年，一艘葡萄牙船漂流到鹿儿岛的种子岛。时日本正值战国纷扰，葡萄牙人将欧式火枪传入日本，基督教也在这时进入日本。然而，传教活动与发达的贸易逐渐威胁到江户幕府的统治，于是幕府在1641年把荷兰商馆迁移到长崎的出岛，奉行保护主义（锁国），这段期间日本只容许荷兰和中国的商人来日贸易。在奉行保护主义的200多年间，荷兰商人通过与日经商传入兰学，兰学因而在日本生根发芽。1854年，美国海军准将马休·佩里率领黑船舰队驶抵江户附近的浦贺，迫使日本开港通商，才一改日本的贸易保护主义作风。江户幕府末年*动暴**频繁，幕藩体制摇摇欲坠，在西南四藩（萨摩、长州、土佐、肥前）为主的维新志士带领下，一场全国性的倒幕尊皇运动正式开展。
1867年，末代江户幕府将军德川庆喜迫于情势主动大政奉还，以明治天皇为首的新政府正式成立，江户时代结束，凭借著工业化的超高生产力，日本开始走上富国强兵的发展路线。1889年，新政府颁布了《大日本帝国宪法》（又称《明治宪法》），1890年举行了第一次帝国议会。在整顿内政的同时，日本也积极对外扩张版图。1867年开始的明治维新对日本进行了多项大刀阔斧的改革，在地方政治上废藩置县，废除大名制度。然而大量士族在明治维新的过程中失业，造成极大社会问题，并引发1877年的西南战争。为安抚士族情绪，遂有出兵台湾之议。1871年10月，一艘琉球国船只于台风后漂流至台湾东南部，其中54名登岛乘客被原住民出草杀害，史称八瑶湾事件。由于当时琉球国同时向清朝和日本朝贡，而清廷表示将事件交由日本处理，日本因而在1874年5月攻打台湾南部排湾族部落，是为“牡丹社事件”。在驻华英国公使调停下，中日两国签订《北京专约》，后来日本政府将条文中的“琉球人”诠释为“日本国属民”，因而在1879年以此为由吞并了琉球，琉球王国灭亡。1894年，朝鲜发生东学*党**起义，中日按《天津条约》同时出兵朝鲜半岛，起义平息后日本要求继续驻兵被拒，其后扣留高宗李熙，命大院君李昰应主国事，后日本称发现李昰应曾要求东学*党**与清军一起驱逐日军，于是不宣而战，突袭驻守于朝鲜的大清海军。随后于1894年8月1日，中日两国互相宣战，甲午战争正式爆发，期间旅顺陷落，日军执行旅顺大*杀屠**，对城内进行4天3夜的抢劫、*杀屠**和强奸，造成旅顺2万名平民死亡。1895年2月，清军溃败，清廷被迫派李鸿章代表清廷向日本求和，并以战败国身份在日本威逼下签订了条件苛刻的不平等条约《马关条约》，日本在此条约中获得了台湾和澎湖群岛以及二亿两白银的巨额赔款，已经是广泛认同的列强之一。
1900年，俄国趁八国联军侵华战争时单独出兵占据中国东北，但各国与清廷议和后俄国依然拒不撤兵，遂与日本交恶，最终在1904年爆发日俄战争，日本获胜除了让欧洲为之震撼，各殖民帝国更纷纷对日本刮目相看，日本也获取库页岛（日本称桦太）北纬50度以南的部分。1910年与大韩帝国签订了《日韩合并条约》，令朝鲜半岛合并成为日本的一部分。
日本于1910年将大韩帝国并入版图，是为日韩合并；并在第一次世界大战中投向协约国，向同盟国宣战，以获得德国在中国山东半岛的殖民地。1914年9月，日本向德国宣战，发动青岛战役，11月攻占青岛。第一次世界大战使日本富强，日本进入短暂的“大正民主”时期。1918年，米价急涨，日本农村爆发米騒动事件，并演变成武装冲突，参与者逾二百万人；事后警方逮捕超过二万五千人，其中八千二百人被判各项刑罚：轻则罚款，重则处死；此事亦使寺内内阁下台。由于当时日本内地的大米供不应求，因而增加生产朝鲜和台湾的大米，并进口更多的外地（属地）大米至内地，以解内地缺米之忧；朝鲜和台湾对内供米减少，朝鲜农民只能从满洲进口杂粮充饥。1923年9月，日本关东大地震，死亡人数达十三万人，日本经济遭遇重创；1927年4月，由于日本政府救济台湾银行失败，陷全国金融于险地，史称“昭和金融恐慌”；1930年，世界经济陷入严重经济衰退，而日本亦未能幸免。在此期间，滨口、犬养和冈田内阁为挽救经济，主张削减军费，使军部和右翼组织不满，三人亦先后被*杀暗**，使得日本军国主义思想白热化并对外侵略，特别是好战的陆军即在控制的中国东北地区滋事。
1931年，日军发动九一八事变，入侵中国东北，扶植傀儡国家满洲国，作为中日全面战争的前哨战；再于1932年，在上海发动一·二八事变。1936年2月26日，发生了二二六事件，广田弘毅组阁、东条英机为军部当权派阀领袖，创建以天皇及军部统制派为本的法西斯体制。1937年7月7日，日军策动卢沟桥事变，正式入侵中国，引发第二次中日战争。战时日军占领华东平原，包括首都南京，并试图以*京大南***杀屠**逼中国军民屈服，估计被杀人数约为二十万以上乃至三十万人，国民政府军事委员会委员长蒋中正率领的国民革命军祇能退守中国西南一带。但其后日军错判形势，中国战情僵持不下，令日军陷入消耗战；旷日持久，消耗日军大量人力、物力和财力，加上欧美对日本禁运，石油和钢铁等，不得运往日本，若资源被切断则无法打赢游击战。起初陆军试图攻打苏联的资源而最终作罢，因此军方孤注一掷，以情势说服对扩张不为所动的海军动员，试图发动“大东亚战争”，向南亚继续扩张，史称太平洋战争。
1941年12月，日本海军偷袭美军位于夏威夷珍珠港的基地，并正式向美国、英国和荷兰宣战，同时开始进军东南亚等太平洋地区，二战亚洲战场爆发。日军起初连战皆捷，然而大日本帝国海军在中途岛战役大败，成为太平洋战争的转捩点。1938年以来，日军以“扫荡”、“三光作战”等*行暴**，试图稳定中国的日占区，但仍无法扭转整体局势，而将希望寄托于海军。可是战争后期，美国海军陆战队接连攻下硫磺岛和冲绳岛，设下的海上防卫线接连遭到突破，美国可以从岛屿直攻日本本土，美军B-29轰炸机随即密集轰炸日本本土，许多城市遇袭，市民伤亡惨重、工业设施尽毁，并重创日本的飞机工厂和机场，败相已明显出现。1945年8月6日和9日，美军依次在广岛市和长崎市投下两枚原*弹子**；同时苏联亦于8月8日对日本宣战，占领日属满洲。8月15日，昭和天皇以电台广播宣布投降。9月2日，日本政府签署《降伏文书》，接受《波茨坦宣言》，并将领土范围限于本州、北海道、九州、四国以及其他指定岛屿，约占1920年日本国土面积的54%。第二次世界大战正式结束。
从1945年9月2日战败到1952年4月28日《旧金山和约》生效期间，日本被盟军军事占领，由美军为首的驻日盟军司令部（GHQ）统治，实行财阀解体政策，对垄断资本进行大规模重组；日本除了失去所有属地，也暂时被迫移交小笠原诸岛与琉球（原冲绳县）予美国军政管理。1950年，韩战爆发，美国对日本的政策开始改变，包括单方面和日本议和并放弃战胜国对日索赔的权利，允许日本设置自卫队，同时向日本订购大量*火军**及军需产品，带动日本战后军工产业的发展。美国亦在经济、政治方面对日本提供援助，使其成为第一岛链的一部分，遏制共产主义，由此而生的“特需繁荣”让日本经济进入高速发展期，并在随后十年分别出现神武景气、岩户景气等多次经济发展高潮。1956年12月18日，日本加入联合国。1964年，东京成功举办奥运会，带来奥林匹克景气，同年日本加入了经济合作与发展组织，国民生产总值在其后4年超越英、法，德，成为全球第二大经济体，正式跻身于先进国家之列。1972年，美国将琉球的行政权交还给日本。
1973年，第一次石油危机爆发，日本经济增长每年仅4%左右，低于六十年代初的9%，日本高速经济成长时期宣告结束，但日本在世界经济体中仍排第二位。至1990年代初期，日本泡沫经济崩溃，经济陷入长期不景气阶段。这一时期失业攀升，国债与赤字庞大，加上1995年奥姆真理教发动的一系列恐怖攻击与阪神大地震，社会陷入不安。1990年代，日本的人均国内生产总值，达到历史上的最高位。
战后的日本自1955年起长期由自由民主*党**执政，因而出现“55年体制”，直至1993年由于部分自民*党***党**员*党退**，导致自民*党**在该年国会众议院选举过后短暂失去组阁权约10个月，然而短短一年后自民*党**与社会*党**联手，藉社会*党**村山富市内阁的组建重返执政地位。
进入二十一世纪初期，日本经济透过往新兴市场出口而出现小波段苏醒的伊邪那美景气，但是2008年发生的全球金融海啸令索尼、丰田等指针性大企业纷纷出现巨大亏损。
2009年，执政自民*党**在第45届日本众议院议员总选举中惨败，再次下台，更首次失去共计长达54年众议院第一大*党**的地位。仅仅三年后，由于民主*党**施政失当和在东日本大震灾中救灾不力，内阁总理大臣更换频繁，加上福岛核灾使日本的经济再次陷入困境，造就自民*党**再次上台的机会。2012年12月，自民*党**获取压制性胜利，*党**总裁安倍晋三在上台后倡议修改宪法，取消当中否定的集体自卫权以允许自卫队到海外参与联合国的维和反恐行动，同时将自卫队的目标改为“本土防卫和国防保障”，透过自主制定的新宪法使日本成为一个正常的主权国家。然而由于新宪法的部分字眼具争议性，引发部分亚洲邻国不安，其推出的秘密保护法案在社会上亦引起一些疑虑。安倍晋三推行了一系列经济改革措施，包括推动日圆贬值、实行量化宽松等，被称为“安倍经济学”。纵使当中调高消费税的措施可能会令部分国民的薪资追不上物价升幅，但由于日元兑美元贬值，带动日本产业出口量和国内消费需求攀升，使日本能够摆脱长达15年之久的通缩阴影，亦令失业率创6年新低，日经平均指数升至近六年高位。