进入昭和年代（1926年）以后，日本以大学生为中心的足球水平得到迅猛提升。1929年，日本足球协会正式加入国际足球联合会 。
日本足球跟世界杯渊源很深，历史甚至一直可以追溯至1930年第一届乌拉圭世界杯。与往后举办的世界杯比赛不同，该届世界杯并没有设立预选赛，所有国际足联会员国都是以被邀请的形式参加本届赛事。作为亚洲第一强国的日本也收到了邀请，但受美国经济危机影响，日本国内经济不景，社会形势动荡，同其他亚洲球队一样，日本足协并没有派出代表队参赛 。最后，本届赛事只有13支球队参赛，其中7支来自南美洲、4支来自欧洲，2支来自北美洲。由于不少欧洲球队认为远赴南美洲参赛成本太高且浪费时间，因此本届赛事只有少数欧洲球队愿意参赛。参赛球队分成4组，每组的首名晋级半决赛。阿根廷队、乌拉圭队、美国队和南斯拉夫队分列小组首名，进入半决赛。乌拉圭队在决赛当中以4:2击败阿根廷队，成为首届世界杯冠军。日本足球与世界杯的第二次擦肩而过是在1938年的法国世界杯。日本队报名参赛并进入预选赛阶段，首战对阵荷属东印度队（现印度尼西亚），但这次击碎日本队世界杯梦想的不是经济，而是战争。因日本正发动侵华战争，所以日本足协主动退出了比赛，荷属东印度自动晋级，并参加了本届世界杯 。第二次世界大战结束后，世界杯恢复比赛，由于此时日本足协已被国际足联除名，到1950年巴西世界杯结束后才重新加入，因此日本队再次与本届赛事绝缘。
相比与屡次错过世界杯，日本足球在奥运会上的表现则堪称辉煌。
1936年，日本队第一次参加在柏林举办的奥运会足球赛，并以3：2的比分击败了欧洲球队瑞典队 ，这也是日本足球第一次在国际足球赛场上取得的胜利。在这一点上，中国足球落后太多，中国队首次进入奥运会是1988年的汉城奥运会，第一个奥运会进球是2008年北京奥运会上董方卓打入的，而第一场胜利还不知道要等到什么年月？
1964年，奥运会首次在日本举办 。日本足协认为，日本作为本届奥运会的东道主，无论如何也必须取得理想成绩。为此，日本足协选任了国际足球教练德*马特**·克拉默担任日本的国家队主教练，克拉默除了指导日本国家队外，在平时还负责指导日本各地区、各大学、各高中教练员的训练，致力于日本足球的现代化 。终于，在该届奥运会上，日本队在小组赛阶段以3：2的比分击败了南美劲敌阿根廷队，2：3小负于加纳队，名列小组第二名，一举冲入八强。在1/4决赛上，由于双方实力差距悬殊，日本队0：4败给了1962年世界杯亚军捷克斯洛伐克队，在淘汰赛中又不敌南斯拉夫队，最后被淘汰出局。
奥运会结束后，克拉默卸任主教练，临行前他为日本足球的将来提了很多建议，其中最重要的一条就是举办全国联赛。在当时，日本国内大都是业余足球队，并没有举行高规格的联赛，全国最高水平的赛事，就只有天皇杯赛。之后，经过日本足协的努力，第一届日本足球联赛终于在1965年开球，当时共有八支队伍参与该届赛事，最终东洋工业（现广岛三箭）队夺得了首届联赛冠军，并在之后的连续四届联赛中蝉联 。日本队在1968年伊朗亚洲杯和1976年伊朗亚洲杯两次参加亚洲杯预选赛均落败 。
1968年墨西哥城奥运会，造就日本足球历史上一个巅峰。
在奥运会亚洲区预选赛当中，日本队在与韩国队同分的情况下以净胜球优势惊险争得出线权 。正式比赛上，日本足协聘请了日本队前教练德*马特**·克拉默担任顾问。在小组赛中，日本队以3：1的比分战胜尼日利亚队，并在另外两场比赛中先后逼平了巴西队和西班牙队，最终晋级进入决赛圈。1/4决赛中，日本队3：1力挫法国队，但在半决赛上，日本队0：5败给了后来夺得冠军的匈牙利队。在铜牌争夺战中，日本队又以2：0一举击败东道主墨西哥队，荣获第三名，这也创造了亚洲足球在奥运赛场上的最佳战绩，这一纪录至今未被打破。同时，日本代表队员釜本邦茂以进7球的成绩，成为了本次大赛的最佳射手 。克拉默也在此次赛事中为日本足球的发展作出了巨大的贡献，并在赛后获得了日本政府颁发的勋章 。要知道，第一次对奥运男子足球的年龄限制是在1992年的巴塞罗那奥运会上，也就是说，此前都是由成年国家队出战，这说明日本足球早期就已经奠定的较为雄厚的基础，也建立了强大的自信心，能在国际大赛上先后击败过瑞典、法国、阿根廷、墨西哥，逼平巴西和西班牙队等老牌强队这份荣耀令中国球迷羡慕不已。（持续更新中）