Podle výsledků dostupných archeologických zkoumání existují dobré důkazy pro tvrzení, že oblast dnešních Japonských ostrovů lidé osídlili již před více než půl milionem let. Ti se sem podle všeho poprvé dostali v době, kdy ostrovy byly propojené s Asií, a bylo tak možné na území ostrovů vstoupit buď skrze jejich jižní část, tedy ostrov Kjúšú, nebo naopak od severu z dnes ruského Sachalinu. Právě těmito způsoby na Japonské ostrovy doputovaly i první „zárodky“ jejich současné fauny a flóry, která je prokazatelně především korejského a čínského původu.
Jednou z prvních zmapovaných kultur žijících na Japonských ostrovech je pak kultura lovců a sběračů Džómon, která zde prochází obdobím největšího rozmachu zhruba jedenáct tisíc let před počátkem našeho letopočtu. V té době se její příslušníci hojně věnují práci s keramikou, díky čemuž se dnes o kultuře Džómon obvykle hovoří právě v souvislosti s vůbec nejstarší známou keramikou v dějinách lidstva.
K prvnímu výraznějšímu nárůstu lidské populace na území Japonských ostrovů potom dochází zhruba v období kolem roku 300 př. n.l., do kdy se také datuje období známé jako Jajoi, během něhož se sem po moři dostávají mnozí obyvatelé Číny, což s sebou neslo rovněž rychlý rozvoj zemědělských i řemeslných dovedností. Právě v této době se tak například v Japonsku poprvé začíná pěstovat rýže. Rovněž jde o období, z něhož se do dnešní doby dochovaly doklady o nám vůbec nejstarším známém názvu Japonských ostrovů, kterým je původně čínský znak, který je možné číst jako Wa.
Počátky tradičního buddhistického Japonska jsou zpravidla spojovány s 5. a 6. stoletím n.l., kdy se také objevuje instituce císaře. Přestože právě on měl ve svých rukou soustřeďovat moc, ve skutečnosti obvykle často na většině úrovní rozhodovala šlechta žijící na jeho dvoře, stejně jako správci vojska – tzv. šógunové.