无人确知日本列岛上最早出现人类是在何时。有学者声称50万年前日本列岛上就已出现人类，有学者甚至预期将来能证明100万年前就有人类出现在岛上。虽然已知的日本最早人类化石仅仅溯自约3万年前，目前一般学者接受的说法是大约20万年前日本列岛上已出现人类。

　　直至最后冰河时期结束时，即大约15000年前，日本才藉由若干陆桥与亚洲大陆连接在一起。这些陆桥是北方的萨哈林岛（库页岛）、西边的对马岛以及南方的琉球群岛。换句话说，移居这个地区不难。移民一拨一拨抵达，尤其约3万年前从东亚和东南亚，接着是约14000年前来自东北亚的移民。

　　我们难以确切地描述旧石器时代的生活，其主要原因是当时的海岸线目前大都深深地没入水中。当时的海岸活动可能比现存的内陆遗址所显示的多很多。

　　迄今浮现出来的图像，基本上是随着季节移动的一小群一小群的猎人/采集者。猎人不仅猎野猪、鹿，也猎诸如象、野牛等大猎物，但在旧石器时代最后阶段，这些猎物变得较稀少，原因是气候暖化和随着人口增加而来的狩猎者增加。采集者则寻找各类浆果和坚果。

　　旧石器时代团体由几个大家庭构成，人数约20～150人。大家庭对于儿童的养育是很重要的，因为许多父母在30岁前就死了，许多孤儿需要成人之中较长寿者的保护。虽然人口有所增加，但可能从未超过2万人。

　　作为机动的猎人/采集者，大多数团体可能只有暂时的季节性基地。然而，在这一时代末期有些人群定居下来。也有某种程度的专业化，导致交易的产生。早在2万年前，黑曜石（用来制作工具的火山玻璃）就被用于交易，范围达至少150公里。这几乎可以肯定是以水路运输，显示船很早就已被使用。

　　石器时代的人们通常被描述为洞穴居民。然而，至少在日本这个个案上，洞穴似乎很少作为重要的永久住所，但相当多的洞穴被使用作为暂时居所。对开放场址的偏好显示，人工居所被普遍使用，尽管它的性质并不清楚。

　　重要的旧石器时代遗址包括宫城县高森、栃木县星野、长崎县福井洞穴、东京都调布市附近的野川、群马县岩宿，以及冲绳县港川。从港川挖出的估计生活在约17000年前、高155公分的一具男性遗骸来判断，日本石器时代的人依现代标准似乎块头较小，类似东亚其他地区的石器时代的人。

　　日本考古学者直至第二世界次大战后，一直倾向于依据诸如《古事记》、《日本书纪》等神话与史实混杂的古史来解释考古发现，史前史知识的建立因此受到阻碍。史前史知识目前正在增加，但仍有许多等待被发现。目前甚至仍不清楚最早居民是智人还是较早期的直立人。