据《上犹县志·方言》载：“从人口来源和迁入年代来看，东南部的东山镇及其附近的几个乡居民迁入时间较早，他们便自称‘本地人’，说的是‘本地话’。西部的居民迁入较晚，被本地人称为‘广东人’，俗称‘广佬’，说的是‘广东话’。上犹方言分为两片，即东片和西片。西片的下陈陈氏和营前城黎氏，七八十岁以上的老年人口中至今还保留着一种跟县城东山镇话相近的方言，他们也称之为‘本地话’。但是，上犹全境都属于客家话——客家人说的‘广东话’的客家话，本地人说的‘本地话’也还是属于客家话。”目前尚有谱牒资科可查的赣南本地人，大多都是南北朝以后迁入的。如宁都县城梅江镇赖氏在南朝元嘉年间由浙江松阳迁来，南康县蓉江岭岭吴吴氏、东门村千秋坪袁氏在隋代从河南开封迁来。唐宋时期迁入的更多，如石城县今存四十四姓，宁都还有四十六姓。明代初年，赣南人口流失严重，田地荒芜，而赣中一带人口密度大至“肩摩袂接”，于是朱元璋下令奖垦。南昌、吉安等府大批人口迁到赣南。 由于时代久远，赣南“本地人”的血统成分相当复杂，但无论先来后到，赣南讲“本地话”的所谓“本地人”，都应该归类于客家民系，因为赣南的“本地话”同样具有客家方言语音、词汇和语法的基本特征。赣南曾经有“本地人”跟“客籍人”的争端(刘纶鑫，1996)，本地人是唐宋以来便设籍的居民，而“客籍”是指明末清初才从粤东搬来的移民。他们又被称为“广佬”、“客籍人”，但不叫做“客家人”。此外也在清初，嘉应州、惠州府、韶州府人，大举移民广西、四川、台湾，少量也移民湖南，当中也有一些不同方言群体间的冲突，如台湾的闽南人和嘉应州人也曾经械斗。但是在罗香林的《客家研究导论》出版以前，他们也没有被称或自称客家。台湾的粤东移民，只会称为“客人”或“广东人”。在文献中都称为“粤人、粤东人”，语言是“广东话”，一直到日本统治时代也是如此。