它开辟了远洋航行的新时代，对人类的发展起到巨大的推动作用。
指南针的发明是华夏民族的一项创举，被列为四大发明之一。我国古代以南为尊，故以指示南方为标准，所以名称都带"南"字。
指南针的雏形是指南车。传说黄帝最先发明了指南车。黄帝与蚩尤进行生死决战时，蚩尤弄得大雾迷漫，使黄帝手下的将士迷失了方向。黄帝经过几昼夜的思考，终于发明了指南车，率领将士打败了蚩尤。黄帝由此被后世尊为中华民族的始祖。
另有一种观点认为，指南车是周公发明的。周公当政的时候，各地诸侯派使者前来朝贺，遥远南方的越裳氏也派来了使者。周公担心南方的客人回去时迷失方向，便造出指南车供其辨认方向。
在战国时代，我国的冶金业取得了迅猛的发展，人们在寻找铁矿的时候，无意中发现了磁铁矿（磁石）。磁石的得名很有意思："石，铁之母也。以有慈石，故能引其子；石子不慈者，亦不能引也。"故先秦和秦汉古籍中都把磁石写成"慈石"。大约到了唐代，"慈"字才改为"磁"。由于磁石具有吸铁的特性，民间习惯称它作"吸铁石"，至今犹然。
磁石很快被广泛应用。秦始皇曾利用磁石修筑阿房宫的北阙门以防刺客。在制药的过程中，往往用磁石吸去铁制杵臼留在药中的铁屑。《本草纲目》记载了宋代人用磁石吸铁的特性来进行外科手术，如从眼中或口中吸取某些细小的铁质异物﹣﹣现在，这种方法已发展成为一种专门的磁性疗法，对关节炎等疾病有良好的疗效。磁石最著名的应用，就是利用其指向性制造出了日后震惊世界的指南针。
司南的发明标志着指南针的发展进入第一阶段，它大约问世于战国时期。司南是用天然磁石制成的，样子像一把勺，可在平滑的"地盘"上自由旋转。那块方方的地盘是指罗经盘，四周刻有八天干和十二地支，加上四卦（乾、坤、巽、艮），共二十四向。定向时，人们把司南的柄轻轻一碰，待旋转的磁勺慢慢静止下来，勺柄就指向南方，人们就能判断出自己所处的方位。据说，那时的郑人去深山幽谷中采玉时，人人要怀揣一套小小的司南。
天然磁石凿成的司南的指向性不够准确。到了唐宋时期，有人运用人工磁化的方法做成了指南针。这标志着指南针的发展进入第二阶段。人工磁化有两种方法﹣一种是制作指南鱼，就是把一块高热的铁片放在地磁场中，使它骤然冷却，在地磁场的作用下，分子重新排列，铁片被磁化。但因地磁场磁性太弱，磁化也较微弱，因此，为加强磁化的程度，就把这"鱼"放在密闭的容器中保存一段时间，强化"鱼"的磁性。这是世界上最早利用地磁场磁化铁片的实验。
这种方法做成的指南鱼仍不够准确，就诞生了另一种方法：用天然磁石来摩擦铁针，使铁针磁化，制成指南针。在使用指南针时也需要方位盘配合，所以，指南针又叫罗盘针。磁针和方位盘联成一体，称作罗盘。罗盘分为旱罗盘和水罗盘，前者的性能更好，更适用于航海，因为磁针有固定的支点，而不会在水面上游荡。但是，它在海上应用仍有很大的不便。
1560年，意大利的卡尔达洛发明了新的磁针装置。这种装置利用三环式悬挂法，无论船如何颠簸摇摆，磁针都能保持水平状态，因此磁针指示的方位更加准确。这种装置叫罗盘仪，是航海中最重要的工具，非常适用于木船。
然而，铁船出现之后，磁针受铁的影响，失去了作用。人们不断设法消除磁针的指示误差，例如，在磁针旁边放置永久磁铁或在两侧放置铁球。1874年，英国的凯尔文发明了不受铁影响的准确的罗盘仪。
指南针的发明是一项具有划时代意义的伟大成就，在军事、生产、生活、测量等领域发挥了重要的作用。指南针使人类获得了全天候的航海能力，再也不必担心阴晦天气无法观测天象而迷失方向，由此开辟出远洋航行的新时代。明代大航海家郑和率领庞大的船队七下西洋；1519~1522年，葡萄牙人麦哲伦的船队完成历史上第一次环球旅行，指南针和罗盘功不可没。