指南针的核心是一根可以自由转动的小磁针。它之所以指南，是因为地球本身就是一个巨大的磁体，拥有地磁场。地球的磁性主要被认为来源于地核外层熔融铁镍物质的对流运动（类似一个巨大的“发电机”）。这个磁场从地球的南极附近（地理北极附近）发出，环绕地球，再从北极附近（地理南极附近）进入。根据“同性相斥，异性相吸”的原理，指南针磁针的“N极”（北极）会被地球磁场的“S极”（地磁南极，位于地理北极附近）吸引，所以磁针的N极总是指向北方（地理北极方向），而S极则指向南方。需要注意的是，地理北极和地磁北极并不完全重合，存在一个“磁偏角”，所以指南针指示的是磁南北，和地图上的正南北略有偏差。
