Kaposvártól kb. 20 km-re nyugatra fekszik, főutcája 61-es főútból ágazik ki, de a falu házai közül néhány a főút mentén áll.

A terület, ahol ma a falu áll, a 19. században Somssich Pál birtoka volt, innen ered korábbi neve, Páltelke, melyből a századfordulóra alakult ki a mai Pálmajor elnevezés. 1923-ban nyílt meg népiskolája, ahova kb. 70 gyermek járt be mintegy 5 kilométeres körzetből. Az évtized végére számos cigány költözött be a pusztára, ennek eredményeként 1930-ban 214 lakosával már a népesebb puszták közé tartozott. Jórészt cselédek lakták, akik egészen fiatal koruktól kezdve végigdolgozták életüket.

A második világháború után a megszűnt közeli Egerpuszta lakóinak egy része átköltözött Pálmajorba, a hatvanas években pedig Földhíd, Imremajor és Kocsmatag lakossága is részben ide települt át. Az évek során azonban a helyiek többsége Kaposváron lelt új otthonra, helyükre újabb cigány családok költöztek.

Pálmajor 1993. január 1-jétől önálló település, korábban Nagybajom része volt. Gyógyszertár, védőnő és fogorvos nincs a településen, az orvos is Nagybajomból jár be.

2013. szeptember 6-án a gyerekek és családjuk helyzetét javító, szociális és felzárkóztatási tevékenységet segítő közösségi szolgáltató házat adtak át a településen.