Kemper stond vanaf 1961 liefst veertien seizoenen onder contract bij PSV. De geboren Hagenaar werd in 1963 en 1975 landskampioen met de Eindhovenaren, waarvoor hij meer dan tweehonderd competitiewedstrijden speelde.

In zijn eerste jaren bij PSV dwong Kemper een plek af in het Nederlands elftal. Hij maakte in oktober 1964 zijn debuut voor Oranje in een WK-kwalificatiewedstrijd tegen Albanië en speelde in april 1967 nog eens twee interlands. Kemper beëindigde zijn loopbaan in 1976 bij Helmond Sport.

Na zijn carrière bleef hij actief betrokken bij PSV. Hij was vanaf het begin van de oprichting lid van de Commissie PSV d'Oude Glorie - een groepering voor oud-spelers - en fungeerde jarenlang als jurylid tijdens de Otten Cup, het jeugdtoernooi van PSV.

"PSV wenst alle nabestaanden, in het bijzonder zijn vrouw Fransje, kinderen en kleinkinderen veel kracht toe met het verlies van Peter", schrijft de Eredivisionist op de website.