Ptujski grajski grič je poseljen že od 5. tisočletja pr. n. št. naprej. V času antične Petovione sta bila na njem trdnjava in svetišče, v zgodnjem srednjem veku pa je bilo tukaj slovansko grobišče.
Zametki srednjeveške utrdbe segajo v 11. stoletje, ko sta bila grad in mesto v posesti salzburške nadškofije. Nadškofi so leta 1132 grad podelili v fevd gospodom Ptujskim, ki so z gradom in mestom s krajšimi prekinitvami upravljali več kot tristo let.
Srednjeveška utrdba je bila tridelna. Na vrhu griča je imela bivalne in gospodarske stavbe, na zahodni in vzhodni ravnici pa objekte vojaškega značaja, od katerih je ohranjen le še zahodni stolp. V 12. stoletju je na osrednjem delu griča že stala skupina zgradb s palacijem in mogočnim obrambnim stolpom. V 14. stoletju je osrednja stavba dobila podkvast tloris in je bila dvonadstropna, grajsko obzidje pa se je povezalo z mestnim. Videz gradu so v 16. stoletju temeljito spremenili italijanski gradbeniki, ki so mesto in grad utrjevali pred Turki.
Med letoma 1656 in 1802 je bil grad v rokah škotske plemiške rodbine Leslie. To je bilo zanj bleščeče obdobje, saj so ga Leslieji preuredili v baročno rezidenco. Po koncu turške nevarnosti so v 17. stoletju porušili obrambni stolp, grad povečali, na vzhodni ravnici griča pa postavili konjušnico in stolp. V 18. stoletju so ob južnem obzidju zgradili upravno poslopje, na zahodni ravnici grajsko žitnico in pod njo pristavo.
Zadnji lastniki, grofje Herberstein, so imeli grad v posesti med letoma 1873 in 1945, ko je bil nacionaliziran in z bogato opremo priključen ptujskemu muzeju.
