Múltjáról a korabeli oklevelek mellett a régészeti kutatás tárgyi emlékei alapján ismerhetünk meg fontos részleteket. I. Lajos király uralkodása idején a legfontosabb királyi tisztségviselők közé számítottak a Lackfi család tagjai, akik 1355-ben vásárolták meg ezt a területet. Rövidesen felépítették a kis alapterületű kővárat, hogy budai tartózkodásuk idején szállásul szolgáljon számukra. 1396-ban azonban a Lackfiak szembeszálltak Zsigmond királlyal, és ezért - azon kívül, hogy vezetőiket legyilkolták -, birtokaikat is elveszítették.
A király később feleségének, Cillei Borbálának adományozta Solymárt, kárpótlásul annak a házasságtörése miatt régebben lefoglalt délvidéki birtokaiért. A középkor további évszázadaiban a Korbáviai és a Rozgonyi família birtokában volt, jelentősége főként abban állt, hogy az ország politikai és gazdasági szíve, a budai királyi vár közelében feküdt.
1440-ben ostrommal foglalták el az ellenpárthoz tartozó birtokosától a lengyel származású I. Ulászló király táborához tartozó fegyveresek. Négy esztendő múltán a Czudar család zálogba adta a Rozgonyi famíliának. Egy 1449-es feljegyzés szerint rövid ideig Hunyadi János kormányzó uralta, majd királyi kegyként Garai László nádorispán szerezte meg. A Garaiak férfiágon való kihalása után Mátyás király törvénytelen kapcsolatból született fiának, Corvin János liptói hercegnek adományozta oda, tőle 1490 után Ráska Balázs főnemes ragadta el.
Az erődítményt már az 1526-os mohácsi csata után jelentősebb pusztítások érték a környéken fosztogató török és tatár lovas csapatoktól, de végleges romba dőlése csak az 1541-es budai megszállás után következett be. Maradványait a 18. században letelepülő németajkú (sváb) lakosság hordta el.
Szarkavárat csak az 1930-as évektől kezdte kutatni Valkó Arisztid műkedvelő régész, majd az 1990-es esztendőktől indultak el a tényleges feltárás és helyreállítás nagyszabású munkálatai. Lassan napvilágra kerültek a hosszúkás ovális alakú várfalak, melyek több lakóépületet és egy vaskos öregtornyot öveznek, a várudvaron létesített mély kúttal. A jórészt már restaurált várfalak méltó környezetet biztosítanak a település által szervezett kulturális rendezvények számára.