Ján Pálffy prvé obrazy do svojej zbierky kúpil v Bratislave v roku 1847 a 1850 (od zatiaľ bližšie neznámeho Friesa). Zveľaďovaním zbierky však narastal okruh a geografický rádius jeho akvizícií. Po prvých nákupoch u viedenského antikvára Placha, s ktorým bol v kontakte do 70. rokov 19. storočia, nasledovali ďalšie v Mníchove, Benátkach či vo Viedni a u veľmi významného starožitníka Moreaua v Paríži. V Londýne od roku 1861 nakupoval častejšie. Výberovo získaval diela od obchodníkov v Paríži, Miláne, Benátkach, Stuttgarte, vo Florencii, v Kolíne nad Rýnom, najfrekventovanejšie však využíval služby viedenských obchodníkov Miethkeho a Artariu. Dve diela, možno však ich repliky, zaznamenali v zbierke kardinála Ascania Filomarina v neapolskom Palazzo Filomarino della Rocca.

Gróf Ján Pálffy daroval v testamente zo 14. novembra 1907 Múzeu krásnych umení 177 obrazov – 114 z bratislavského paláca a ostatné z Pezinského hradu, z viedenského a budapeštianskeho paláca. Rodové dedičstvo Pálffyovcov, sčasti nescudziteľné a spoločné, udržiavali príslušníci rodu Pálffy (István Pálffy) na Hrade Červený Kameň. Ich dedičstvo nesplynulo s novozaloženou zbierkou Jána Pálffyho, ani so zbierkami postupne vytváranými ostatnými členmi rodu. Zbavení majetkov za pôvod a národnosť (aby mohli svoje zbierky speňažiť a krajinu opustiť), na nátlak pamiatkarských orgánov, spolu 50 diel previedli priateľskou dohodou medzi rodom Pálffy a československým štátom do Vlastivedného múzea. Medzi týmito dielami sa nachádzali tiež diela zo zbierky Jána Pálffyho. Časť zbierky ponúkli na predaj vo Viedni v roku 1921. Do dražby v roku 1924 v Piešťanoch poskytli diela z kaštieľa v Kráľovej pri Senci, z Pezinského hradu a z bratislavského paláca. Rozšírenú ponuku umeleckých predmetov z Bojnického zámku dražili v tom istom roku v Prahe, kde o dva roky ponúkli na predaj aj knižnice z bratislavského paláca a Bojnického zámku. Zvyšok zbierky ponúkli na predaj v Košiciach.

Obrazy zanechané Jánom Pálffym a ďalších fragmentov skôr súkromných zbierok viedli k prirodzenej potrebe založenia krajinskej obrazárne a po ustanovení Slovenskej národnej galérie časť zbierky predisponovali v rozmedzí rokov 1950 – 1953 do novozaloženej inštitúcie. Z nich jedenásť diel je v Zbierke starého európskeho maliarstva. Spolu predstavujú najrozsiahlejšiu kolekciu od jedného pôvodcu a prispeli k vytvoreniu samostatnej zbierky európskeho maliarstva. Sú v nej diela z nákupov grófa Jána Pálffyho, ktoré sústredil v kaštieli v Kráľovej pri Senci. Bolo to miesto, kde sa usiloval vytvoriť ilúziu obdobia baroka. Sériu interiérov podriadil historickému slohu a v kombinácii francúzskeho nábytku a talianskej maľby sa usiloval kreovať bájny svet zašlých čias v pompéznom štýle. V Pezinku sledoval názor na historickú zbrojnicu, v Bojniciach skôr romantizmus. Jeho snahy koncom 19. storočia svedčia o konzervatívnom názore na umenie blízkom obdobiu historizmu.

Väčšina obrazov zo zbierky je momentálne vystavená v rámci stálej expozície Európske maliarstvo 16. - 18. storočia na Zvolenskom zámku SNG, podrobnosti o niektorých z nich sa dozviete v katalógu k výstave Talianska maľba.