Historia kolekcji sięga 1965 roku, gdy muzeum zakupiło 110 pastelowych prac od mieszkającego wówczas w Lęborku Michała Białynickiego-Biruli, syna Teodora - zakopiańskiego lekarza i bliskiego przyjaciela Witkacego. W 1973 roku dokupiono m.in. zespół 12 rysunków i 2 portretów pochodzących ze zbiorów rodziny Jana Józefa Głogowskiego, inżyniera i fotografa związanego z Witkacym. Rok później muzeum pozyskało 40 prac od Włodzimierza Nawrockiego - dentysty zaprzyjaźnionego z artystą, któremu ten ostatni w zamian za usługi stomatologiczne rewanżował się portretowaniem krewnych. W 2005 roku kupiono 14 portretów ze spuścizny po filozofie Janie Leszczyńskim. Pozostałe prace nabywane były pojedynczo, od prywatnych oferentów lub za pośrednictwem antykwariatów i galerii. W kolejnych latach muzeum sukcesywnie powiększało swoją kolekcję.

Najnowszym nabytkiem jest portret Zdzisława Czermańskiego wykonany pastelami na papierze. Obraz został zakupiony na aukcji w Domu Aukcyjnym w Sopocie za kwotę 204 tysięcy złotych. To już czwarty obraz zakupiony przez muzeum w tym roku.

Obecnie wystawa składa się z 268 prac, w tym 232 portretów stworzonych przez Witkacego.