Do niedawna uważano, że pierwotny, drewniany kościół pod wezwaniem św. Macieja i Anny wzniesiony został ok. 1350 r. przez księcia Ziemowita III. Twierdzenie to opierano na ustaleniach Oskara Kolberga z ubiegłego wieku. Nie wiadomo skąd czerpał on informacje, czy z tradycji ustnej, czy z nieistniejących dziś dokumentów. Opinię tępodważył profesor Tadeusz Lalik w książce „Studia i materiały do dziejów Piaseczna i powiatu piaseczyńskiego”, wydanej w 1973 r.
Najstarszy znany dokument dotyczący parafii pochodzi z 1458 r. W archiwum parafialnym zachowany jest on w postaci odpisu z drugiej połowy XVIII w. Księżna mazowiecka Anna, wdowa po Bolesławie III, nadała, niedawno ufundowanemu kościołowi w Piasecznie, grunty i las, pośród którego usytuowany został kościół. Chronologicznie łączy sięto w dziejach Piaseczna z jego powtórną lokacją (1458-1461). Praktyczna realizacja pierwotnej, przyjmowanej za datę powstania miasta, przesunęła się w czasie, z powodu śmierci księcia Janusza Starszego w miesiąc po wydaniu przywileju. W 1458 r. grunty miejskie nie były jeszcze pomierzone i nie całkowicie wykarczowane. W świetle powyższych rozważań datę erygowania parafii należałoby przesunąć o około sto lat. Pierwotny kościół spłonął wraz z miastem na przełomie pierwszej i drugiej ćwierci XVI w.
Odbudowę spalonej świątyni, w bardziej okazałej murowanej postaci, rozpoczęto za czasów księdza Stanisława Szymborskiego, który prawdopodobnie był jej głównym fundatorem.
Kościół zbudowany został w 1555 r. w stylu późnego gotyku z wyraźnymi wpływami architektury renesansowej (tzw. gotyk mazowiecki). Gmach jest jednonawowy wzniesiony na osi wschód-zachód, na planie prostokąta. Nowo poświęcony kościół otrzymał wezwanie Wszystkich Świętych. Wizytacja biskupa z 1565 r. nazywa go nowym. Kiedy w 1603 r. wizytował go biskup poznański Wawrzyniec Goślicki, był jużmocno nadwyrężony i miał zniszczony dach. W 1630 r. biskup poznański Maciej Łubieński konsekrował ołtarz i zalecił większątroskę o szkołę parafialną.
Mimo zmiany wezwania kult św. Anny w Piasecznie nie zamarł, stale poświęcony był Jej ołtarz boczny w południowej stronie kościoła, podczas gdy ołtarz od strony północnej zmieniał patronów. Przykładowo w 1603 r. był poświęcony św. Mikołajowi. Trudno ustalić od kiedy św. Anna stała się ponownie patronką piaseczyńskiej świątyni.
W okresie przedrozbiorowym przy parafii piaseczyńskiej istniały dwa bractwa religijne. Starszą metrykę posiadało Bractwo Różańca Świętego, założone w 1676 r. przez dominikanów z Nowej Jerozolimy (Góry Kalwarii). Drugie, założone przez bernardynów z Warszawy, Bractwo św. Anny działało od 1701 r.
W 1736 r., z inicjatywy ówczesnego starosty piaseczyńskiego Józefa Aleksandra Sułkowskiego, przebudowy wnętrza w stylu późnobarokowym dokonał Karol Fryderyk Pöppelmann młodszy, architekt króla Augusta III. Zmieniono wtedy wysokość ścian, dano inny wielki ołtarz, a na zewnątrz przy szczycie ściany wschodniej umieszczono figurę św. Jana Nepomucena, w siedem lat po jego kanonizacji. W tymże roku kościół był już pod wezwaniem św. Anny, a ponownej konsekracji dokonał biskup płocki Antoni Dębowski.
Przed rozbiorami parafia Piaseczno należała do archidiakonatu warszawskiego w diecezji poznańskiej. Według lustracji z 1789 r. własność kościelna składała się w Piasecznie z kościoła murowanego, plebanii drewnianej i folwarku; ponadto z 32 siedlisk w mieście na tzw. Poświętnem, na którym znajdowało się 21 domów. W granicach miasta kościół posiadał półtorej włóki gruntu i na wsi Woli Piaseckiej trzy włóki. Należała do niego dziesięcina wytyczna (zamieniona po 1817 r. na pieniężną) „po mieście i gruncie folwarcznym” oraz 4 domy „na gruncie księżym”. Do majątku dołączono grunt zwany Łoziska, w granicach wsi Woli Piaseckiej, który przyznany został dekretem Assesorii Koronnej miastu i proboszczowi, a przez sąd komisarski „rozdzielony i znakami granicznymi oznaczony”.
W czasie insurekcji kościuszkowskiej, w 1794 r. przez dwa miesiące, kwaterowało w kościele wojsko. Rosjanie zdewastowali jego wnętrze i spalili plebanię. Prawdopodobnie wówczas zniszczone zostały dwa ołtarze: św. Kryspina i Kryspiniana (patronów szewców) oraz Ukrzyżowanego Pana Jezusa. Nie wymieniają już ich XIX-wieczne inwentarze kościelne. Zastąpiono je przywiezionym z Warszawy w 1820 r. ołtarzem św. Augustyna oraz ołtarzem śś. Aniołów Stróżów.
Z chwilą objęcia probostwa w 1803 r. ks. Franciszek Melina, przy udziale architekta Giuseppe Borettiego i budowniczego Schwarze, podjął starania zmierzające do przeprowadzenia remontu kościoła oraz uporządkowania otoczenia. Przygotowano też plany ogrodzenia przykościelnego cmentarza. Zapewne wówczas rozebrano wieżę nad kruchtą od strony zachodniej. Obecna wieża – sygnaturka, ustawiona została centralnie nad nawą prawdopodobnie w 1833 r. W roku tym miała miejsce restauracja połączona z częściowym otynkowaniem kościoła. Dawny kościół murowany sięgał mniej więcej do wysokości ołtarza Matki Bożej, a prezbiterium i zakrystię dobudowano później.
Podczas powstania listopadowego, wojsko polskie stacjonujące tu w 1831 r. rozebrało drewniane ogrodzenie świątyni. Rząd Rewolucyjny pokwitował odbiór na cele narodowe dwóch srebrnych, pozłacanych kielichów.
W czasie powstania styczniowego, w 1863 r. ks. proboszcz Ludwik Czajewicz był powstańczym naczelnikiem Piaseczna. Za tę patriotyczną działalność został skazany na zesłanie na Syberię.
W okresie szykan popowstaniowych, na mocy ukazu carskiego, w 1866 r. wszelki majątek nieruchomy i kapitały duchowieństwa świeckiego rzymskokatolickiego m.in. należące do probostw i kościołów parafialnych przeszły na rzecz Skarbu Państwa. Proboszczowi piaseczyńskiemu w wyniku zastosowania tych przepisów oprócz zabudowań pozostawiono jedynie ogrody: owocowy i warzywny.
W 1914 r. kościół został poważnie zrujnowany. Jesienią pocisk armatni przebił na wylot północną i południową ścianę świątyni, uszkadzając ołtarze św. Augustyna i św. Anny. Ołtarz Matki Bożej pozostał nienaruszony. Pociski artyleryjskie zerwały dach, rozbiły organy (piszczałki zabrali Niemcy) i powstała potężna wyrwa w północnej ścianie świątyni. Wycofujący się w 1915 r. Rosjanie zabrali wszystkie 5 dzwonów z dzwonnicy.
W okresie międzywojennym kościół został wyremontowany. Przed 1933 r. kościół pokryto dachem blaszanym.
Przy parafii powstały katolickie stowarzyszenia społeczne, osobne dla każdego stanu. W 1927 r. zorganizowano Stowarzyszenie Młodzieży Polskiej Męskiej (poświęcenie sztandaru odbyło się w tym samym roku). Istniało też Stowarzyszenie Młodzieży Polskiej Żeńskiej. W 1936 r. ks. prałat Wincenty Balul założył Sodalicję Mariańską Żeńską.Nieco wcześniej w 1929 r. powołano Stowarzyszenie Kobiet Katolickich. Sztandar Stowarzyszenia Mężów poświęcono w 1936 r. Starszą metrykę posiadało Bractwo Adoracji Najświętszego Sakramentu założone w 1907 r. (sztandar zachował się do dziś).
We wrześniu 1939 r. Niemcy penetrując miasto, skradli wszystkie wota znajdujące się przy ołtarzu Matki Boskiej.
Po II wojnie światowej podjęto budowę Domu Parafialnego u zbiegu ulic 22 Lipca (dziś Jana Pawła II) i Puławskiej, która nie została ukończona. Z początkiem lat pięćdziesiątych prace budowlane przerwano, gdyż istniało realne zagrożenie, że obiekt zostanie przejęty na cele świeckie. W 1972 r. ks. proboszcz Kazimierz Siwak wyraził zgodę na nieodpłatne przekazanie na rzecz Państwa części działki przy ul. 22 Lipca, na której w późniejszych latach zbudowano bank. W związku z tą decyzją rozebrano nie zadaszone mury inwestycji rozpoczętej w latach czterdziestych, pozostawiając kaplicę i mieszkanie organisty. Ostatecznie Narodowy Bank Polski zawarł z proboszczem umowę notarialną i zapłacił parafii za działkę.
W latach 1958-1960 przeprowadzono regotyzację zewnętrzną świątyni, oczyszczono elewację kościoła i zakrystii, wydobywając spod tynku bogatą dekorację szczytów i ścian. W elewacji południowej odsłonięta niewielki, późnogotycki profilowany portal boczny. Parterowa kruchtą od strony zachodniej okazała się po usunięciu tynków częścią dawnej gotyckiej wieży, wzmocnionej dwiema cylindrycznymi szkarpami i posiadającej ostrołukowy prześwit w dolnej partii. W ścianie zachodniej zachowały się ślady sztrabowania i dawne otwory łączące kościół z wieżą. W niewielkim dotychczas zasobie wiedzy o kościołach gotyckich na Mazowszu jest to ważne ogniwo. Podczas prac konserwatorskich odkryte zostały obok ołtarza głównego fragmenty polichromii, noszące datę 1555 r. W 1960 r. dobudowano boczną kaplicę zwaną „Krzyża Świętego” wg projektu arch. Lecha Dunina oraz nadbudowano piętro nad zakrystią i kruchtą od strony północnej, co zmieniło na niekorzyść bryłę architektoniczną i całość zabytkowego kościoła, jedynego tego typu na Mazowszu.
W latach 1979-1983 z inicjatywy księdza Stefana Księżopolskiego przeprowadzono szereg prac remontowych m.in. wymieniono posadzkę,uruchomiono centralne ogrzewanie, przeprowadzono konserwację zabytkowych ołtarzy oraz uporządkowano otoczenie kościoła.
Wówczas zmieniono częściowo wystrój kościoła. Usunięto rokokową ambonę z ok. pół. XVIII w., ozdobioną na zwieńczeniu baldachimu sugestywną grupą figuralną, przedstawiającą św. Franciszka Ksawerego i dwóch ciemnoskórych nawróconych pogan (prawdopodobnie jedyna tego typu rzeźba w Polsce). W czasie zmiany posadzki wyjęto płytę renesansową ze starym kartuszem herbowym z pół. XVI w. -rzadkość w inwentarzu zabytków Mazowsza. Do kościoła w Starej lwicznej przeniesiono Drogę Krzyżową z przełomu XIX i XX w. oraz żyrandol na 50 świec ofiarowany w 1921 r. przez rzeźników, później dostosowany do żarówek. Części dwóch dalszych rokokowych ołtarzy bocznych z 2. poł. XVIII w. przekazano do budynku Seminarium Duchownego przy ul. Krakowskie Przedmieście w Warszawie. Nowe elementy drewnianego wystroju wnętrza wykonał Władysław Trojan, rzeźbiarz z Anina.
W okresie 1979-1983, Kolejny proboszcz ksiądz Stanisław Matysiak rozpoczął budowę domu parafialnego.
Dalsze prace remontowe przy świątyni prowadził ks. proboszcz Czesław Aulich. Najtrudniejszym zadaniem był remont dachu i sygnaturki. Odnowienie dzwonnicy wymagało niemal gruntownego rozebrania obiektu i zbudowania go od nowa.
W 1998 r. rozebrano kaplicę, a w jej miejsce zbudowano nową o innym kształcie architektonicznym. Okna świątyni ozdobiono witrażami w 1999 r. Wotum jubileuszowym z roku 2000 jest nowa posadzka z granitu włoskiego.