Projekt świątyni zamówiono u znanego warszawskiego architekta, Leandra Marconiego. Jej budowa trwała dwa lata i pochłonęła 200 tysięcy rubli. Ta pokaźna suma przekroczyła znaczne fundusze zebrane przez zamożnych zwolenników haskali. Dlatego Komitet Budowy Synagogi zmuszony był do pozyskiwania brakujących pieniędzy poprzez pożyczki w obligacjach hipotecznych oraz podczas zbiórek prowadzonych w okolicznych kościołach.
Nową synagogę wzniesiono na planie krzyża łacińskiego w stylu klasycystycznym. Wejście prowadziło przez czterokolumnowy portyk zwieńczony tympanonem. Główny korpus przykryty został czterospadowym, tak zwanym walmowym dachem, i zwieńczony otoczonym balustradą belwederem, czyli nadbudówką. Na jego szczycie wznosiła się kopuła w kształcie zamkniętej korony.
W budynku było 2200 miejsc siedzących. Podzielono go na salę główną dla mężczyzn na parterze oraz galerię dla kobiet. Główna nawa zakończona była półkolistą absydą. Przykładem wspaniałego wystroju wnętrza była wykonana z cedrów sprowadzonych aż z Libanu Arka Przymierza. Ufundowała ją rodzina żydowskich bankierów Natansonów.
Fundatorzy nowej synagogi byli zdecydowanymi zwolennikami asymilacji społeczności żydowskiej. Nie dziwi więc fakt, że w okresie międzywojennym odprawiano w niej nabożeństwa z okazji najważniejszych uroczystości państwowych, takich jak rocznica odzyskania niepodległości czy uchwalenia Konstytucji 3 Maja. Także chrześcijanie chętnie odwiedzali synagogę aby słuchać występów światowej sławy chóru, który przy akompaniamencie organów wykonywał utwory mistrzów muzyki klasycznej.
Największa warszawska synagoga i jeden z najpiękniejszych XIX-wiecznych budynków miasta przestał istnieć podczas II wojny światowej. Plac Tłomackie znalazł się wtedy w granicach warszawskiego getta. Budynek, zdewastowany już w pierwszych latach okupacji, został następnie na krótko ponownie otwarty dla wiernych w roku 1941 za zgodą niemieckich władz okupacyjnych. Synagogą zamknięto jednak ponownie w marcu roku 1942. Początkowo wykorzystywano ją jako miejsce lokowania przesiedlonych do Warszawy Żydów, a następnie jako magazyn zrabowanego mienia żydowskiego.
Po krwawym stłumieniu powstania w getcie Niemcy postanowili ze zniszczenia tej właśnie synagogi uczynić symbol ostatecznej likwidacji żydowskiej społeczności Warszawy. 16 maja 1943 roku budynek wysadzono w powietrze.