Zato su u godinama nakon Drugog svetskog rata berlinski filharmoničari svoje koncerte najčešće održavali u dvorani bioskopa „Titanija-Palast“, a tonska snimanja u evangelističkoj crkvi Isusa Hrista u berlinskoj četvrti Dalem.

Novu zgradu Filharmonije projektovao je nemački arhitekta Hans Šarun. Njena izgradnja je počela 1960. godine, a radovi su dovršeni tri godine kasnije. Nova je Filharmonija svečano otvorena i posvećena 15. oktobra 1963. Dvadesetak godina kasnije, u razdoblju od 1984. do 1987. godine, započeta je i dovršena izgradnja susedne manje koncertne dvorane. Nju je, u skladu sa Šarunovim planovima iz 1971. godine, 1979. projektovao njegov dugogodišnji saradnik Edgar Višnjevski. Obe su ove zgrade, odnosno koncertne dvorane, zajedno s Novom nacionalnom galerijom, Državnim institutom za muzička istraživanja, Muzejem muzičkih instrumenata i Berlinskom državnom bibliotekom, deo novog Kulturnog centra koji je izgrađen u blizini poznatoga berlinskog Potsdamskog trga.

Nova zgrada Berlinske filharmonije nepravilnog je osmougaonog oblika, a svojim izgledom pomalo podseća na američki Pentagon ili cirkuski šator. Sedišta za publiku, svako od njih na zasebnoj visini, u obe su koncertne dvorane, velikoj i maloj, raspoređena unutar pregrađenih loža uzlazno i prstenasto sagrađenih uokolo koncertnog podijuma, čime je svakom slušatelju omogućen podjednako dobar pogled na pozornicu i izvođače.

Lotar Kremer, nemački stručnjak za akustiku, predložio je takav nepravilan oblik obije zgrada, odnosno koncertnih dvorana: u saradnji s berlinskim Tehničkim sveučilištem svoju je ideju sproveo u jedinstveno i originalno prostorno rešenje, koje zaista svakom posetiocu, odnosno slušaocu, omogućuje savršeni akustički muzički doživljaj.

Iznad koncertnog podijuma obešeni su parabolični hiperboloidni reflektori i brojne akustičke pregradne i usmerivačke ploče, kojima je postignuto ujednačeno rasprostiranje zvuka u dvorani i njegov optimalan odjek.

Velika dvorana Filharmonije ima 2.440, a mala 1.180 mesta za sedenje.