13 Ekim1923 tarihinde Ankara yeni Türkiye Cumhuriyeti'nin başkenti oldu. Başkentin Ankara'ya nakli nedeniyle, o zamana kadar İstanbul'da bulunan büyükelçiliklerin de Ankara'ya taşınması gerekiyordu. İstanbul'daki büyükelçiliklerin çoğu gösterişli binalarda yerleşik olduğundan, büyükelçilerin bir kısmı ikametgâhlarını taşımaya önceleri pek gönülsüzdüler ve İstanbul'un kozmopolit yaşamından küçük Anadolu kenti Ankara'ya taşınmayı olabildiğince ertelemeye çalıştılar.

Almanya Büyükelçiliği, Ankara'da büyükelçilik binası inşaa eden ilk yabancı temsilcilikler arasında yer aldı. Daha 26 Eylül 1924'de 28 000 metrekare büyüklüğünde bir arsa edinilerek tapuda büyükelçilik arazisi olarak kaydedildi. Bu araziye daha sonra Türk Hükümetinin bir hibesi eklendi ve 1927 aralık ayında yapılan ilave alımlarla Büyükelçiliğin arazisi daha da büyüyerek halihazırdaki yaklaşık 60 000 metrekareye ulaştı.

Önceleri, 1924 yılında Almanya Dışişleri Bakanlığı tarafından Niesky-Oberlausitz'de bulunan Christoph & Unmack AŞ firmasına sipariş edilen hazır konut şeklindeki ahşap bina ikametgâh olarak hizmet görmekteydi. Bina 25 Temmuz 1924 tarihinde Hamburg'dan "Stralsund" gemisiyle yola çıktı ve 19 gün süren yolculuk sonunda İstanbul'a, oradan da trenle Ankara'ya ulaştı. Binanın temeli için gerekli duvarcılık, kanalizasyon ve su şebekesi işlerini Philipp Holzmann firması üstlendi (bu ahşap bina bugün Atatürk Orman Çiftliği arazisi üzerinde yer almaktadır).

9 Şubat 1925'te ahşap binayı gezen Atatürk donanımdan ve teknik tesisattan etkilenmişti (bkz. Atatürk'ün bu ziyaretiyle ilgili makale).

Zamanla bu ahşap bina Büyükelçiliğin giderek artan taleplerini karşılayamaz duruma geldi ve Alman Rayhı İmar Müdürlüğü'nün gözetimi altında 1928 yılında kançılarya ve konut Philipp Holzmann AŞ firması tarafından yeniden inşaa edildi.

Bu yeni büyükelçilik binalarının planlanmasında o zamanki Almanya Büyükelçisi Rudolf Nadolny'nin önemli etkisi oldu. Yeni inşaa edilecek binalara örnek olarak "Prusya köşkü" tarzını seçti. Bunun için özellikle Rayh Meclisi Başkanı Hindenburg'un mülkü olan ve özel önem atfedilen Neudeck Çiftliği örnek alındı. O zamanki bakanlık bürokrasisi bunda olağandışı bir hal görmemişti, çünkü tutumluluğu, sadeliği, titizliği, mütevaziliği ve doğma büyüme yerliliği sembolize eden Prusya çiftlik mimarisi çağdaş kabul ediliyordu.

Büyükelçiliğin tüm çalışma birimleri ile büyükelçilik konutu bugün halen bu park benzeri emlak içerisinde yerleşiktir.