W czasie II wojny światowej, Niemcy wykorzystali budynki i całą posiadłość VII Dworu na rekreację dla SS-manów i obóz jeniecki. Na przełomie 1939/1940 roku na posiadłości należącej do VII Dworu od dzisiejszej ulicy Polanki, Chełmońskiego i Norblina, Niemcy wybudowali zespół zabudowań jeździeckich dla SS (SS-Reitstall Friedenschluß). W kompleksie znajdował się plac jeździecki położony bliżej ul. Polanki (kwadrat od ul. Chełmońskiego, Polanki, wzdłuż nasypu kolejowego i obecnie VII Dworu).

W roku 1940 na terenie Gdańska powstały dwa podobozy (filie) malborskiego stalagu XXA.


Pierwszy na Biskupiej Górce - stalag XXB rozpoczął działalność mniej więcej na przełomie lipca i sierpnia 1940 r. Trzy miesiące później (listopad 1940r) powstał podobóz Stalag XX B/Z w Danzig Oliva w rejonie obecnych ulic Norblina i Michałowskiego powstał obóz ”Stalag XX B/Z Danzig-Oliva” i początkowo przetrzymywano tu 950 jeńców wojennych głównie aliantów belgów i francuzów. W orku 1941 obóz rozbudowano o kolejne baraki dla jeńców. Łącznie obóz liczył 10 baraków w których przetrzymywano prawie 2500 jeńców wojennych (Francuzów, Anglików, Szkotów, Belgów a nawet Duńczyków). Obóz w Oliwie pierwotnie powstał tylko i wyłącznie w celu budowy potężnego kompleksu nowej szkoły wojennej na wzgórzach w lasach oliwskich niedaleko drogi do Lipnika (projekt został zaakceptowany już w lutym 1940 r.).

Do realizacji tego śmiałego projektu, nie doszło ponieważ zimą 1941 r. generałowie jeńców wojennych z całej Rzeszy zadecydowali, że obóz w Oliwie musi być opróżniany z jeńców alianckich, w celu zrobienia miejsca dla jeńców sowieckim z frontu. Jeńcy byli "wynajmowani" do prac w niektórych zakładach na terenie miasta, przy budowie dróg, niwelowaniu terenu i w firmach produkcyjnych na potrzeby armii. Poniżej zdjęcie makiety niemieckiej szkoły wojennej i przepustka dla jeńca francuskiego lub belgijskiego wystawiona w 1944 dla Andre Aubry do prac w Zakładzie zbrojeniowym na Przeróbce (obecnie ZNTK Przeróbka).

Cały obszar obozu był ogrodzony betonowymi słupami i drutem kolczastym. Wokół górnej części osiedla do dnia dzisiejszego napotkać można resztki ogrodzenia obozowego w postaci betonowych słupów o góry zaokrąglonych z resztkami drutu. Brama wyjazdowa z obozu na pole uprawne i do Al. Brzozowej była ustawiona mniej więcej na wysokości wieżowców 41 i 43 ul. Michałowskiego. Obok tej bramy był skład drewnianych wózków i dużych taczy. które mogły być wykorzystywane do prac polowych wykonywanych przez więźniów.

Przypuszcza się (brak dowodów potwierdzających), że były środkiem transportu zmarłych jeńców do miejsca pochówku niedaleko „alei brzozowej”. Jedno źródło internetowych donosi, że oficjalny cmentarz obozowy znajdował się przy obecnej zajezdni tramwajowej od strony Polonkenstraze ale brak jest na to dowodów o znalezieniu szczątków ludzkich przy rozbudowie zajezdni tramwajowej.

Wzgórza morenowe (Lagry) były polem na którym uprawiana była brukiew i gryka - jako żywność dla jeńców, natomiast w miejscu, na którym wybudowano w II połowie lat 60-tych ub. wieku restaurację „KASZTEL”, znajdował się karcer. Wg relacji świadków był tam budynek z małymi pomieszczeniami, w których na ścianach wydrapane były nazwiska i imiona w jęz.. rosyjskim.

Na początku 1945 roku, na wieść o zbliżaniu się frontu sowieckiego, zaczęto jeńców ewakuować a część z nich rozstrzelano i pochowano w Dolinie Samborowo. W 1945 roku władze polskie ekshumowały zwłoki 276 osób przenosząc je na cmentarz żołnierzy radzieckich w Sopocie. W czasie ekshumacji natrafiono na 14 tabliczek z numerami obozowymi. Po wojnie nieznanych kilka osób u wejścia do Doliny Samborowo postawiła krzyż drewniany ku czci zamordowanych jeńców. W 1971 roku został postawiony krzyż w miejscu wcześniejszego - poświęcony ofiarom grudnia 1970.

Pod koniec marca 1945 roku podczas wycofywania się Niemców, zabudowania i główne budynki VII Dworu zostały zniszczone i spalone. Według naocznego świadka (z ul. Gomułki w pobliżu kościoła za wałem kolejowym), zaraz po wojnie był swobodny dostęp do terenu obozu i trwał mniej więcej do końca listopada 1945 roku. Gdy zaczęły się chłody i okoliczni mieszkańcy zaczęli próbować demontować drewniane baraki z przeznaczeniem na opał, pojawili się tam strażnicy, którzy starali się zabezpieczyć teren. Mimo ochrony, dla okolicznych mieszkańców pod osłoną nocy niektóre zabudowania i baraki obozowe były skarbnicą różnego rodzaju materiałów do remontu przydzielonych im domów ponieważ. W jednym z baraków usytuowanych bliżej ul. Norblina znajdował się skład gospodarczy, w którym były m. in. umywalki i sedesy i inne materiały do użytku domowego.

IPN nadal jest zainteresowany poszukiwaniem śladów historii Obozu Jenieckiego XXB, lecz jak do tej pory nie odnaleziono dokumentów i materiałów dających podstawę do rozpoczęcia prac badawczo-poszukiwawczych.

Jak wskazuje na to w/wym. Historia, budynek główny i zabudowania gospodarcze VI Dworu zostały zniszczone dzięki działalności niemieckiej polityce gospodarczej i wojennej.