Leżał przed nim mój życiorys: «Produkowaleś przyrządy pomiarowe i wskaźniki dla wojska. Słuchaj uważnie. Jeśli będziesz posłusznie wykonywać nasze polecenia, możesz znośnie żyć. Przeniosę cię do pracy w obozowej fabryce. Jeśli się sprawdzisz, masz szansę przeżyć»”. Nieopodal obozu w Buchenwaldzie hitlerowcy zbudowali fabrykę, w której zatrudniali więźniów przy produkcji urządzeń na potrzeby tajnych programów wojskowych. Główny inżynier uczynił Herzstarka odpowiedzialnym za produkcję precyzyjnych części wysyłanych do bazy niemieckich rakiet balistycznych w Peenemiinde. Przez następne dwa lata Herzstark wytwarzał części do rakiet V2. Jako osoba odpowiedzialna za produkcję części mechanicznych, bywał w różnych częściach fabryki. Początkowo inni więźniowie brali go za konfidenta. „Wkrótce się zorientowali, że nie jestem szpiclem. Mówiłem na przykład operatorowi obrabiarki: «Wykonujesz swoją pracę bardzo dobrze, ale kazali ci robić zbyt proste rzeczy, jak na możliwości tej maszyny.
Będę musiał złożyć raport, że urządzenie nie jest wykorzystywane efektywnie, choć więzień obsługuje je wzorowo». W ten sposób poznawałem ludzi z Luksemburga, Francji, Danii i wielu innych miejsc. Było w tej sytuacji naturalne, że koledzy zwracali się do mnie o pomoc, na przykład: «Curt, masz tu coś do powiedzenia. Czy mógłbyś ściągnąć do fabryki jednego więźnia? Inaczej umrze». Organizowałem w holu fabryki stanowisko kontroli jakości, sadzałem z mikromierzem [uwięzionego w obozie] prawnika. Esesmani kontrolowali naszą pracę. Kiedy przychodzili na inspekcję, nagle ze wszystkich stron rozlegał się kaszel. Prawnik wiedział wtedy, że zbliża się niebezpieczeństwo i że musi wyglądać na pochłoniętego pracą. Martwiłem się jednak, bo koledzy oczekiwali ode mnie coraz więcej. Wiedziałem, że jeśli sprawa się wyda, następnego dnia będę gryzł ziemię. Ale los znowu okazał się łaskawy.
Wycofując się z Włoch, Niemcy wywozili urządzenia fabryczne. Któregoś dnia dostarczono do Buchenwaldu dwie ciężarówki maszyn biurowych. Rozładowałem je, a okoliczni fabrykanci przyszli, aby je obejrzeć. Jeden z nich zaczął mi się przyglądać, jak gdyby mnie znał. «Herzstark?» pyta. «Tak, Herzstark»odpowiedziałem. On na to się przedstawia: «Walther». Fritz Walther, dawny konkurent Herzstarka, znów produkował broń palną. „Położył przede mną na obrabiarce paczkę papierosów. «To koniec» pomyślałem. Przyjmowanie podarunków było surowo zabronione. Ale strażnik udał, że nie widzi. Mogłem schować papierosy do kieszeni”. W prowadzących wojnę Niemczech Walther był ważną osobistością. Zorientował się, że więzień Herzstark jest o wiele cenniejszy niż wojenne lupy z Włoch i poinformował o swoim odkryciu komendanta obozu.