צבי הוא נולד בשם יינדריך (היינריך) גרינהוט, בנם של שרה ויעקב. אמו נפטרה בהיותו בן שש. עד גיל 14 למד בישיבה ולאחר מכן עבד במפעל טקסטיל. במקביל הצטרף לתנועת הנוער הציונית בית"רובהמשך עבר לתנעות הנוער היהודית-גרמנית "בלאו וייס" (כחול-לבן), שם פעל כמדריך. מאז אותה התקופה אימץ שם עברי – צבי. בגיל 16 יצא להכשרה חלוצית לקראת העלייה וכעבור שנה, ב-1939, עלה ארצה. קודם לעלייתו שהה זמן מה בפראג, בירת צכיה הכבושה בידי הגרמנים.
בארץ התחנך צבי במסגרת עליית הנוער בקיבוץ אשדות יעקב ושינה את שם המשפחה לבן-יעקב. צבי עבד בענף הבניין ודירבן את חבריו המתקשים בעבודה הקשה באומרו: "העבודה השחורה היא אשר מכשירה את העולה הצעיר להכרת הארץ וכיבושה".
|