Vasili Semionovici Grossman s-a născut la 12 decembrie 1905, în Berdicev, un oraş din Ucraina în care a existat una dintre cele mai mari comunităţi evreieşti din Europa. În 1897, cu puţin înainte de naşterea lui Grossman, populaţia se ridica la aproape 54.000 de locuitori, dintre care 41.000 erau evrei. La un moment dat existau 80 de sinagogi, iar în prima jumătate a secolului al XIX-lea, înainte ca Odessa să prospere, Berdicev a fost cel mai important centru bancar din Imperiul Rus. Ambii părinţi ai lui Grossman erau evrei şi iniţial i-au dat fiului lor numele Iosif. Fiind însă puternic rusificaţi, îi spuneau de obicei Vasili sau Vasea, iar sub acest nume a şi rămas cunoscut. Grossman însuşi i-a spus cîndva fiicei sale, Ecaterina Korotkova, că „Noi nu am fost ca evreii săraci din ştetl descrişi de Şalom Alechem, care trăiau în colibe şi care dormeau unii lîngă alţii pe podea, înghesuiţi ca sardinele. Nu, familia noastră provine dintr-un mediu evreiesc total diferit. 

Aveau trăsuri şi cai. Femeile lor purtau diamante şi copiii erau trimişi la studii în străinătate“. E puţin probabil ca Grossman însuşi să fi ştiut idiş. După mărturiile Ecaterinei Korotkova, părinţii lui Grossman s-au cunoscut în Elveţia, unde amîndoi erau studenţi. Asemenea multor tineri evrei care studiau în străinătate, Semion Osipovici a activat în mişcarea revoluţionară. În 1902 a intrat în Partidul Social Democrat Muncitoresc din Rusia (numele de atunci al Partidului Comunist). Cînd partidul s-a scindat în 1903, s-a alăturat facţiunii menşevicilor, care se opunea lui Lenin şi bolşevicilor. Este cunoscut faptul că Semion Osipovici a jucat un rol activ în cadrul Revoluţiei din 1905, participînd la organizarea unei revolte în Sevastopol. Cînd Vasili era încă un copil, părinţii săi s-au despărţit, dar au rămas în relaţii bune tot restul vieţii. Vasili a fost crescut de mama sa, Ecaterina Savelievna; au fost ajutaţi de David Sherentsis, soţul bogat al surorii mamei sale. Între 1910 şi 1912, Vasili şi mama sa au locuit în Geneva; apoi s-au întors în Berdicev, să locuiască împreună cu familia Sherentsis. Mama sa a lucrat ca profesoară de limba franceză, iar Vasili a păstrat o bună cunoaştere a acestei limbi tot restul vieţii; fiul său vitreg, Fiodor Guber, îşi aminteşte că exemplarul familiei din Război şi pace nu conţinea şi o traducere a pasajelor scrise în franceză. Între 1914 şi 1919, Vasili a urmat gimnaziul în Kiev. Între 1921 şi 1923, a urmat Institutul Superior din Kiev pentru Educaţie Sovietică, locuind împreună cu tatăl său într-un apartament din Kiev, iar din 1923 pînă în 1929 a studiat chimia la Universitatea de Stat din Moscova, lucrînd în acelaşi timp şi într-un orfelinat. A descoperit curînd că adevărata sa vocaţie este literatura, dar a trebuit să îşi continue studiile începute. 

Tatăl său, la rîndul lui inginer chimist, a muncit din greu pentru a-l întreţine, şi dorea ca fiul să aibă o profesie adevărată. Situaţia financiară a familiei a devenit şi mai dificilă în urma căsătoriei lui Vasili din ianuarie 1928 cu Anna Matsuk şi a naşterii fiicei lor, Ecaterina, unicul copil, în ianuarie 1930. După absolvirea facultăţii, Grossman a petrecut doi ani în regiunea minieră din Ucraina cunoscută sub numele de Donbass sau Bazinul Doneţk, lucrînd mai întîi ca inginer într-o mină, iar apoi ca profesor de chimie într-un institut medical. În 1931, după ce a fost diagnosticat cu tuberculoză, a reuşit să obţină permisiunea de a se întoarce în Moscova; e posibil ca diagnosticul să fi fost greşit, însă fiica sa susţine că a avut o formă incipientă de tuberculoză, care a fost tratată. Timp de doi ani a lucrat ca inginer într-o fabrică – în mod straniu şi simbolic, o fabrică de creioane –, dar apoi a reuşit să îşi cîştige existenţa ca scriitor profesionist. Totuşi, niciodată nu şi-a pierdut interesul pentru ştiinţă. Întorcîndu-se la Moscova, Grossman a locuit cu Nadia Almaz, o verişoară primară din partea mamei sale. Cu cinci ani mai mare decît Grossman, aceasta era o femeie inteligentă şi ambiţioasă, cu puternice convingeri morale şi politice. Spre sfîrşitul anilor ’20, a lucrat ca asistentă personală a lui Solomon Lozovski, conducătorul Profintern-ului sau al Internaţionalei Sindicatelor, organizaţie al cărei rol era de a se alia cu sindicate din alte ţări. Pentru Grossman, Nadia Almaz a reprezentat o sursă de inspiraţie şi un ajutor practic esenţial. Ea l-a încurajat să scrie despre mine şi proiecte industriale, tot ea a aranjat dactilografierea manuscriselor sale. Prin intermediul multiplelor sale contacte din cercurile pariziene, l-a ajutat pe Grossman să se alăture unui grup de tineri activişti într-o excursie în Uzbekistan în mai şi iunie 1928 şi l-a ajutat şi să îşi publice primele două articole, unul dintre ele în Pravda, principalul ziar al Partidului Comunist.