Familie van de Ven woonde gedurende de oorlog aan de Kluizerdijk nr. 154.
Jo was sigarenmaker van beroep en vanwege de dreiging om naar Duitsland te worden gestuurd in het kader van de Arbeidseinsatz dook hij samen met zijn broer Jan in 1942 onder in Schaft. Toen de situatie hier onveiliger werd verplaatsten de broers zich naar Oud Gastel. Af en toe reisden ze naar huis om op bezoek te gaan. Ondanks waarschuwingen dat het gevaarlijk was om met de trein te reizen deden ze dit toch vanwege de kortere reistijd.
Op een dag werden Jo en Jan aangehouden op het station in Roosendaal. Jan wist te ontsnappen maar Jo had minder geluk. Hij werd overgebracht naar Amsterdam. Toen de familie hem daar wilde bezoeken kwamen ze echter net te laat. Jo was op dat moment overgebracht naar Kamp Amersfoort. Vanuit het kamp stuurde hij nog een brief naar huis waar hij vroeg om kleding. In het bijzonder om een pet aangezien hij kaalgeschoren was.
Vanuit Amersfoort werd Jo naar Duitsland gestuurd om te gaan werken. Vanuit zijn werkplaats in Duitsland wist hij al snel te ontsnappen. Zijn eerste ontsnappingspoging was echter van korte duur. Een tweede ontsnapping ging beter. Tijdens deze vlucht had hij zijn ouders nog een kort briefje gestuurd met de boodschap: “Moeder, ik ben zo thuis.” Echter zo ver kwam hij niet. In Venlo werd hij verraden door een conducteur en hij werd wederom naar Duitsland gebracht. Ditmaal naar een werkkamp achter prikkeldraad in Scherfede.
Een dag voordat de Geallieerde Scherfede wisten te bevrijden stond Jo in de rij voor de voedseluitgifte. De oprukkende legers bestookte de omgeving met artillerievuur en Jo werd hierbij dodelijk geraakt door een granaatscherf.
Hij werd begraven op de Nederlandse erebegraafplaats van het Stoffeler friedhof in Düsseldorf.