Otac i majka Woodyja Harrelsona rastavili su se kada je Woodyju bilo sedam godina. No čak i prije toga, Charles nije vrijeme provodio s obitelji. Za očevu 'karijeru', prvu put glumac je čuo kada mu je bilo 11 godina. 

- Vozio sam se u automobilu i bio je upaljen radio. Voditelj je pričao o Charlesu V. Harrlesonu koji je osuđen zbog ubojstva. Bio sam u potpunom šoku. Rekao sam majci, ali ona nije htjela puno pričati o tome - ispričao je Woody u intervjuu. 

Charles V. Harrelson prvi put je završio u zatvoru 1973. godine zbog ubojstva poduzetnika Sama Degelia Jr.. Tada je bio osuđen na 15 godina, ali je pušten nakon pet zbog dobrog vladanja.

Osam godina nakon toga, osuđen je na dvije doživotne zatvorske kazne zbog ubojstva okružnog suca Johna H. Wooda. To je bilo ujedno i prvo ubojstvo američkog suca u 20. stoljeću. Charles je tvrdio i da je ubio Johna F. Kennedyja. 

Woody je posjetio oca u zatvoru kada je imao 20 godina. Tada se izbezumio, kaže, kada je shvatio da se ponašaju i izgledaju potpuno isto. 

- Htio sam mu pomoći. Tijekom godina potrošio sam milijune pokušavajući mu srediti novo suđenje - kazao je nedavno Woody.