Moore nasceu em Castleford, West Yorkshire, Inglaterra, e foi o sétimo de oito filhos de Raymond Spencer Moore e Mary Baker. Seu pai era um engenheiro de minas que se tornou o segundo gerente da mina Wheldale, em Castleford. Ele era um autodidata com interesse em música e literatura, e percebeu que uma educação formal era o melhor caminho para o desenvolvimento de seus filhos, decidindo-se a não permitir que tivessem que trabalhar como ele, debaixo de uma mina.

Moore freqüentou a escola infantil e básica em Castleford, e começou a modelar em argila e a esculpir em madeira. Decidiu tornar-se um escultor ainda aos onze anos de idade, depois de ouvir sobre as realizações de Michelangelo. Aos doze anos, ganhou uma bolsa de estudo para freqüentar a Castleford Secondary School (Escola secundária), assim como alguns de seus irmãos. Lá, sua professora de arte introduziu-o a aspectos mais amplos da arte, e, com seu encorajamento, ele decidiu fazer da arte sua profissão e prestar o exame para uma bolsa numa faculdade de arte local. Embora fosse uma promessa precoce, os pais de Moore eram contra seu interesse pela escultura, a qual viam como um trabalho manual sem muita perspectiva profissional. Mas, em lugar disso, depois de uma breve estada como professor estudante, ele se tornou um professor na escola que antes freqüentara como aluno.