Родился 1 апреля 1794 г. в Белостокской области. Окончил институт Корпуса путей сообщения. Российским подданным стал в 1833 г.

По словам П. П. Семенова-Тян-Шанского, Г. Х. Гасфорд "принадлежал к числу просвещенных офицеров русской армии, имел полное научное военное образование, большую опытность и несомненные способности в военном деле, личную храбрость и безукоризненную честность". Участник Отечественной войны 1812 г. и заграничных походов 1813-1814 гг. Отлично проявил себя в боях при Бородино, Тарутино, Малом Ярославце, под Вязьмой и Красным. Участвовал в военных кампаниях на Кавказе, в Польше, в Австро-Венгрии. Неоднократно награждался орденами, в т. ч. орденом св. Георгия III степени. В 1847 г. пожалован украшенной бриллиантами табакеркой с портретом императора, а в 1848 г. золотой шпагой с алмазами и надписью "За храбрость".

29 января 1851 г. назначен генерал-губернатором Западной Сибири и командующим отдельным сибирским корпусом. В годы его правления Западной Сибирью к Российской империи был присоединен Заилийский край, возникли новые поселения в Казахстане, среди них Верное (сейчас Алма-Аты). В 1859-1861 гг. было преобразовано Сибирское казачье войско. При непосредственном участии Г. Х. Гасфорда на Иртыше получило развитие пароходство; была разрешена продажа казенных земель, положившая начало поземельной собственности в Западной Сибири.

Во время девятилетней деятельности Г. Х. Гасфорда на посту генерал-губернатора Западная Сибирь приняла около 80 тысяч переселенцев из Европейской России, было построено до 200 церквей, во многих селах учреждены приходские училища, а в восьми городах открыты женские школы. В Омске построены: здание для войскового правления (здание войскового хозяйственного правления), здание Общественного собрания, городской тюремный замок; в 1859 г. начато строительство генерал-губернаторского дворца. Для воспитания и обучения сирот по инициативе жены Г. Х. Гасфорда Надежды Николаевны в Омске был основан приют "Надежда"; по ходатайству генерал-губернатора рядовой Сибирской линейного батальона Ф. М. Достоевский был произведен в унтер-офицеры.

Личность Г. Х. Гасфорда получила противоречивую оценку современников. Так, например, П. П. Семенов-Тян-Шанский отмечал, что "административньих способностей Гасфорд не имел, но он зато не был бюрократом и рутинером", а генерал И. Ф. Бабков вспоминал: "Гасфорд был человек умный и хороший администратор". В память о деятельности Г. Х. Гасфорда в Тобольской гимназии были учреждены стипендии (одна из них - семипалатинским купечеством), а в Тобольской и Тюменской женских гимназиях - две. В Омске его именем была названа одна из улиц (ныне улица имени К. Либнехта). На посту генерал-губернатора Западной Сибири Г. Х. Гасфорд был сменен 13 января 1861 г.

В 1861 г. Г. Х. Гасфорд назначен членом Государственного совета, был почетным членом Академии Наук, Вольного экономического и географического обществ, а с 1859 г. носил звание почетного президента парижского общества "Уничтожение невольничества и торга неграми в Африке".

Умер Г. Х. Гасфорд 5 мая 1874 г. и похоронен на Волковском лютеранском кладбище в Санкт-Петербурге.