"Металлист" был основан в качестве команды при коллективе Харьковского паровозостроительного завода и участвовал в первом розыгрыше Кубка СССР в 1938 году. По прошествии восьми лет команда стала выступать во второй лиге чемпионата СССР под названием "Трактор".

Позднее клуб был переименован в "Дзержинец". С 1947 по 1949 год он выступал в первой лиге СССР, а в 1960-м впервые пробился в элиту, но уже под названием "Авангард". Спустя год команда, ведомая Александром Пономаревым, заняла в классе сильнейших шестое место, однако еще через два года опустилась рангом ниже.

Возвращение в высшую лигу состоялось в 1981-м, когда команда Евгения Лемешко выступала уже под современным названием. Более всего "Металлисту" удавались выступления в Кубке СССР. В 1983 году харьковчане дошли до финала, где уступили донецкому "Шахтеру", а пять лет спустя одолели в решающем матче московское "Торпедо".

Весной 1992 года "Металлист" стартовал в первом чемпионате независимой Украины, однако в сезоне 1993/94 вылетел в первую лигу. После четырехлетнего отсутствия в кампании 1998/99 клуб, получив поддержку новых спонсоров, вернулся в элиту.

В период с 2007 по 2010 год подопечные Мирона Маркевича неизменно финишировали в тройке призеров чемпионата Украины. В кампании 2008/09 слобожане дошли до 1/8 финала Кубка УЕФА, повторив собственное достижение образца сезона 1988/89. В сезоне 2010/11 "Металлист" успешно преодолел барьер группового этапа Лиги Европы УЕФА.