Kelkit adının Peçenek Türkleri'nden Kilki Bey'den geldiği ve bugünkü ilçe merkezinin de Kilki Bey'in çiftliği olduğu, tarihi kayıtlardan anlaşılmaktadır.

Hititler, Asurlar, Makedonlar, Romalılar ve Bizanslıların hakimiyetinde kalan Kelkit Bizans döneminde bölgeye yerleşen Peçenek Türklerinin hakimiyetinde kalmıştır. Malazgirt'ten sonra Selçuklular, İlhanlar, Akkoyunlular ve 1473 Otlukbeli zaferinden sonra da Osmanlılar Kelkit'e hakim olmuşlardır.

1840 yılında ilçe olan Kelkit, 1916'da Ermeni ve Ruslar tarafından işgale uğramış, 17 Şubat 1918'de de bu işgalden kurtulmuştur. 17 Şubat günü Kelkit için Kurtuluş günü olması nedeniyle her yıl törenlerle kutlanmaktadır.

Osmanlı döneminde ve Cumhuriyetin ilk yıllarınd Trabzon'a bağlı olan Kelkit, 1925 yılından itibaren vilayet hüviyeti kazanan Gümüşhane'ye bağlanmıştır. Halen Gümüşhane'nin her bakımdan en büyük ve önemli ilçesi konumunda bulunmaktadır.