Roma ve Bizans dönemlerinde yörede kurulu kente Argyropolis (Yunanca argyros: “gümüs” ve polis: "kent" demektir.) adi verilmistir. Yöredeki savaslarin asil sebepleri tarihi bir ticaret yolu üzerinde bulunmasi ve madenleriyle ün yapmis olmasidir.

       7.yüzyil sonlari ile 8. yüzyil baslarinda bölge Emevi-Bizans ve Abbasi-Bizans arasinda birkaç defa el degistirmistir.
Halife Hz. Ömer zamaninda (634-644) Erzincan ve Erzurum Araplarin eline geçince Gümüshane’de bu egemenligi tanidi. Ancak bu egemenlik fazla sürmeden bölgede yeniden Bizans egemenligi saglandi. Halife Hz. Osman zamaninda (644~656) Gümüshane, Bayburt, Erzurum ve Erzincan Emir Habib Bin Mesleme tarafindan Bizanslilardan geri alindi. Halife Hz. Ali zamaninda (656-661), Muaviye ile olan mücadeleler ile iç isyanlarla ugrasilmasi sebebiyle bölgede yeniden Bizans egemenligi basladi.

       Emevi Halifesi Abdülmelik zamaninda (685-705) bölge tekrar Emevi yönetimi altina girdi. Ancak Halife Velid zamaninda (705-715) Araplar ile Hazarlar arasindaki çatismalarda Hazarlar basari gösterince bölge yeniden bu durumdan istifade eden Bizanslilarin eline geçti.

Abbasiler zamaninda Bizans-Arap çatismalari devam etmistir. Bu dönemde Gümüshane yöresi ile ilgili fazla bilgi bulunmamaktadir. Ancak Bayburt’un Bizans egemenliginde kaldigi bilindigine göre Gümüshane de Bizans egemenliginde kalmistir diyebiliriz.

       Çagri Bey’in 1016 yilinda Anadolu’ya yaptigi ilk akin sirasinda Gümüshane’ye kadar geldigi bilinmektedir. 1058’de Tugrul Bey’in ordusu Ibrahim Yinal komutasinda Trabzon’a kadar akin yaparken Gümüshane’yi de ekonomik yönden önem arzettigi için fethetmistir.

        Türkmen akinlari olmadan önce Hazarlar ve Peçenekler ile Çepni Türk oymaklari bölgeye yerlesmislerdir. Çepniler 24 Oguz boyundan biri olup Anadolu’nun fethi ve Türklesmesinde önemli rol oynamislardir.

        13. yüzyilin ikinci yarisinda Selçuklular Mogol istilasi altinda ezilirken Gümüshane ve çevresinin müdafaasi Çepni Türklerine kalmistir. Rum vakayinamecisi (tarihçisi) Pataretos 14. yüzyilda Çepnilerin Tirebolu’ya vardiklarini söyler ki, bunlar Gümüshane tarafindan gelmislerdir. Anadolu’nun fethinden sonra birçok imaret kurulmustur. Gümüshane ve Kelkit, Emir Mengücek Gazi tarafindan kurulan Erzincan imaretine baglanmistir. 1164’te II. Kiliçarslan Mengücekli topraklarini Anadolu Selçuklu Devleti’ne bagladi. Anadolu Selçuklu Devleti’nde ticarete büyük önem verildiginden tarihi bir ticaret yolu üzerinde bulunan Gümüshane ve çevresi de önemini devam ettirmistir.1243 Kösedag Savasi’nda Ilhanlilar, Selçuklulari yenerek buralari zaptettiler.

       Anadolu, Mogollarin nüfuzu altina girince Trabzon Rum Imparatorlugu bu defa Mogollara vergi vermeye basladi. Mogol nüfuzunun kirilmasi ve Türkmenlerin beylik kurmak için faaliyet göstermeleri neticesinde ve II. Yuannis devrinde (1280-1297) Türkmenler madenleriyle ünlü Halibya (Haldiya) kisimlarini istila ettikleri gibi Cenevizlilerle Venedikliler de Imparatorluk üzerinde iktisadi nüfuz vücuda getirmislerdi.

       Ilhanlilarin son hükümdari Ebu Said’in ölümü üzerine 1335’te Bayburt, Erzurum ile Erzincan ve Gümüshane Celayirlilerin eline geçmistir. 1345’te Eretnaogullari, 1430’da Karakoyunlu hakimiyetine geçen bölgeye 1467’de Akkoyunlular hakim olmustur.        

       Fatih Sultan Mehmet (1451-1481), Trabzon üzerine yürüdügü sirada Trabzon Rum Imparatorlugunun sinirlari Giresun’dan Batum’a kadar ve güney hudutlar da Bayburt ve Gümüshane’nin kuzeyinden geçen dag silsilesi ile çevriliydi. Osmanlilar’in aleyhte hareketleri nedeniyle Trabzon Rum Imparatorlugu, Akkoyunlu hükümdari Uzun Hasan’la isbirligi içine girmistir.

       1461 yilinda Fatih Sultan Mehmet’in Trabzon Rum Imparatorluguna son vermesiyle bölgede Osmanli etkisi görülmeye baslanmistir.

      Gümüshane, Trabzon Rum Imparatorlugunun fethedilmesinden sonra Osmanli hakimiyetine girmis ve bu hakimiyet 1461’den 1467’ye kadar sürmüstür. Bu tarihten sonra Gümüshane Akkoyunlularin hakimiyetine girmistir. Bu hakimiyet 1473 yilinda Fatih ile Uzun Hasan arasinda vuku bulan Otlukbeli Savasiyla sona ermistir. Gümüshane ilinin kuzeyindeki "Kharsit" ilk Osmanli belgelerinde "Khas-Rudu çayi orta ve yukarilarindaki Torul ve Canica (Gümüshane’nin eski adi) kesiminde Akkoyunlular’a bagli Ortodoks-Apkazli (Abaza) "Torul Beyligi" 1474’de (veya 1478) Fatih’in Amasya’dan gönderdigi bir ordu kolu tarafindan fethedilmistir.

       Yavuz 1508’de Trabzon valisi iken Anadolu’da baslayan Sii ayaklanmalari yüzünden Trabzon’dan Bayburt’a kadar uzanan bir sefer yapmistir. Bu bölgede Safeviler lehinde ayaklanma ve karisiklik çikaranlar Çepni Türkleridir. 16. yüzyilda onlardan bir bölümü Halep Türkmenleri, muhim bir kümede Sivas, Tokat ve Amasya bölgesindeki Ulu Yörük arasinda yasadigi gibi yine bu boya mensup pek kalabalik bir topluluk da Trabzon, Gümüshane, Bayburt, Giresun ve Canik (Ordu ve Samsun) bölgesinde oturuyordu. Iste Safevilerin hizmetindeki Çepniler de bu sayilan topluluk ve bölgeden idiler.

        Bu karisik durumdan sonra bölgedeki sükunet ancak Sah Ismail ile Yavuz Sultan Selim (1512-1520) arasinda meydana gelen Çaldiran Savasiyla sona ermistir. Bölge tamamen "Anadolu Türk Birligi"ne katilmistir. (Agustos 1514) Yavuz buraya vali olarak Biyikli Mehmet Pasayi birakmistir. Kanuni Sultan Süleyman (1520-1566) Iran seferi sirasinda Harsit Vadisi’nden geçerken gümüs madeninin bulundugu Eski Gümüshane yöresinin imar edilmesini emretmis, böylece buraya ev ve Süleymaniye Camii yapilmistir.

        1647’de Gümüshane’yi ziyaret eden Evliya Çelebi, buralarda gümüs madeninin çok oldugunu, çalisir ve bosaltilmis durumda 70 kadar ocak bulundugunu bildirir. Yine bu ocaklardan 7 koldan kursunsuz gümüs cevheri çikarildigini ve bu sehirde Emin Mahallesinde darphane oldugunu yazarak üzerinde "Azze nasrahu daraba fi catha" (Canca’da basilmistir) yazili birkaç akçenin kendisinde oldugunu bildirir.

       Gümüshane’de dogan her çocugun gümüsten kasiginin, çatalinin ve tabaginin oldugu rivayet edilir. Sehrin nüfusunun her geçen gün artmasinda cografi konumunun, tarihi ipek Yolu üzerinde bulunmasinin ve madenlerinin önemli rolü olmustur.

       Katip Çelebi, Cihannüma’sinda "Kaza-i Urla" diye adlandirdigi Gümüshane için "Urla bir güzel kazadir, yakininda gümüs olmakla Gümüshane dahi derler" demektedir. Maden ocaklari IV. Murad zamaninda (1623-1640) en canli dönemini yasamistir. Bir ara kapanan ocaklar 1839 yilinda yayinlanan bir hatt-i hümayunla tekrar isletmeye açilmistir. Ocaklar mülki amirin tayini, padisahin onayi ile atanan ve Matah Efendi denilen kisilerce yönetilirdi.

       Gümüshane 19. yüzyilda Trabzon’a bagli bir sancakti. Dogu Karadeniz’in iç kesimlerinde yer alan Gümüshane Sancagi kuzeyde Trabzon merkez sancagi, doguda ve güneyde Erzurum Vilayeti, batida Sivas Vilayeti ile çevriliydi. 19. yüzyila kadar rahat bir hayat sürdüren Gümüshane yöresi, savaslar nedeniyle tedirginlik içine düsmüs, madenlerin yeterince isletilmemesi sebebiyle de göç baslamistir. Böylece sehir harap olmaya ve nüfus azalmaya baslamistir. 1829 ve 1877-1878 Osmanli-Rus Savasi ile 7 Temmuz 1916 tarihlerinde Ruslarin Dogu Anadolu ve Dogu Karadeniz’de yaptiklari isgaller ve bunun sonucundaki göçler Gümüshane’de hayat birakmamistir.

        Ruslar 16 Temmuz 1916’da Bayburt’u aldiktan sonra yollarina devam ederek 19 (20) Temmuz 1916 günü Gümüshane’ye girmislerdir. Türk birlikleri fazla karsi koyamayinca Ruslar ayni gün Torul’a girmislerdir. Böylece Trabzon yolu Ruslara açilmistir.

        22 Temmuz 1916 günü Kelkit üzerine yürüyen Rus ordusu aksama dogru burayi ele geçirmistir.
Gümüshane ve çevresi bu isgaller karsisinda ve özellikle Ermeni zulmü altinda ezilirken Rusya’da Bolsevik Ihtilali’nin çikmasi ve iç çalkantilar sebebiyle Ruslar 18 Aralik 1917’de Erzincan Mütarekesi’ni imzalamis ve ordularini geri çekmeyi kabul etmistir. Ancak Ermeniler katliamlarina devam etmislerdir. Bunun üzerine mütareke geçersiz sayilarak yeniden savas baslatilmis ve bu suretle Torul 14 Subat, Gümüshane 15 Subat ve Kelkit 17 Subat 1918’de Rus isgalinden kurtarilmistir.

        Milli Mücadele yillarinda kiyi ile iç kesimler arasinda geçis bölgesi olmasi sebebiyle cografi önem arz eden Gümüshane, bu dönemde Trabzon Muhafaza-i Hukuk-u Milliye Cemiyeti’nin faaliyet alani içinde bulunmustur. Gümüshane delegesi Kadirbeyzade Zeki Bey bu cemiyetin ikinci baskanligina getirilmistir.

        23 Temmuz 1919’da toplanan Erzurum Kongresi’ne Gümüshane’den Kadirbeyzade Zeki Bey (Gümüshane ve Torul mümessili olarak) Erzurum Kongresi’ne katildi. Kelkit’ten Müftü Osman Nuri Efendi, Siran’dan Müftü Hasan Fahri (Polat) Efendi Erzurum Kongresi’nin açilis ve kapanis dualarini yapmistir. Bu nedenle 9 Agustos 1335 (1919)’da Mustafa Kemal, O’na yazdigi bir tezkere ile tesekkür etmistir.
Osmanli hakimiyetinin ilk zamanlarinda Erzurum Eyaletine bagli iken sonralari Trabzon’a baglanan Gümüshane sancagi 20 Nisan 1924 ve 491 sayili kanunun 89.maddesinde "Vilayet" basligi altindaki kanunla 1925 yilinda il olmustur.

        1925-1926 tarihli Trabzon salnamesinde "Gümüshane Vilayeti Merkez ilçe ile birlikte Bayburt, Kelkit, Torul ve Siran olmak üzere bes ilçe, bes bucak ve 377 köyden olustugu, 16943 evde 101153 kisinin yasadigi sehirde hastane olmadigi; vilayetin ticari durumunun Trabzon-Bayburt-Erzurum büyük yolu üzerinde ve Iran transit yolu üzerinde bulundugundan oldukça iyi oldugu, aslinda tarim memleketi olan vilayetin bazi yerlerinde ürünleri yerel ihtiyaci karsilamadigindan, halkin bir kisminin isçilik, meyvecilik ve katircilikla geçindigi" belirtilmektedir.

       Gümüshane’nin il olmasiyla birlikte Ahmet Durmus (Evren-dilek) Bey vali olarak atanmistir. Cumhuriyet döneminin ilk Belediye Baskani ise Osman Bey (Ataç) olup 1922-1934 tarihleri arasinda görev yapmistir. Mustafa Kemal Atatürk’ün Cumhurbaskanligi döneminde Gümüshane’de yol ve köprü yapimina önem verilmis, tarim gelistirilmeye çalisilmistir.Ismet Inönü’nün Cumhurbaskanligi döneminde ise II. Dünya Savasi patlak verdiginden ilk dönemlerde hemen hiçbir yatirimin yapilmadigi Gümüshane il merkezine 1948 yilinda su getirilmis, ertesi yil da elektrik sebekesi kurulmustur.1950’den itibaren ekonomik bir kalkinma görülmeye baslanmis, ancak daha sonra diger illere ve hatta Avrupa ülkelerine göç olayi baslamistir. Bayburt’un 1989 tarihinde il olmasi ve ayrica yeni ilçelerin olusturulmasi ile idari taksimatta degisiklik meydana gelmistir. 1988 yilinda Köse, 1990 yilinda Kürtün ilçe olmustur.