Sve do kraja 17. stoljeća o Slavoniji, Baranji i Srijemu ima malo sačuvanih arhivskih izvora, budući da su uništeni, osobito za vrijeme osmanskih ratova. Podatci o sustavnoj brizi za spise sačuvani su iz razdoblja nakon oslobođenja Slavonije od osmanske vlasti. Gradski statut Osijeka iz 1698. u točki 15. donosi i odredbu da se "porezni i upravni spisi, gotov novac i gradski pečat moraju čuvati na sigurnom mjestu". Kao i u ostalim gradovima i u Osijeku je sačuvana tradicija škrinje za arhivsku dokumentaciju s dva različita ključa. Kada je Osijek 1809. postao Slobodni i kraljevski grad, po uzoru na ostale gradove organizirao je svoj arhiv i arhivista/arhivara koji se brinuo za čuvanje i uporabu spisa koji su nastali radom Gradskoga poglavarstva. I druge institucije vlasti, vlastelinstva i Crkva imali su svoje pismohrane i arhive od kojih je sačuvan znatan dio vrijedne dokumentacije. Područje djelatnosti Arhiva u Osijeku je obuhvaćalo tadašnji „veliki kotar Osijek“ tj. današnju Osječko-baranjsku, Vukovarsko-srijemsku i Virovitičko-podravsku županiju.
Novo poglavlje pristupa i odnosa s arhivskim gradivom kao kulturnom baštinom, nastupilo je poslije 1945. godine. Tako je 1947., odobrenjem Ministarstva prosvjete od 18. studenog u Osijeku osnovana Ispostava Državnog arhiva u Zagrebu (arhivsko spremište). Prvo sjedište Arhiva u Osijeku nalazilo se u današnjoj Tvrđi, Kuhačeva 27, gdje je ostalo sve do 1972. godine.
Arhiv je postao samostalnom ustanovom Rješenjem Narodnoga odbora Kotara Osijek od 16. srpnja 1956. To je Rješenje 21. studenog 1956. potvrdilo Izvršno vijeće Sabora Narodne Republike Hrvatske pa je od 1. siječnja 1957. Ispostava Državnog arhiva u Zagrebu postala samostalna ustanova pod nazivom Arhiv u Osijeku. Pri Arhivu je osnovan 1957. godine poseban Partijski arhiv, koji je specijalno prikupljao, obrađivao i objavljivao bitno gradivo za radnički pokret, Komunističku partiju i partizansku vlast za vrijeme Drugoga svjetskog rata. Taj je Arhiv 1962. godine pripojen tadašnjemu Historijskom arhivu u Osijeku postavši njegovim sastavnim dijelom. Zbog sve veće potrebe za arhivskim spremištem, Skupština Općine Osijek dodijelila je 1971. Arhivu zgradu bivše vojarne u današnjoj ulici K. Firingera 1. Zgrada je uređena za Arhiv i preseljenje je obavljeno 1972-1975.
Arhiv je teško stradao u Domovinskom ratu 1991/1992., no postupno su sanirana oštećenja na zgradi, vraćeno je izmješteno gradivo i nastavljeno je s redovitim radom. Obveznim Naputkom Ministarstva kulture i prosvjete Republike Hrvatske 1993. regionalni arhivi pa tako i osječki Arhiv, mijenjaju nazive u Povijesne arhive. Do nove promjene naziva dolazi stupanjem na snagu Zakona o arhivskom gradivu i arhivima (NN 105/1997), odnosno novom registracijom 21. travnja 1998. kada Povijesni arhiv postaje Državni arhiv u Osijeku. Zbog velikih potreba preuzimanja gradiva od imatelja i nedostatka prostora u matičnom Arhivu u Osijeku, osnovani su Arhivski sabirni centar u Vinkovcima (1989. godine) i Arhivski sabirni centar u Virovitici (1999. godine). Unatoč svim promjenama, područje djelatnosti i nadležnosti Arhiva u Osijeku nije se mijenjalo do 2009. godine, odnosno do tada je obuhvaćalo područje današnje Osječko-baranjske, Vukovarsko-srijemske i Virovitičko-podravske županije. Od 1. svibnja 2009. teritorijalna nadležnost Državnog arhiva u Osijeku prostire se samo na područje Osječko-baranjske županije. Naime, novoosnovani Državni arhiv u Vukovaru započeo je sa samostalnim djelovanjem 1. siječnja 2009. za područje Vukovarsko-srijemske županije, a Državni arhiv u Virovitici samostalno je djelovanje započeo 01. svibnja 2009. za područje Virovitičko-podravske županije.