Dogi niemieckie były używane już przez plemiona germańskie do polowań na dziki i niedźwiedzie, a także jako psy bojowe podczas wojny. W późniejszym czasie trzymanie tych wielkich molosów było przywilejem książęcym. Zachowała się relacja z polowania księcia Brunszwiku, biorącego 600 dogów do pojedynczego polowania! Dzięki powszechnemu zwyczajowi wymieniania narodowych psów jako prezenty między królewskimi rodzinami Europy, dog niemiecki znalazł się na dworze duńskim, gdzie stał się popularny, choć oczywiście nie tak bardzo jak Broholmer. Pod koniec XVII w. królowie Danii podarowali dworowi angielskiemu swojego ojczystego Broholmera, oraz doga niemieckiego, którego od tej pory zaczęto nazywać na wyspach "Wielkim Duńczykiem" (Great Dane).
Wraz ze spadkiem liczebności m.in. dzików na terenie dzisiejszych Niemiec ograniczano hodowle doga. Znalazł wtedy uznanie jako pies towarzyszący wśród wyższych warstw społecznych i w XIX w. wprowadził się do domów zamożnych mieszczan. Pierwsza wystawa tych psów miała miejsce w 1863 r. Psy występowały wówczas pod dwoma nazwami: dog ulmski lub duński. Wielkim miłośnikiem tej rasy był kanclerz niemiecki Otto von Bismarck, który w 1876 r. oficjalnie uczynił doga "psem Rzeszy", nadając mu obecną nazwę - dog niemiecki.
Obecnie dog niemiecki jest bardzo popularnym na całym świecie psem towarzyszącym i obrończym.
