Rottweiler patrí k najstarším plemenám psov. Jeho pôvod siaha do čias starého Ríma, kde sa používal ako strážny a honecký pes. Psy sprevádzali rímske légie cez Alpy, chránili vojsko a zaháňali dobytok (keďže neexistoval iný spôsob, museli byť zásoby živé, na kopytách). Statočné a mocné psy boli potrebné na ovládanie stád, mali dočinenia často s vlkmi či zlodejmi. Cesty boli náročné na výstupy cez hory, brodenie riek, horúčavy a kruté zimy bolo treba znášať rovnako statočne. Na konci týchto pochodov bránili tieto psy svojich pánov v bitkách a bojoch s rovnakou vervou.

Malé svorky týchto psov občas bojovníci boli nútení nechať na miestach kadiaľ  légia prechádzala, ktoré boli rímskym osídlením a dnes sú súčasťou Nemecka. Jedným z týchto miest bola aj základňa Sunelocena pri rieke Neckar. Na jej základoch vzniklo dnešné mesto Rottweil, ktoré bolo trhovým mestečkom a tieto psy tam, získali  obľubu ako miestne pastierske a dobytkárske psy. Hlavnou úlohou rottweilerov bolo zaháňanie a ochrana veľkých stád dobytka, ochrana pána a jeho majetku. Po tomto nemecko-ríšskom meste dostal  neskôr svoje meno.

Keď sa začali rozrastať železnice a prepravovanie dobytka po cestách na veľké vzdialenosti bolo zákonom zakázané, ocitol sa rottweiler bez práce. V tomto období, keďže bol chovaný prevažne mäsiarmi, bol nazývaný aj rottweilerský mäsiarsky pes. Mäsiari chovali tento druh psov iba na prácu. Tak vznikol v priebehu rokov vynikajúci strážny a honecký  pes, ktorý našiel uplatnenie aj ako ťažné zviera. Celkovo však ich počet klesal až zostala podľa zdrojov z roku 1905 zostala v Rottweile jediná sučka. Prelom storočí bol súčasne začiatkom z chovateľského hľadiska. V roku 1899 sa vytvoril prvý chovateľský klub pod názvom "Medzinárodný klub pre leonbergerov a rottweilerov" a následne v roku 1907 sa plemeno dočkalo organizácie, akú si zaslúžilo, vytvorením Nemeckého klubu rottweilerov v Heidelbergu. Toto bol prvý klub, ktorý systematicky organizoval chov rottweilerov. Keď sa na začiatku 20. storočia vyhľadávali plemená vhodné na službu v polícii, bol vyskúšaný aj rottweiler. Rýchle sa ukázalo, že je na túto službu vhodný. V roku 1910 bol preto oficiálne uznaný ako policajný pes.

Začiatkom dvadsiatych rokov minulého storočia chovatelia vytvorili ADRK (Allgemeiner Deutscher Rottweiler Klub – všeobecný nemecký klub rottweilerov). ADRK vynakladá veľké úsilie, aby rottweiler ostal psom s dokonalou mysľou, srdcom, zdravím a ochotou podrobiť sa. Zachováva sa prísny kódex aj pre chovateľov, aj pre majiteľov, pričom sa okrem röntgenov bedrových kĺbov robia prísne pracovné skúšky a testy vhodnosti na chov, aby rottweiler nikdy nedegeneroval na čierno-trieslovú paródiu čohosi, čo bolo kedysi najlepším na svete.