Janko Tipsarević je počeo da trenira tenis u šestoj godini, a brigu o njegovom napretku dve godine kasnije preuzeo je ruski trener Roman Savočkin. Kao junior je beležio odlične rezultate, bio je drugi na svetu i osvojio Australijan open 2001. godine. Međutim, Janko, kao ni Luksemburžanin Žil Miler koji je tada bio prvi, nije opravdao očekivanja u seniorskoj konkurenciji. Prvi trofej je osvojio 2001. godine, bio je to ’fjučers’ u Berogradu. Savladao je Mađarovskog i Vemića, a u finalnom meču je pobedio Rubena Ramiresa Hidalga sa 6:2, 4:6, 6:3. Turnire sličnog rejtinga igrao je i sledeće sezone, trijumfovao je u Meksiko Sitiju, igrao finala u Gvadalahari i Kalamati (poražen od Brzezickog) i polufinala u pet navrata. Osvojio je ’čelindžer’ u Zelu početkom 2003. godine, a nedugo zatim je ostvario i prvu pobedu na ATP turu, savladao je Nenada Zimonjića u prvoj rundi Indijanapolisa. U narednom kolu je poražen od Jevgenija Kafeljnikova, a na US openu je prošao kvalifikacije i ispao u prvom kolu od Marka Filipusisa – 6:2, 7:6, 6:4. Zatim je bio najbolji na ’čelindžeru’ u Toransu, a na putu do titule eliminisao je Dmitrija Tursunova i Zaka Fleišmana. I 2004. godina protekla je po sličnom scenariju – solidni rezultati na ’čelindžerima’ i dva osvojena trofeja i bezuspešni pokušaji da se napravi proboj na nekom Gren slemu ili ozbiljnijem ATP turniru. Pobedio je u Ostravi, a u finalu je nadigao Piter Lučšaka sa 6:3, 7:6. Do trofeja u Belo Horizonteu došao je izbacivši Džastina Gimelstoba, Kristijana Plesa i Rikard Mela. Na Rolan Garosu je oduzeo set Nikolasu Masuu, a na Vimbldonu Džinepriju. Jednu od retkih pobeda na većim turnirima ostvario je u Stokholmu, kada je eliminisao Tomaša Berdiha sa 3:6, 7:5, 6:1. Tu godinu je završio na 117. mestu na listi. U najboljih 100 prvi put je došao početkom 2005. godine, pred turnir u Skotsdejlu. Te sezone je učestvovao na 15 ATP takmičenja i zabeležio 11 pobeda.