Koller, ki se je uveljavil tudi kot skladatelj jazzovskih kompozicij, je v svoji dolgi karieri med drugim nastopil z glasbeniki, kot so Dizzy Gillespie, Lee Konitz, Zoot Sims in Stan Kenton. Med drugo svetovno vojno je bil vpoklican v nemško vojsko, kjer so ga zajeli Američani. Po vojni se je leta 1946 vrnil na Dunaj in tam ustanovil "Hot Club Vienna". Štiri leta pozneje se je odpravil v Nemčijo, kjer se je začela njegova mednarodna kariera.
Kljub številnim ponudbam iz Združenih držav Amerike, je Koller ostal v Evropi. Leta 1958 je nastopil z Bennyjem Goodmanom in njegovim baletom na Svetovni razstavi v Bruslju. Na prvem evropskem jazz festivalu leta 1960 v francoskem Antibesu si je pridobil naziv najboljšega solista. Koller je bil tudi prvi evropski jazzovski glasbenik, ki mu je ameriška glasbena revija Downbeat podelila pet zvezdic. Njegov avstrijski kolega, jazzovski glasbenik Joe Zawinul, ga je imenoval kar "naše božanstvo". Koller, ki je začel pisati glasbo v šestdesetih, je že v osemdesetih letih prenehal igrati.
