Episode 103 - Speed Up Inference - Speculative Decoding

Send us a text


In der heutigen Sendung sprechen wir über Speculative Decoding,
eine Methode, mit der die Inferenzzeit um den Faktor 2 - 2,4x
beschleunigt werden kann. Wie das Verfahren funktioniert und
welche Möglichkeiten es schafft, erfahren Sie in dieser Sendung.
Bleiben Sie dran. 

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie
vorantreibt. Das Unternehmen erarbeitet innovative
End-to-End-Prozesse und implementiert maßgeschneiderte
IT-Lösungen für seine Kunden.


Support the show