Episode 97 - Contrastive Decoding - Fact-Checking in Sprachmodellen?

Send us a text


Versprechen wir uns nicht alle, dass unsere Sprachmodelle einen
Tatsachencheck durchführen könnten? Wäre es nicht ideal, wenn sie
Wissen verifizieren könnten? In unserer heutigen Ausgabe nehmen
wir uns Zeit, um genau diese Fragen zu beantworten. In einem
tiefgreifenden Gespräch über DoLa Decoding, untersuchen wir
verschiedene Techniken zur Verifizierung von Faktenwissen und wie
Sprachmodelle damit arbeiten können. Unser Fokus liegt auf dem
Paper "DoLa: Decoding by Contrasting Layers Improves Factuality
in Large Language Models Chuang et. al. 2023"

Verwendete Papers:
Chuang, Y. S., Xie, Y., Luo, H., Kim, Y., Glass, J., & He, P.
(2023). DoLa: Decoding by Contrasting Layers Improves Factuality
in Large Language Models. arXiv preprint arXiv:2309.03883.

Li, X. L., Holtzman, A., Fried, D., Liang, P., Eisner, J.,
Hashimoto, T., ... & Lewis, M. (2022). Contrastive decoding:
Open-ended text generation as optimization. arXiv preprint
arXiv:2210.15097.

Hören Sie rein. 

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem
Premium-Automobilhersteller Audi und dem globalen
IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr
2020 gegründet und treibt die digitale Transformation für Audi,
die Volkswagen-Gruppe und Automotive Leaders voran. XL2
konzipiert und implementiert maßgeschneiderte Lösungen für
Logistik- und Produktionsprozesse mit den neuesten Technologien
aus den Bereichen SAP, Cloud und Analytics. 



Support the show