[NLP] Moderne Sprachverarbeitung

Malte Pietsch und Timo Möller sind zwei der drei Gründer des NLP
Startups DeepSet. In Folge 19 besprechen wir gemeinsam die
wesentlichen Grundlagen moderner Sprachverarbeitung. Bevor wir aber
auf tiefe Neuronale Netzwerke und Bert eingehen, diskutieren wir
einige der typischen Aufgaben wie Named-Entity-Recognition oder
Text-Classification. Wir besprechen die Entwicklungen der letzten
Jahre, die etwa Word-Embeddings, Attention basierte Algorithmen und
Transformer hervorgebracht haben. Die beiden Gründer berichten aber
auch von den Herausforderungen die sie bewältigt haben, als sie
eine deutsche Variante des derzeit beliebten Bert-Netzwerks
trainiert haben. Eine Übersicht über Entwicklungen im NLP Bereich:
http://ruder.io/a-review-of-the-recent-history-of-nlp/ Grafische
Erklärung von Transformern:
http://jalammar.github.io/illustrated-transformer/ Das deutsche
Bert Modell: https://deepset.ai/german-bert