#36 NLP Update: Attention & Big Science

Natürliche Sprachverarbeitung (NLP) war bereits vor 2 Jahren das
Thema einer Techtiefen Podcast-Triologie. Seit dem hat sich aber
sehr viel getan, insbesondere Transfer-Learning und die Transformer
Technologie haben mächtige Modelle wie Bert oder GPT ermöglicht, es
wird also höchste Zeit für ein Update. Wer zuerst noch einmal die
Grundlagen auffrischen möchte, dem sei [Techtiefen [NLP] Moderne
Sprachverarbeitung](https://techtiefen.de/nlp-moderne-sprachverarbeitung/)
empfohlen. Experte dieser Folge ist Nils Reimers, NLP Forscher bei
Huggingface und Autor der [Sentence-Transformers
Library](https://github.com/UKPLab/sentence-transformers/). Er
erklärt zunächst die wichtigen Neuheiten der vergangen Jahre wie
etwa Transfer Learning, Attention, Transfomer und Neuheiten bei
Tokenization Strategien. Anschließend sprechen wir darüber, wie man
am besten aus einem Text variabler Länge Vektoren mit fixer
Dimensionalität bestimmt. Diese so bestimmten Vektoren sind dann
Grundlage für anspruchsvolle Aufgaben wie Text-Clustering,
Semantische Suche oder Question-Answering Aufgaben. Auch besprechen
wir, wie man einsprachige Modelle mit Hilfe eines Teacher-Student
Verfahrens in fremde Sprachen übertragen kann. Abschließend
berichtet Nils vom [Big Science
Projekt](https://bigscience.huggingface.co/en/#!index.md), einem
einjährigen Workshop bei dem 500 Personen aus über 50 Ländern
mitarbeiten um gemeinsam auf einem französischen Supercomputer das
größte bisher berechnete Sprachmodell zu berechnen. Anders als bei
GPT wird sowohl das Modell, wie auch der Prozess dieses zu
erstellen offen und transparent. Besonders ist dabei auch der
Ansatz, spannende Forschungsfragen bereits vor dem Modelltraining
zu formulieren. Links: - Paper von Nils über die wir gesprochen
haben: - [Sentence-BERT: Sentence Embeddings using Siamese
BERT-Networks](https://arxiv.org/pdf/1908.10084.pdf) - [Making
Monolingual Sentence Embeddings Multilingual using Knowledge
Distillation](https://arxiv.org/pdf/2004.09813.pdf) - [BigScience
Projekt](https://bigscience.huggingface.co/en/#!index.md) -
[Sentence-Transformers
Library](https://github.com/UKPLab/sentence-transformers/) -
[Huggingface](https://huggingface.co/course/chapter1) Online-Kurs