Quellen & weiterführende Links
iQuellen geprüft: September 2026
Die Inhalte dieses Moduls wurden im Mai 2026 recherchiert; alle Quellenlinks wurden im September 2026 auf Erreichbarkeit geprüft und wo nötig aktualisiert. Da sich die KI-Welt schnell entwickelt, können einzelne Details inzwischen überholt sein.
Quellen
-
Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762. https://arxiv.org/abs/1706.03762
-
Mikolov, T. et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781. https://arxiv.org/abs/1301.3781
-
Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv:2203.02155. https://arxiv.org/abs/2203.02155
-
Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073. https://arxiv.org/abs/2212.08073
-
Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arXiv:2305.18290. https://arxiv.org/abs/2305.18290
-
Shanahan, M. (2023). Talking about Large Language Models. Communications of the ACM / arXiv:2212.03551. Grundlage für das mentale Modell "LLMs als Rollen-Simulatoren" — plädiert dafür, Sprache über LLMs präzise zu wählen und nicht versehentlich Intentionalität zu unterstellen. https://arxiv.org/abs/2212.03551
-
Shanahan, M., McDonell, K., Reynolds, L. (2023). Role play with large language models. Nature 623, 493–498. Die wissenschaftliche Grundlage für das Autor-Figur-Framing aus der Section "Mentales Modell". https://www.nature.com/articles/s41586-023-06647-8
Weiterführende Links
Videos & visuelle Erklärungen
- 3Blue1Brown – But what is a GPT? Visual intro to Transformers: Hervorragende visuelle Erklärung der Transformer-Architektur. https://www.youtube.com/watch?v=wjZofJX0v4M
- Andrej Karpathy – Let's build GPT from scratch: Schritt-für-Schritt-Implementierung eines GPT-Modells. https://www.youtube.com/watch?v=kCc8FmEb1nY
Interaktive Tools
- Transformer Explainer (Polo Club, Georgia Tech): Lässt ein echtes GPT-2-Modell im Browser laufen und zeigt jeden Rechenschritt — von der Tokenisierung bis zur Wahrscheinlichkeitsverteilung. Grundlage für die interaktiven Visualisierungen in diesem Modul. https://poloclub.github.io/transformer-explainer/
Artikel & Tutorials
- Jay Alammar – The Illustrated Transformer: Detaillierte visuelle Erklärung der Transformer-Architektur mit Diagrammen. https://jalammar.github.io/illustrated-transformer/
Kurse
- Hugging Face – NLP Course: Kostenloser, praxisorientierter Kurs über Natural Language Processing und Transformer-Modelle. https://huggingface.co/learn/nlp-course