Quellen & weiterführende Links

Quellen

1. Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762. https://arxiv.org/abs/1706.03762

2. Mikolov, T. et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781. https://arxiv.org/abs/1301.3781

3. Muennighoff, N. et al. (2023). MTEB: Massive Text Embedding Benchmark. arXiv:2210.07316. https://arxiv.org/abs/2210.07316

4. OpenAI (2024). Text Embedding 3 – Dokumentation. https://developers.openai.com/api/docs/guides/embeddings

5. Hendrycks, D. et al. (2021). Measuring Massive Multitask Language Understanding (MMLU). arXiv:2009.03300. https://arxiv.org/abs/2009.03300

6. Chen, M. et al. (2021). Evaluating Large Language Models Trained on Code (HumanEval). arXiv:2107.03374. https://arxiv.org/abs/2107.03374

7. Jimenez, C. E. et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv:2310.06770. https://arxiv.org/abs/2310.06770

8. Artificial Analysis – LLM-Leistungsvergleiche. https://artificialanalysis.ai/

9. SWE-bench (2026). SWE-bench Verified Leaderboard. Referenz für die im Modul genannten Coding-Scores. https://www.swebench.com/ · https://llm-stats.com/benchmarks/swe-bench-verified

10. Anthropic (2026). Claude – Modellübersicht und Preise. Referenz für Modellnamen, Kontextfenster und Token-Preise. https://platform.claude.com/docs/en/about-claude/pricing

11. OpenAI (2026). Models – API-Dokumentation. Referenz für die GPT-5.6-Varianten Sol, Terra und Luna. https://developers.openai.com/api/docs/models/

12. Cho, A. et al. (2024). Transformer Explainer: Learning LLM Transformers with Interactive Visual Explanation and Experimentation. arXiv:2408.04619. Grundlage für die Pipeline- und Attention-Visualisierungen in der Section "Vom Prompt zur Antwort". https://arxiv.org/abs/2408.04619

Weiterführende Links

Transformer-Architektur

• Jay Alammar – The Illustrated Transformer: Die beste visuelle Erklärung der Transformer-Architektur. https://jalammar.github.io/illustrated-transformer/
• Transformer Explainer (Polo Club, Georgia Tech): Ein echtes GPT-2 small läuft im Browser — mit allen Zwischenergebnissen inklusive der tatsächlichen Q/K/V-Matrizen und einstellbarem Temperature-, Top-k- und Top-p-Sampling. https://poloclub.github.io/transformer-explainer/

Embeddings & Benchmarks

• Hugging Face – MTEB Leaderboard: Aktuelle Rangliste der Embedding-Modelle nach verschiedenen Aufgaben. https://huggingface.co/spaces/mteb/leaderboard
• SWE-bench Leaderboard: Rangliste für Code-Generierungsmodelle bei echten GitHub-Issues. https://www.swebench.com/

Vertiefung

• Lilian Weng – Attention? Attention!: Detaillierter Blogartikel über Attention-Mechanismen. https://lilianweng.github.io/posts/2018-06-24-attention/
• 3Blue1Brown – Attention in Transformers: Visuelle Erklärung des Attention-Mechanismus. https://www.youtube.com/watch?v=eMlx5fFNoYc