{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# DS 33 – Textgenerierung und Sampling-Strategien\n",
    "**Informatik 10 – MINT-Zweig | Künstliche Intelligenz**\n",
    "\n",
    "## Lernziel\n",
    "Ich benenne unterschiedliche Sampling-Strategien und wende sie zur Auswahl möglicher Folgewörter an; ich beschreibe die Auswirkungen unterschiedlicher n-Gramm-Längen auf den generierten Text."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "tags": [
     "sprachhilfe"
    ]
   },
   "source": [
    "## 🗣️ Sprachhilfe\n",
    "- „Auf den Kontext … folgt mit der Häufigkeit/Wahrscheinlichkeit … das Wort …“\n",
    "- „Der erzeugte Text verändert sich, weil …“\n",
    "- „Im Vergleich zum n-Gramm-Modell kann das LLM …, jedoch …“"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 📌 Merksätze\n",
    "\n",
    "- **Textgenerierung (next word prediction):** Ausgehend von einem Startwort/-kontext wird mithilfe der n-Gramm-Tabelle immer wieder das **nächste Wort** bestimmt und an den Text angehängt.\n",
    "- **Sampling-Strategien** legen fest, **wie** aus mehreren möglichen Folgewörtern eines ausgewählt wird:\n",
    "  - **Greedy:** Es wird **immer** das **wahrscheinlichste** Folgewort gewählt → deterministisch, aber oft eintönig/sich wiederholend.\n",
    "  - **Random:** Es wird **zufällig** unter allen möglichen Folgewörtern gewählt, **gewichtet nach ihrer Wahrscheinlichkeit** → abwechslungsreicher, aber manchmal unsinnig.\n",
    "  - **Top-k:** Es werden nur die `k` wahrscheinlichsten Folgewörter betrachtet, unter denen dann zufällig (gewichtet) ausgewählt wird → Kompromiss zwischen Vorhersagbarkeit und Abwechslung.\n",
    "- Die **Länge des n-Gramms** beeinflusst die Textqualität: Größere n (z. B. Trigramme statt Bigramme) erzeugen meist **kohärentere**, aber dafür **weniger variantenreiche** Texte, da der Kontext spezifischer und damit seltener im Korpus vorkommt."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## ✍️ Von Hand: Die ersten Schritte der Textgenerierung\n",
    "Bevor ihr die Textgenerierung per Code laufen lasst: Nehmt eure Bigramm-Tabelle aus DS 31/32 (oder die Beispieltabelle mit \"der hund läuft...\" aus DS 32). Beginnt beim Wort **\"der\"** und wählt **von Hand** jeweils das **wahrscheinlichste** Folgewort (Greedy-Prinzip), bis ihr 5 Wörter notiert habt. Vergleicht euer von Hand erzeugtes Ergebnis anschließend mit der Greedy-Ausgabe der Code-Zelle unten – sie sollten übereinstimmen!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 💡 Beispiel: Textgenerierung mit Greedy- und Random-Sampling"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import random\n",
    "\n",
    "korpus = \"\"\"\n",
    "der hund läuft im park der hund spielt mit dem ball\n",
    "die katze sitzt auf dem baum die katze beobachtet den hund\n",
    "der hund bellt laut der hund läuft zur katze\n",
    "die katze springt vom baum die katze rennt weg\n",
    "der hund läuft ihr hinterher der hund ist müde\n",
    "\"\"\"\n",
    "\n",
    "def erstelle_bigramm_tabelle(text):\n",
    "    woerter = text.split()\n",
    "    tabelle = {}\n",
    "    for i in range(len(woerter) - 1):\n",
    "        a, b = woerter[i], woerter[i + 1]\n",
    "        tabelle.setdefault(a, {})\n",
    "        tabelle[a][b] = tabelle[a].get(b, 0) + 1\n",
    "    return tabelle\n",
    "\n",
    "tabelle = erstelle_bigramm_tabelle(korpus)\n",
    "\n",
    "def naechstes_wort_greedy(tabelle, wort):\n",
    "    folgewoerter = tabelle.get(wort)\n",
    "    if not folgewoerter:\n",
    "        return None\n",
    "    return max(folgewoerter, key=folgewoerter.get)\n",
    "\n",
    "def naechstes_wort_random(tabelle, wort):\n",
    "    folgewoerter = tabelle.get(wort)\n",
    "    if not folgewoerter:\n",
    "        return None\n",
    "    woerter = list(folgewoerter.keys())\n",
    "    gewichte = list(folgewoerter.values())\n",
    "    return random.choices(woerter, weights=gewichte, k=1)[0]\n",
    "\n",
    "def generiere_text(tabelle, startwort, laenge, strategie):\n",
    "    text = [startwort]\n",
    "    aktuelles_wort = startwort\n",
    "    for _ in range(laenge - 1):\n",
    "        naechstes = strategie(tabelle, aktuelles_wort)\n",
    "        if naechstes is None:\n",
    "            break\n",
    "        text.append(naechstes)\n",
    "        aktuelles_wort = naechstes\n",
    "    return \" \".join(text)\n",
    "\n",
    "print(\"Greedy:\", generiere_text(tabelle, \"der\", 10, naechstes_wort_greedy))\n",
    "print(\"Random:\", generiere_text(tabelle, \"der\", 10, naechstes_wort_random))\n",
    "print(\"Random:\", generiere_text(tabelle, \"der\", 10, naechstes_wort_random))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 📝 Übung 1 – Beobachtung Greedy vs. Random\n",
    "Führt die Zelle oben **mehrfach** aus. Was fällt euch beim Vergleich der Greedy- und der Random-Ausgabe auf? Warum liefert Greedy immer denselben Text, Random aber unterschiedliche?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "*(Eure Beobachtung hier)*"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 🚀 Optionale Vertiefung A – Top-k-Sampling programmieren\n",
    "Implementiert eine Funktion `naechstes_wort_top_k(tabelle, wort, k=2)`, die nur unter den `k` häufigsten Folgewörtern (gewichtet nach Häufigkeit) zufällig auswählt."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# OPTIONAL: naechstes_wort_top_k implementieren\n",
    "\n",
    "def naechstes_wort_top_k(tabelle, wort, k=2):\n",
    "    pass\n",
    "\n",
    "# Test:\n",
    "# print(generiere_text(tabelle, \"der\", 10, lambda t, w: naechstes_wort_top_k(t, w, k=2)))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 🚀 Optionale Vertiefung B – Einfluss der n-Gramm-Länge\n",
    "Baut analog zu DS 31/32 eine **Trigramm-Tabelle** auf (Kontext = Wortpaar statt Einzelwort) und passt die Textgenerierung entsprechend an. Vergleicht die generierten Texte: Wirken sie mit Trigrammen \"sinnvoller\" als mit Bigrammen? Warum bricht die Trigramm-Generierung bei kleinem Korpus schneller ab?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# OPTIONAL: Trigramm-basierte Textgenerierung (herausfordernd)\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 📝 Übung 2 – Abhängigkeit von den Trainingsdaten\n",
    "Ersetzt im Beispielcode oben den `korpus` durch einen **inhaltlich ganz anderen** Text, z. B.:\n",
    "\n",
    "```python\n",
    "korpus = \"\"\"\n",
    "heute scheint die sonne heute regnet es stark\n",
    "morgen scheint die sonne morgen ist es bewölkt\n",
    "heute ist es bewölkt heute regnet es leicht\n",
    "\"\"\"\n",
    "```\n",
    "\n",
    "Führt die Textgenerierung mit `generiere_text(tabelle, \"heute\", 8, naechstes_wort_random)` erneut aus.\n",
    "1. Wie stark unterscheidet sich der erzeugte Text vom Hund/Katze-Beispiel?\n",
    "2. Was bedeutet das für die Aussage \"Ein Sprachmodell erzeugt objektiven, neutralen Text\"?\n",
    "3. **Optional:** Probiert dieselbe Beobachtung mit [SoekiaGPT](https://www.soekia.ch/GPT/) aus, indem ihr dort zwischen zwei unterschiedlichen Dokumentensammlungen wechselt – das Prinzip ist identisch."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# TODO: Übung 2 - anderen Korpus einsetzen und Textgenerierung erneut testen\n",
    "\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python",
   "version": "3.11"
  },
  "v3_revision": {
   "basis": "MINT-Lehrplan Informatik 10 (2026)",
   "didaktik": "fragend-entwickelnder Kern, kurzer Transfer, flexible Reserve",
   "lerngruppe": "11 SuS"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
