Deep Dive 203 – AI in Production mit Maximilian Hudlberger

Wie hat dir die Folge gefallen?
Gut 👍
Schlecht 👎
(Keine Anmeldung erforderlich)

Wir sprechen mit Maximilian Hudlberger, Solution Architect bei OpenAI, über Best Practices für AI in Production. Max erklärt, wie Unternehmen verschiedenster Größe Large Language Models in ihre Anwendungen integrieren – von klassischen Chatbots über Klassifizierungsaufgaben bis hin zu komplexen Multi-Step-Agenten, die Workflows automatisieren. Dabei geht es um typische Patterns, häufige Herausforderungen sowie die Unterschiede zwischen Start-ups und großen Enterprises bei der Umsetzung.

Ein wichtiges Thema ist die Evaluation und Qualitätssicherung von AI-Anwendungen. Max erläutert, wie Output-Qualität gemessen wird und welche Rolle Human Annotation, LLM-Graders und automatisierte Eval-Mechanismen spielen. Anhand konkreter Beispiele aus Lern-Apps und Customer-Service-Anwendungen wird deutlich, wie komplex die Abstimmung von Output, Stil, Genauigkeit und Workflow in der Praxis sein kann.

Zudem besprechen wir Kosten, Latenz und Caching. Max erläutert, wie Unternehmen die Kosten kalkulieren, den Tokenverbrauch abschätzen und Caching nutzen können, um die Performance und Effizienz zu verbessern. Außerdem beleuchten wir die Themen Context Engineering, Prompt Engineering und Fine-Tuning.

Abschließend gibt Max Einblicke in aktuelle Trends wie Agent Reinforcement Fine-Tuning und zeigt, wie komplexe Multi-Step-Agenten evaluiert werden können.

Schreibt uns!
Schickt uns eure Themenwünsche und euer Feedback: [email protected]

Folgt uns!
Bleibt auf dem Laufenden über zukünftige Folgen und virtuelle Meetups und beteiligt euch an Community-Diskussionen.

Bluesky
Instagram
LinkedIn
Meetup
YouTube

Musik: Hanimo