Latest / Ignition / Orchestra: Wie KI-Kosten mit Spezialmodellen sinken
Transcript
- 0:00Willkommen bei IGNITION.
- 0:01Starte mit KI in Dein selbstbestimmtes Leben.
- 0:04Heute zerlegen wir ein Geschäft, das durch KI plötzlich anders funktioniert.
- 0:08Stell Dir eine Gründerin vor, die Software für Logistikfirmen betreibt.
- 0:12Jeden Tag laufen bei ihr tausende Mails, Lieferscheine und Rechnungen ein.
- 0:16Eine KI sortiert das: Ist das eine Reklamation, eine Bestellung,
- 0:20eine Rechnung?
- 0:21Immer dieselbe Frage, tausendfach am Tag, gestellt an eines der besten Sprachmodelle
- 0:25der Welt.
- 0:26Am Monatsende öffnet sie die Abrechnung des Anbieters und denkt: Ich bezahle gerade
- 0:30ein Spitzengehalt dafür, dass jemand Post einsortiert.
- 0:33Genau an dieser Stelle setzt Orchestra an.
- 0:36Das ist ein Startup aus San Francisco mit zwei Gründern.
- 0:39Es schaltet sich unsichtbar zwischen die Firma und das teure Modell.
- 0:42Es schaut zu, lernt die Aufgabe und trainiert ein kleines, günstiges Spezialmodell.
- 0:47Sobald das die Arbeit nachweislich genauso gut macht, übernimmt es.
- 0:50Die Rechnung sinkt, und Orchestra bekommt einen Anteil an dem,
- 0:53was gespart wird.
- 0:54Dann ist das erstmal kein Produkt im klassischen Sinn.
- 0:57Der Kunde kauft keine Software mit Monatsabo, sondern bezahlt aus einer Ersparnis.
- 1:03Wenn ich das richtig verstehe: Wer die Rechnung nicht senkt,
- 1:06verdient nichts.
- 1:07Genau.
- 1:07Und das ist der Punkt, der das Modell von vielen anderen unterscheidet.
- 1:11Orchestra verkauft nicht Technik, sondern einen niedrigeren Rechnungsbetrag.
- 1:15Die Technik dahinter ist Mittel zum Zweck.
- 1:18Bevor wir tiefer gehen, eine kurze Einordnung, wie wir arbeiten.
- 1:21Für IGNITION analysieren wir aktuelle Entwicklungen aus KI,
- 1:25Technologie, Wirtschaft und Forschung.
- 1:27Wir vergleichen Quellen, prüfen Behauptungen und trennen belastbare Signale von
- 1:31kurzfristigem Hype.
- 1:32Das brauchen wir hier besonders, weil die Firma sehr große Zahlen nennt und die
- 1:36Beweislage noch dünn ist.
- 1:37Dann bleiben wir erst bei der Mechanik.
- 1:39Die Gründer benutzen ein Bild: Man braucht keinen Doktortitel,
- 1:43um in der Poststelle zu arbeiten.
- 1:45Was heißt das?
- 1:46Es heißt: Die teuersten Modelle sind für schmale, wiederholte Aufgaben
- 1:50überdimensioniert.
- 1:52E Mails einsortieren, Daten aus Dokumenten ziehen, Einträge im Kundensystem anlegen,
- 1:57Support Tickets klassifizieren.
- 1:59Das sind keine Denkaufgaben auf Forschungsniveau.
- 2:01Es sind Routinen mit klaren Mustern.
- 2:03Trotzdem schicken viele Firmen sie an ein Spitzenmodell von OpenAI oder Anthropic,
- 2:08weil es einfach funktioniert und weil man beim Start nicht lange nachdenkt.
- 2:12Das ist bequem, und bequem ist teuer.
- 2:14Solange das Volumen klein ist, fällt es nicht auf.
- 2:17Wächst die Nutzung, wird aus der Randnotiz der größte variable Kostenblock im
- 2:21Unternehmen.
- 2:21Der Hebel liegt also nicht in einer neuen Fähigkeit, sondern in einer Lücke zwischen
- 2:25dem, was die Aufgabe braucht, und dem, was der Kunde bezahlt.
- 2:29Wie sieht das für den Kunden praktisch aus?
- 2:31Wie kommt er zu Orchestra, und was muss er tun, bevor irgendetwas passiert?
- 2:35Zur Entdeckung selbst ist öffentlich wenig belegt.
- 2:38Die Gründer sagen offen, dass sie dorthin gehen, wo Schmerz ist und bereits Geld
- 2:42ausgegeben wird, also zu Firmen mit hohen KI Rechnungen.
- 2:45Der Einstieg selbst ist bestätigt und bewusst klein gehalten: Der Kunde tauscht im
- 2:50Code eine einzige Internet Adresse aus.
- 2:52Statt direkt zum Anbieter des Spitzenmodells zu senden, geht der Verkehr zuerst
- 2:56durch Orchestra.
- 2:57Mehr muss er nicht umbauen.
- 2:59Die Firma sagt ausdrücklich, dass sie keine Berater zum Kunden schickt und selbst
- 3:03keine großen Modelle von Grund auf trainiert.
- 3:05Danach passiert in der ersten Phase erstmal nichts Sichtbares.
- 3:09Orchestra reicht jede Anfrage an das teure Modell weiter, der Kunde bekommt seine
- 3:13Antworten wie vorher.
- 3:14Nebenbei zeichnet Orchestra auf, welche Aufgaben kommen und wie das Spitzenmodell
- 3:19sie löst.
- 3:19Und genau da würde ich nachfragen.
- 3:21Ein billigeres Modell klingt gut, aber der Kunde fürchtet doch vor allem,
- 3:26dass die Qualität leise absackt.
- 3:28Wer garantiert, dass er nicht plötzlich schlechtere Antworten bekommt?
- 3:32Das ist der Mechanismus, der das Modell trägt.
- 3:34Aus den aufgezeichneten Arbeitsdaten baut Orchestra automatisch Prüftests.
- 3:40Ein Teil der echten Fälle wird zurückgehalten, also nicht fürs Training benutzt,
- 3:44und dient später als Klassenarbeit.
- 3:46Dann trainiert Orchestra im Hintergrund ein kleines, spezialisiertes Modell auf
- 3:50genau diese Aufgabe.
- 3:52Erst wenn es in den Tests bei Qualität, Kosten und Geschwindigkeit die Schwellen
- 3:56besteht und das teure Modell erreicht oder schlägt, wird es live geschaltet.
- 4:00Ein Satz der Firma bringt es auf den Punkt: kein Rückschritt,
- 4:03der als Ersparnis verkauft wird.
- 4:05Danach läuft der Kreislauf weiter.
- 4:08Je mehr Arbeit durchläuft, desto mehr Material gibt es, und das Modell kann besser
- 4:12werden.
- 4:12Der Kunde merkt idealerweise nur eins: Die Rechnung wird kleiner.
- 4:17Also die Frage an die Technik: Was macht KI hier konkret möglich?
- 4:21Ein Modell zu trainieren war doch früher ein Projekt mit einem Team.
- 4:25Ja, und genau das ist die betriebliche Veränderung.
- 4:27Früher hätte ein Unternehmen Datenspezialisten gebraucht, die Beispiele sammeln,
- 4:31Tests schreiben, Modelle trainieren und prüfen.
- 4:34Das lohnt sich nur bei riesigen Volumen.
- 4:36Heute lässt sich ein großer Teil davon automatisieren, und es gibt offene,
- 4:40kleinere Modelle als Ausgangsbasis.
- 4:42Kein Zaubertrick.
- 4:43Ein enger Auftrag ist leichter zu lernen als alles Wissen der Welt.
- 4:46Ein kleines Modell, das nur Post sortiert, muss kein Gedicht schreiben können.
- 4:50Das Spitzenmodell liefert quasi die Musterlösungen, und das kleine Modell lernt,
- 4:54sie zu imitieren.
- 4:55Die tägliche, langweilige Arbeit des Kunden wird damit zu Trainingsmaterial.
- 4:59Aus einer laufenden Ausgabe wird etwas, das bleibt.
- 5:02Gut, dann zum Geld.
- 5:03Wie viel nimmt Orchestra denn?
- 5:05Das wissen wir nicht.
- 5:06Bestätigt ist die Logik: Orchestra nimmt einen Anteil, wenn Verkehr auf das
- 5:11günstigere Modell umgeleitet wird.
- 5:13Die genaue Höhe ist öffentlich nicht bekannt.
- 5:15Auch benannte Kunden, Umsätze und Produktionsvolumen kennen wir nicht.
- 5:20Was sich ableiten lässt, ist die Spanne.
- 5:22Das teure Modell kostet vielleicht einen Euro pro Menge Arbeit,
- 5:25das Spezialmodell vielleicht zwanzig Cent.
- 5:28Aus den achtzig Cent Differenz bekommt der Kunde den größeren Teil,
- 5:32Orchestra einen Anteil.
- 5:33Das ist meine Rechnung als Beispiel, keine Preisliste.
- 5:36Es erklärt aber, warum das gut skaliert: Jeder zusätzliche Kunde bringt Verkehr,
- 5:41aber die Firma muss nicht proportional mehr Menschen einstellen,
- 5:44weil Tests und Training weitgehend automatisch laufen.
- 5:47Und die Kundengewinnung?
- 5:49Zwei Gründer können nicht hunderte Firmen einzeln überzeugen.
- 5:52Hier wird die Bezahllogik zum Vertriebshebel.
- 5:55Wer nur zahlt, wenn real gespart wird, muss dem Anbieter nicht vertrauen.
- 5:59Er muss nur seine Rechnung lesen.
- 6:01Das Risiko liegt beim Anbieter, nicht beim Kunden.
- 6:04Dadurch entfallen die zähen Gespräche über Budget, Pilotprojekt und Haftung.
- 6:08Die Frage lautet nicht mehr: Glauben wir euch?
- 6:11Sondern: Warum nicht einfach testen?
- 6:13Und der Umbau besteht aus einer Adresse.
- 6:15Das Gründerteam bringt außerdem Vertriebserfahrung mit.
- 6:18Luis Manrique war früh bei Gumloop und hat dort Unternehmenskunden gewonnen,
- 6:23Aamir Poonawalla hat rund zehn Jahre bei Instacart die Werbe Infrastruktur und
- 6:27Machine Learning mitgebaut.
- 6:28Dahinter steckt ein Muster, das sich übertragen lässt, und ich will es in einem Satz
- 6:32sagen: erfolgsbasierte Kostenarbitrage auf die größte variable Kostenstelle eines
- 6:37Kunden.
- 6:38Du schaltest Dich zwischen den Kunden und seine teuerste, wiederkehrende Rechnung,
- 6:42senkst sie mit besserer Technik und lässt Dich an der nachgewiesenen Ersparnis
- 6:46beteiligen.
- 6:46Nicht ein Produkt mit Fixpreis, sondern ein Anteil am Ergebnis.
- 6:50Und es zeigt etwas Allgemeines: Jeder teure Boom erzeugt einen zweiten Markt,
- 6:55den Verkauf der Effizienz.
- 6:57Bevor wir zu den Lehren kommen, brauche ich den Realitätscheck,
- 7:00weil die Zahlen hier sehr groß klingen.
- 7:03Die Firma wirbt mit bis zu hundertmal günstiger.
- 7:06Ich würde das gern einordnen.
- 7:07Das ist die Behauptung der Firma, unabhängig bestätigt ist sie nicht.
- 7:11Die eigenen Messungen sind bescheidener.
- 7:13Bei einer Aufgabe nennt die Firma rund 83 Prozent weniger Kosten,
- 7:17bei einer Lager Klassifizierung etwa vier bis fünfmal mehr Effizienz.
- 7:21In einer frühen Darstellung aus der Zeit, als die Firma noch Understudy hieß,
- 7:25ist von der 1,13 fachen Leistung eines älteren Claude Modells bei einem Viertel der
- 7:30Kosten die Rede, außerdem von deutlich kürzeren Antwortzeiten.
- 7:34Das stammt aus einer privaten Vorschau, mit ausgewählten Partnern,
- 7:37selbst gemessen und für eine einzelne Aufgabe.
- 7:40Das ist mehr Marketing als Beweis.
- 7:42Es gibt keine unabhängig geprüften Kundenersparnisse, keinen namentlich bekannten
- 7:47Kunden, keine Umsatzzahl.
- 7:49Und die 104 Milliarden Dollar, die die Firma als Marktgröße nennt,
- 7:53sind eine Zahl über den ganzen Markt rund um KI Nutzung, nicht das,
- 7:58was Orchestra bekommen kann.
- 8:00Dazu kommt: Ein kleines Modell muss irgendwo laufen.
- 8:03Auf gemieteten Rechenchips fallen Fixkosten an, für Bereitstellung,
- 8:07Verwaltung, Startzeiten.
- 8:09Schwankt das Volumen, frisst das einen Teil des Vorteils auf,
- 8:13der pro Anfrage so schön aussieht.
- 8:15Richtig, und rechnet man den vollen Betrieb ein, schrumpft der Abstand.
- 8:18Das hängt stark davon ab, wie gleichmäßig die Last ist.
- 8:21Dafür spricht, dass die Mechanik nachvollziehbar ist und ein klarer Test vor dem
- 8:25Umschalten steht.
- 8:26Dagegen spricht, dass dieser Test nur so gut ist wie die Daten,
- 8:29aus denen er gebaut wurde.
- 8:31Genau da liegt für mich das nächste Risiko.
- 8:33Ein Spezialmodell kann bei Fällen, die es nie gesehen hat, still versagen.
- 8:38Das Spitzenmodell fängt Ausreißer meist ab.
- 8:41Und dann die Vertrauensfrage: Eine Firma leitet ihre sensiblen Anfragen und
- 8:46Kundendaten durch das Gateway eines Teams aus zwei Personen.
- 8:50Ich kenne viele Compliance Abteilungen, die da sofort Nein sagen.
- 8:54Und der Markt ist voll.
- 8:56Anbieter für Feinabstimmung, Routing und Auswertung gibt es reichlich,
- 9:00etwa OpenPipe, Predibase, Together AI, Fireworks, LangSmith oder Braintrust.
- 9:07Was ist daran schwer zu kopieren?
- 9:09Die Technik allein vermutlich wenig.
- 9:11Schwer zu kopieren wird es erst, wenn Orchestra Kundenverkehr und damit Arbeitsdaten
- 9:16besitzt, und wenn der Kunde seinen Verkehr nicht mehr umleiten will,
- 9:20weil das Gateway zuverlässig spart.
- 9:21Das ist eine Wette auf Vertrauen und Geschwindigkeit, nicht auf ein Geheimnis.
- 9:26Und es gibt die größere Gefahr, die Du vorhin angedeutet hast.
- 9:29Die ganze Marge kommt aus den Preisen anderer Leute.
- 9:32Orchestra verdient an der Lücke zwischen dem teuren und dem günstigen Modell.
- 9:35Senken OpenAI, Google oder Anthropic ihre Preise oder bringen sie selbst günstige
- 9:40Mini Modelle, wird die Lücke schmaler.
- 9:42Dann bleibt weniger zu teilen.
- 9:44Das Geschäft hängt an einer Entscheidung, die Orchestra nicht trifft.
- 9:47Also ein Zwei Personen Team gegen die Breite dieser Risiken.
- 9:51Das kann gutgehen, aber es ist keine sichere Sache.
- 9:54Heißt für mich: Was nehme ich mit, ohne Orchestra nachzubauen?
- 9:58Drei Dinge.
- 10:00Erstens: Suche Märkte, in denen Kunden sichtbar überzahlen.
- 10:04Nicht dort, wo etwas Neues erfunden wird, sondern dort, wo schon eine große Rechnung
- 10:08existiert und der Kunde weiß, dass sie wehtut.
- 10:10Das kann ein Zahlungsdienst sein, Werbebudget, Software Lizenzen,
- 10:14Energie.
- 10:15Zweitens: Koppel Deinen Preis an das Ergebnis.
- 10:18Wenn der Kunde nur zahlt, wenn er spart, brauchst Du fast keine Überzeugungsarbeit.
- 10:22Er kann es ohne Risiko probieren.
- 10:24Das gilt auch für kleine Anbieter: Überleg, ob Du einen Teil Deines Preises an ein
- 10:28messbares Ergebnis binden kannst.
- 10:30Drittens: Mach aus Routinedaten einen bleibenden Vorteil.
- 10:34Was Deine Kunden täglich tun, ist Material.
- 10:37Wer es beobachten, auswerten und in etwas Besseres verwandeln darf,
- 10:40baut mit jedem Tag mehr auf.
- 10:42Ich würde einen Punkt ergänzen, den ich aus dem Fall mitnehme.
- 10:45Wer so ein Modell baut, sollte die Rechnung vor dem ersten Kunden sauber
- 10:50durchrechnen.
- 10:51Was sind meine vollen Kosten, was passiert, wenn der Preis,
- 10:54an dem ich verdiene, fällt, und was lasse ich mir vom Kunden anvertrauen?
- 10:59Erst testen, ob die Ersparnis nach allen Kosten bleibt.
- 11:02Dann skalieren.
- 11:04Das ist die richtige Reihenfolge.
- 11:05Gesichert ist bei Orchestra die Mechanik und das Team.
- 11:08Offen bleibt, ob die Ersparnis im Alltag so groß ist, wie versprochen,
- 11:12und ob sie bleibt, wenn die Preise der Großen fallen.
- 11:15Das ist ein frühes Signal, aber noch kein Beweis.
- 11:18Und trotzdem zeigt es etwas Wertvolles: Gute Geschäfte liegen oft nicht im Hype
- 11:22selbst, sondern in der stillen Effizienz dahinter.
- 11:25Diese Lücke ist offen, auch für kleine Teams, weil KI das Beobachten,
- 11:29Testen und Trainieren so billig macht, dass zwei Leute tun können,
- 11:33wofür früher eine Abteilung nötig war.
- 11:35Wer sie nutzt, kann sich den Preis am Ergebnis messen lassen,
- 11:39und das ist eine ziemlich selbstbestimmte Art, Unternehmer zu sein.
- 11:42Das war der Business Case des Tages.
- 11:44IGNITION.
- 11:45Jeden Morgen.
- 11:47Ein echter Business Case.
- 11:48Eine echte Chance für Dich.