Latest / KI Espresso / Lokale KI im Unternehmen: Wann lohnt sich RTX Spark?

Transcript

Lokale KI im Unternehmen: Wann lohnt sich RTX Spark? · KI Espresso

• 0:00
  SPEAKER_00: Am 13.
• 0:00
  SPEAKER_00: Oktober hat Nvidia neue Software für RTX Spark vorgestellt.
• 0:04
  SPEAKER_00: Die Notebooks sollen den Einstieg in lokale KI erleichtern.
• 0:08
  SPEAKER_00: Eine passende Modellkonfiguration soll sich mit wenigen Klicks einrichten lassen.
• 0:12
  SPEAKER_00: Für kleine Unternehmen mit vertraulichen Dokumenten ist das interessant.
• 0:16
  SPEAKER_00: Aber wann lohnt sich ein eigener KI-Rechner gegenüber einem geprüften Cloud-Dienst?
• 0:21
  SPEAKER_01: Das würde ich vor einem Kauf wissen wollen.
• 0:23
  SPEAKER_01: Welche Arbeit kann unser Team damit erledigen?
• 0:25
  SPEAKER_01: Wer hält das System am Laufen?
• 0:27
  SPEAKER_01: Und bleiben unsere Daten dabei tatsächlich im Betrieb?
• 0:31
  SPEAKER_00: Genau diese Fragen gehen wir durch.
• 0:33
  SPEAKER_00: Ich bin Marc.
• 0:34
  SPEAKER_01: Und ich bin Irene.
• 0:35
  SPEAKER_01: Willkommen bei KI Espresso.
• 0:37
  SPEAKER_01: Was ist an diesem Start schon verfügbar?
• 0:39
  SPEAKER_01: Und was steht noch auf der Ankündigungsliste?
• 0:42
  SPEAKER_00: Nvidia hatte den Start der RTX Swag Notebooks für den 16.
• 0:46
  SPEAKER_00: Oktober angekündigt.
• 0:47
  SPEAKER_00: Die kompakten Desktop-Rechner sollen im November folgen.
• 0:50
  SPEAKER_00: Wir sprechen heute über diese Geräte und ihre Software.
• 0:53
  SPEAKER_00: Welche Konfiguration ein Händler tatsächlich liefern kann, haben wir nicht geprüft.
• 0:57
  SPEAKER_00: Lokale Modelle gab es vorher schon.
• 0:59
  SPEAKER_00: Neu ist hier das angekündigte Paket aus Hardware und einem einfacheren Einstieg.
• 1:04
  SPEAKER_01: Dann nehmen wir ein kleines Unternehmen, das seine Arbeit kennt, aber keine eigene Abteilung für KI-Infrastruktur hat.
• 1:12
  SPEAKER_01: Ich möchte an konkreten Aufgaben sehen, was es vorbereiten müsste.
• 1:16
  SPEAKER_00: Stellen wir uns einen Einkauf vor, der vertrauliche Angebote vergleichen muss.
• 1:20
  SPEAKER_00: Das ist ein gedachtes Beispiel, kein von uns untersuchter Betrieb.
• 1:24
  SPEAKER_00: Die zuständige Person gibt die Kriterien vor.
• 1:27
  SPEAKER_00: Welche Leistungen sind enthalten, welche Fristen gelten?
• 1:30
  SPEAKER_00: Wo stehen Ausnahmen?
• 1:32
  SPEAKER_00: Ein lokales Modell könnte daraus eine Vergleichstabelle vorbereiten, mit Verweisen auf die jeweiligen Textstellen.
• 1:39
  SPEAKER_01: Das wäre nützlich, wenn ich anschließend weniger suchen muss.
• 1:42
  SPEAKER_01: Aber ein Angebot kann einen günstigen Preis nennen und die teure Zusatzleistung irgendwo im Anhang verstecken.
• 1:48
  SPEAKER_01: Findet die KI das zuverlässig?
• 1:50
  SPEAKER_00: Das müssen wir testen.
• 1:51
  SPEAKER_00: LM Studio dokumentiert die Verarbeitung von PDF, Word- und Textdateien.
• 1:56
  SPEAKER_00: Bei langen Dokumenten kann die Anwendung passende Ausschnitte suchen, statt alles auf einmal ins Modell zu geben.
• 2:02
  SPEAKER_00: Wenn eine wichtige Klausel im gefundenen Ausschnitt fehlt, kann der Vergleich lückenhaft werden.
• 2:07
  SPEAKER_00: Und bei einem eingescannten Angebot muss erst die Texterkennung funktionieren.
• 2:11
  SPEAKER_00: Ein Dateiformat auf der Liste garantiert das noch nicht.
• 2:14
  SPEAKER_01: Ich müsste also auch kontrollieren, was aus der Datei überhaupt als Text angekommen ist.
• 2:18
  SPEAKER_01: Ein Verweis neben einer Antwort hilft mir bei der Prüfung dieser Antwort.
• 2:22
  SPEAKER_01: Er zeigt mir aber nicht, welche Bedingung übersehen wurde.
• 2:25
  SPEAKER_00: Richtig.
• 2:26
  SPEAKER_00: Laut LM Studio können die grundlegende Dokumentenverarbeitung und der Chat nach dem Herunterladen der Modelle lokal, ohne Internet arbeiten.
• 2:34
  SPEAKER_00: Für unseren Versuch würden wir einen freigegebenen Dokumentensatz nehmen und die wichtigen Bedingungen vorher von Hand festhalten.
• 2:40
  SPEAKER_00: Dann vergleichen wir den Entwurf mit dieser Liste und mit dem bisherigen Vorgehen.
• 2:45
  SPEAKER_00: Die Einkäuferin prüft weiterhin Währungen, Steuern und Ausnahmen, bevor sie sich entscheidet.
• 2:50
  SPEAKER_01: Und wir zählen Ihre Prüfzeit mit.
• 2:52
  SPEAKER_01: Wenn die Tabelle schnell erscheint, ich danach aber jedes Feld neu recherchieren muss, ist der Nutzen noch offen.
• 2:58
  SPEAKER_01: Bei seltenen, ohnehin öffentlichen Angeboten würde ich auch einen erlaubten Cloud-Dienst in diesem Vergleich aufnehmen.
• 3:04
  SPEAKER_00: Eine zweite mögliche Aufgabe ist ein internes Besprechungsprotokoll.
• 3:09
  SPEAKER_00: Auch das ist ein geplanter Ablauf.
• 3:11
  SPEAKER_00: Die Aufnahme muss für diesen Zweck verwendet werden dürfen.
• 3:15
  SPEAKER_00: Zuerst erkennt ein lokales Programm die Sprache.
• 3:18
  SPEAKER_00: Danach erstellt ein Sprachmodell einen Entwurf der Entscheidungen und Aufgaben.
• 3:22
  SPEAKER_00: Das Projekt whisper.cpp dokumentiert solche Offline-Spracherkennung, auch mit Ausführung auf dem Hauptprozessor oder mit Nvidia-Unterstützung.
• 3:32
  SPEAKER_01: Da sehe ich einen ziemlich konkreten Fehler.
• 3:34
  SPEAKER_01: In der Aufnahme heißt es, wir geben das Angebot noch nicht frei.
• 3:39
  SPEAKER_01: Im erkannten Text fehlt das Wort nicht.
• 3:41
  SPEAKER_01: Dann schreibt das Modell eine Freigabe ins Protokoll.
• 3:44
  SPEAKER_00: Und die lokale Verarbeitung würde diesen Fehler nicht verhindern.
• 3:48
  SPEAKER_00: Deshalb braucht der Entwurf Verweise zur Aufnahme.
• 3:51
  SPEAKER_00: Jemand hört die entscheidenden Stellen nach und prüft Namen, Zahlen und Zuständigkeiten.
• 3:55
  SPEAKER_00: Erst das freigegebene Protokoll geht weiter.
• 3:58
  SPEAKER_00: Der Versand per Mail ist ein eigener Schritt mit einem eigenen Datenweg.
• 4:02
  SPEAKER_01: Brauche ich für diese Aufgabe schon den größten neuen Rechner oder kann ich mit einem vorhandenen Gerät anfangen?
• 4:08
  SPEAKER_00: Ein vorhandener Rechner kann für einen Versuch in Frage kommen.
• 4:11
  SPEAKER_00: Im Projekt werden für das kleinste Whisper-Modell ungefähr 273 MB Speicher genannt.
• 4:18
  SPEAKER_00: Für das große rund 3,9 GB.
• 4:21
  SPEAKER_00: Das sind Angaben zur Spracherkennung, nicht zum gesamten Ablauf mit Sprachmodell.
• 4:26
  SPEAKER_00: Welche Variante unsere Sprache- und Aufnahmequalität ausreichend gut verarbeitet, müssen wir prüfen.
• 4:31
  SPEAKER_00: Wir haben das auf RTX-Spar nicht gemessen.
• 4:35
  SPEAKER_01: Der erste Versuch könnte also mit einer freigegebenen Aufnahme und einem vorhandenen Gerät beginnen.
• 4:41
  SPEAKER_01: Wir vergleichen das fertige, korrigierte Protokoll mit einer manuell geprüften Fassung.
• 4:46
  SPEAKER_01: Dann wissen wir auch, wie viel Arbeit die Nachkontrolle verlangt, bevor wir neue Hardware bestellen.
• 4:50
  SPEAKER_00: Beim dritten Beispiel geht es um ein kleines Entwicklerteam und seinen internen Code.
• 4:55
  SPEAKER_00: Microsoft kündigt lokale Modelle in GitHub-Copilot für die Arbeit mit Code und Agenten an.
• 5:00
  SPEAKER_00: Für unseren gedachten Versuch lassen wir zunächst ausgewählte Dateien erklären.
• 5:04
  SPEAKER_00: Danach darf die KI eine Änderung in einem getrennten Entwicklungszweig vorschlagen.
• 5:09
  SPEAKER_00: Geheimnisse wie Zugangsschlüssel gehören nicht in diesen Testbestand.
• 5:12
  SPEAKER_01: Wenn das Modell auf dem Notebook läuft, könnte ich trotzdem beim Testen wieder in der Cloud landen.
• 5:18
  SPEAKER_01: Etwa weil unsere automatische Testumgebung dort läuft.
• 5:21
  SPEAKER_00: Ja, dazu kommen Erweiterungen und Werkzeuge.
• 5:24
  SPEAKER_00: LM Studio warnt in seiner Dokumentation ausdrücklich, dass angebundene MCP-Werkzeuge Code ausführen, lokale Dateien lesen und auf das Netzwerk zugreifen können.
• 5:33
  SPEAKER_00: MCP ist hier die Schnittstelle, über die eine KI solche Werkzeuge aufruft.
• 5:37
  SPEAKER_00: Welche Rechte sie haben, hängt von der jeweiligen Einrichtung ab.
• 5:40
  SPEAKER_01: Dann beginne ich mit Leserechten für die ausgewählten Dateien.
• 5:43
  SPEAKER_01: Für eine Änderung schaue ich mir an, was genau geändert wurde.
• 5:46
  SPEAKER_01: Und eine erfolgreiche Testausführung ist noch keine Erlaubnis, das Ergebnis automatisch in den laufenden Betrieb zu übernehmen.
• 5:53
  SPEAKER_00: So wäre der Versuch begrenzt.
• 5:55
  SPEAKER_00: Nvidia verspricht außerdem einen leichteren Einstieg über empfohlene Modelle und Einstellungen.
• 6:00
  SPEAKER_00: Bei Hermes waren detaillierte Open Shell-Kontrollen und die MXC-Integration im Ankündigungstext für Ende Oktober vorgesehen.
• 6:08
  SPEAKER_00: Wir können diese angekündigten Schutzfunktionen nicht schon für jede heutige Installation voraussetzen.
• 6:14
  SPEAKER_00: Ein Team muss prüfen, was tatsächlich eingerichtet ist und welche Befehle ein Agent ausführen darf.
• 6:19
  SPEAKER_01: Als Ergebnis würde ich eine angenommene geprüfte Code-Änderung betrachten.
• 6:24
  SPEAKER_01: Die Zeit für Fehlersuche und menschliche Prüfung gehört dazu.
• 6:27
  SPEAKER_01: Viele erzeugte Zahlen allein würden mir über den Nutzen wenig sagen.
• 6:30
  SPEAKER_00: Diese Beispiele stellen unterschiedliche Anforderungen an den Rechner.
• 6:34
  SPEAKER_00: Nvidia nennt für Nemotron 3.5 Bolt einen Modellumfang von 74 Milliarden Parametern, davon 9 Milliarden aktiv.
• 6:42
  SPEAKER_00: Die angekündigte stark komprimierte Fassung soll 24 GB belegen.
• 6:46
  SPEAKER_00: Solche Zahlen beschreiben eine bestimmte Modellfassung.
• 6:49
  SPEAKER_00: Sie sagen noch nicht, wie viel Speicher unsere ganze Anwendung braucht.
• 6:53
  SPEAKER_01: Was kommt hinzu?
• 6:54
  SPEAKER_01: Wenn auf dem Gerät 128 GB stehen, klingt das erst einmal nach viel Platz für dieses Modell.
• 6:59
  SPEAKER_00: Microsoft erklärt in der Fußnote, dass diese 128 GB gemeinsam von Haupt- und Grafikprozessor genutzt werden.
• 7:06
  SPEAKER_00: Der für den Grafikprozessor nutzbare Anteil ist kleiner und hängt von der Konfiguration und der Aufgabe ab.
• 7:11
  SPEAKER_00: Außerdem braucht die Verarbeitung des Gesprächsverlaufsspeicher.
• 7:14
  SPEAKER_00: Olama weist darauf hin, dass parallele Anfragen den gesamten Kontext und den Speicherbedarf erhöhen.
• 7:20
  SPEAKER_01: Ein kurzer Chat mit einer Person wäre also kein ausreichender Test für mehrere Beschäftigte mit langen Dokumenten.
• 7:26
  SPEAKER_01: Wir müssten die tatsächliche Arbeit nachstellen, einschließlich gleichzeitige Anfragen.
• 7:31
  SPEAKER_00: Ja.
• 7:32
  SPEAKER_00: Auch eine theoretische Rechenleistungszahl sagt uns noch nicht, wie schnell der geprüfte Arbeitsablauf fertig wird.
• 7:38
  SPEAKER_00: Vor einer Bestellung würde ich zusätzlich die konkrete Softwarekette prüfen: Betriebssystem und Prozessorarchitektur, Treiber, die Ausführungssoftware für das Modell und benötigte Erweiterungen.
• 7:50
  SPEAKER_00: Dazu gehören die passenden Nutzungsrechte.
• 7:52
  SPEAKER_00: Dass eine Anwendung grundsätzlich lokale KI unterstützt, bestätigt noch nicht genau diese Kombination.
• 7:59
  SPEAKER_00: Unsere drei Abläufe wurden auf RTX Spark nicht installiert.
• 8:03
  SPEAKER_01: Dann brauche ich für die Kaufentscheidung einen Versuch mit der vorgesehenen Konfiguration oder belastbare Ergebnisse genau dafür.
• 8:10
  SPEAKER_01: Wenn die passende Software noch fehlt, hilft mir ein großer Speicher allein nicht weiter.
• 8:14
  SPEAKER_00: Bei lokaler KI läuft die Berechnung auf dem eigenen Gerät.
• 8:18
  SPEAKER_00: Ob die Daten dort bleiben, hängt aber vom gesamten Arbeitsablauf ab.
• 8:22
  SPEAKER_00: LM Studio unterscheidet das in seiner Dokumentation.
• 8:25
  SPEAKER_00: Der Chat mit bereits heruntergeladenen Modellen kann offline laufen.
• 8:29
  SPEAKER_00: Die Suche nach Modellen, neue Downloads und die Prüfung auf Updates brauchen Netzverbindungen.
• 8:34
  SPEAKER_01: Eine Verbindung für ein Update ist noch kein Beleg, dass unsere Dokumente hochgeladen werden.
• 8:39
  SPEAKER_01: Aber aus dem Wort lokal kann ich auch nicht ableiten, dass überhaupt keine Verbindung entsteht.
• 8:44
  SPEAKER_01: Was müsste die verantwortliche Person konkret prüfen?
• 8:47
  SPEAKER_00: Sie zeichnet den Weg vom Eingang bis zum Ergebnis auf.
• 8:50
  SPEAKER_00: Wo liegt die Datei?
• 8:52
  SPEAKER_00: Wo wird Text daraus gelesen?
• 8:53
  SPEAKER_00: Wo wird nach passenden Stellen gesucht und welches Modell bekommt sie?
• 8:57
  SPEAKER_00: Danach kommen die angeschlossenen Werkzeuge und der Versand.
• 9:00
  SPEAKER_00: Zusätzlich prüft sie Protokolle, Sicherungskopien und mögliche Telemetrie.
• 9:05
  SPEAKER_00: Was solche Diagnosefunktionen tatsächlich übertragen, haben wir hier nicht untersucht.
• 9:09
  SPEAKER_00: Ein Modellrouter verdient besondere Aufmerksamkeit.
• 9:12
  SPEAKER_00: Er kann Anfragen zwischen lokalem Modell und Cloud verteilen.
• 9:16
  SPEAKER_01: Dann braucht unser Unternehmen eine klare Regel dafür.
• 9:19
  SPEAKER_01: Wenn vertraulicher Code nur lokal verarbeitet werden darf, darf ein schwieriger Auftrag nicht unbemerkt an ein Cloud-Modell weitergereicht werden.
• 9:26
  SPEAKER_01: Die bequeme automatische Auswahl könnte sonst genau unsere Grenze überschreiten.
• 9:30
  SPEAKER_00: Nvidia beschreibt diese Verteilung im Softwarepaket.
• 9:34
  SPEAKER_00: Die entsprechende Switch-Yard-Integration in Hermes war noch für später im Oktober angekündigt.
• 9:39
  SPEAKER_00: Bei Ulama lassen sich Cloud-Modelle und Websuche ausdrücklich deaktivieren.
• 9:44
  SPEAKER_00: Nach der Änderung ist ein Neustart erforderlich.
• 9:46
  SPEAKER_00: Und wenn aus einem Dienst auf dem eigenen Rechner ein Dienst fürs ganze Team wird, müssen Zugriff und Anmeldungen geprüft werden.
• 9:52
  SPEAKER_00: Ulama ist standardmäßig nur auf dem eigenen Rechner erreichbar.
• 9:56
  SPEAKER_00: Diese Einstellung lässt sich ändern.
• 9:58
  SPEAKER_01: Für den Einkauf würde ich außerdem fragen, wer welche Angebote sehen darf und wann Kopien gelöscht werden.
• 10:04
  SPEAKER_01: Für das Protokoll gilt dasselbe für die Aufnahme.
• 10:07
  SPEAKER_01: Der lokale Betrieb gibt uns Gestaltungsmöglichkeiten.
• 10:10
  SPEAKER_01: Jemand muss diese Einstellungen aber festlegen, kontrollieren und bei Änderungen erhalten.
• 10:15
  SPEAKER_00: Dafür braucht es eine verantwortliche Person, auch wenn die erste Installation einfacher wird.
• 10:20
  SPEAKER_00: Zu ihren Aufgaben gehören Updates, die Prüfung nach Änderungen und Hilfe bei Ausfällen.
• 10:26
  SPEAKER_00: Bei den Kosten kommen diese Arbeitszeit, Strom und mögliche Softwarekosten zum Gerät hinzu.
• 10:32
  SPEAKER_00: Microsoft nennt für den Surface Laptop Ultra einen angekündigten Einstiegspreis von 2599 US-Dollar.
• 10:40
  SPEAKER_00: Das ist weder der Preis der größten Speichervariante noch ein Schweizer Angebot mit Steuern.
• 10:45
  SPEAKER_01: Ohne unseren Arbeitsumfang und die laufenden Kosten kann ich daraus keine Ersparnis ableiten.
• 10:50
  SPEAKER_01: Wie sieht denn die faire Cloud-Alternative aus?
• 10:53
  SPEAKER_01: Ein privates Chatkonto wäre für unsere vertraulichen Angebote kein sinnvoller Vergleichsmaßstab.
• 10:58
  SPEAKER_00: Wir müssten einen passenden Unternehmensdienst prüfen.
• 11:01
  SPEAKER_00: Azure beschreibt beispielsweise, dass Eingaben und Antworten ohne entsprechende Erlaubnis nicht zum Training der grundlegenden Modelle verwendet werden.
• 11:09
  SPEAKER_00: Das ist die veröffentlichte Dienstpolitik.
• 11:11
  SPEAKER_00: Sie bedeutet nicht, dass der Dienst nichts speichert.
• 11:14
  SPEAKER_00: Bestimmte Funktionen halten Daten vor und bei möglichen Verstößen kann eine zusätzliche Prüfung einschließlich menschlicher Prüfer vorgesehen sein.
• 11:22
  SPEAKER_00: Auch der Ort der Verarbeitung hängt von der gewählten Bereitstellung ab.
• 11:25
  SPEAKER_00: Eine europäische Datenzone ist keine Zusage, dass alles in der Schweiz verarbeitet wird.
• 11:30
  SPEAKER_01: Also vergleiche ich die Bedingungen eines konkreten Dienstes mit einem konkreten eigenen Aufbau.
• 11:35
  SPEAKER_01: Bei einer seltenen Aufgabe kann das erlaubte Cloud-Angebot vernünftiger sein.
• 11:39
  SPEAKER_01: Besonders wenn niemand im Team das lokale System betreuen kann.
• 11:42
  SPEAKER_01: Gibt es auch eine brauchbare Aufteilung?
• 11:46
  SPEAKER_00: Ein möglicher Hybrid wäre, vertrauliche Ausgangsdokumente werden lokal ausgewertet.
• 11:51
  SPEAKER_00: Nur eine ausdrücklich freigegebene Aufgabe mit dafür geeigneten Daten geht an ein Cloud-Modell.
• 11:56
  SPEAKER_00: Dafür müssen wir festlegen, was hinausgehen darf und den tatsächlichen Übergang prüfen.
• 12:01
  SPEAKER_00: Ob sich diese Aufteilung lohnt, entscheidet wieder der gesamte Ablauf.
• 12:05
  SPEAKER_00: Zusätzliche Übergaben können Arbeit verursachen.
• 12:07
  SPEAKER_01: Dann mache ich die praktische Probe.
• 12:09
  SPEAKER_01: Wir nehmen den Angebotsvergleich als erste Aufgabe, weil er bei uns regelmäßig anfällt.
• 12:14
  SPEAKER_01: Das ist weiterhin unser gedachtes Unternehmen.
• 12:16
  SPEAKER_01: Wir legen vor dem Test fest, welche Bedingungen gefunden werden müssen und wer das Ergebnis prüft.
• 12:21
  SPEAKER_01: Dazu bestimmen wir, welche Daten den Betrieb verlassen dürfen und wer die Software betreut.
• 12:26
  SPEAKER_01: Was vergleichen wir am Ende?
• 12:28
  SPEAKER_00: Die Zeit bis zum geprüften Ergebnis, die übersehenen wesentlichen Punkte und den laufenden Aufwand.
• 12:34
  SPEAKER_00: Wir testen den bisherigen Weg, einen zulässigen Cloud-Weg und, soweit die passende Software verfügbar ist, die lokale Variante.
• 12:43
  SPEAKER_00: Lokaler Betrieb kommt besonders dann in Frage, wenn eine wiederkehrende Aufgabe mit sensiblen Daten dort gut funktioniert und jemand die Verantwortung übernehmen kann.
• 12:52
  SPEAKER_00: Reichen Qualität oder Betreuung nicht aus, prüfen wir Cloud oder Hybrid unter den geltenden Datenregeln.
• 12:59
  SPEAKER_00: Heute haben wir dafür einen Prüfplan, keine gemessene Rendite.
• 13:02
  SPEAKER_01: Welche wiederkehrende Aufgabe würdet ihr zuerst ausprobieren?
• 13:06
  SPEAKER_01: Und woran würdet ihr erkennen, dass das geprüfte Ergebnis den Aufwand wert ist?
• 13:10
  SPEAKER_01: Schreibt es uns in die Kommentare.
• 13:12
  SPEAKER_01: Das war KIESPO mit Marc und Irene.