Ihre eigene Instanz, betriebsfertig aufgesetzt. Unter Ihrer Domain, mit Ihrer Marke, auf Ihrer Hardware.
Sie haben einen DGX Spark, einen internen Server, einen VPS und eine Domain. Wir bringen Ihnen SmartLLM als Ganzes darauf: das Portal, den Gateway mit Alias-System und Priority-Lanes, die nächtliche Bench-Messung, die Rechnungslegung. Sie bekommen einen fertigen OpenAI-kompatiblen Inferenzdienst, den Sie an Ihre Kunden weitergeben können oder intern nutzen. Wir machen den Aufbau, Sie behalten die Kontrolle.
Wenn Sie SmartLLM heute schon nutzen und irgendwann auf Ihre eigene Hardware wechseln möchten, ist das der Weg dorthin, ohne Neuentwicklung.
Der komplette Stack, so wie Sie ihn hier auf smartllm.at sehen.
Registrierung, Login, API-Key-Verwaltung, Verbrauchsübersicht, Playground. Ihre Kunden bedienen sich selbst, Sie sehen im Admin alles.
OpenAI-kompatibler Endpoint mit Alias-Auflösung, Priority-Lanes, Rate-Limiting, Tool-Injection, Retention. Mehrere Backends (vLLM, Ollama) hinter einer URL.
Ihre Kunden rufen frontier, mid, fast auf. Sie entscheiden im Admin welches Modell dahinter steckt und können es jederzeit tauschen, ohne dass Client-Code sich ändert.
Nächtliche Messung von Durchsatz und TTFT pro Modell mit Standard-Prompt. Ehrliche Zahlen für Ihre eigene Landingpage, statt Marketing-Peak-Rates.
Token-Verrechnung pro Key, Rate-Limits pro Kunde, Rechnungslauf, PDF-Rechnungen mit Ihrer UID und Ihrem Layout. Sie können Kunden anders bepreisen oder Kontingente vergeben.
Name, Farben, Texte, Impressum: alles Ihr. Die technische Basis bleibt SmartLLM, das Kundenerlebnis trägt Ihre Marke.
Drei Zutaten, den Rest bauen wir auf.
Ein Gerät auf dem vLLM oder Ollama läuft. NVIDIA DGX Spark, RTX-Workstation, Grace-Blackwell, oder klassische GPU-Server. Wir integrieren was da ist, Sie brauchen kein Referenz-Setup.
Ein kleiner Linux-Server im selben Netz wie die Inferenz-Hardware, auf dem der Gateway läuft. Reicht als VM oder Container. Handshake zur Inferenz-Hardware läuft über HTTP im LAN.
Ein öffentlicher kleiner VPS (2 CPU, 4 GB RAM reichen) und eine Domain unter Ihrer Kontrolle. Das ist die Kundenseite. TLS übernehmen wir automatisch.
vLLM und Ollama installieren Sie selbst auf der Inferenz-Hardware (bzw. wir helfen bei Bedarf). Der Rest kommt von uns.
Von der Erstberatung bis zum ersten Kunden-Request.
Die Daten. Alle Requests laufen auf Ihrer Hardware, in Ihrem Rechenzentrum oder an dem Ort Ihrer Wahl. Wir sehen im Betrieb nichts davon. Keine Telemetrie, kein Phone-Home, kein zentraler Kontroll-Kanal. Wenn Sie die Verbindung zu uns kappen, läuft alles weiter.
Die Marke. Ihre Kunden sehen Ihre Domain, Ihre Farben, Ihren Text, Ihre Rechnung. SmartLLM taucht als technische Basis in der Dokumentation auf, wo Sie es wollen, aber nicht in der Kundenkommunikation.
Die Wirtschaftlichkeit. Sie legen die Preise fest, entscheiden was ein Testkonto wert ist, ob Sie pro Kunde limitieren oder pauschal abrechnen. Sie sehen was rein- und rausgeht.
Die Wahl der Modelle. Der Alias-Katalog gehört Ihnen. Wenn Sie morgen ein besseres Open-Weights-Modell finden, tauschen Sie den Alias-Zielwert im Portal, Ihre Kunden merken es nur an der besseren Antwort.
Den Stack. Den Sie hier auf smartllm.at im Live-Betrieb sehen. Dasselbe Portal, derselbe Gateway, derselbe Bench, dasselbe Rechnungswesen. Nicht mehr, nicht weniger.
Die Erfahrung, das Ding in Produktion sauber laufen zu lassen. Wir betreiben es seit dem ersten Tag selbst, alle Ecken die weh tun kennen wir schon. Cold-Load- Overhead, Ollama-Memory-Thrashing, DNS-TXT-Consent, Alias-Migrationen: das haben wir gelernt und teilen es.
Einen Ansprechpartner. Kein Support-Portal, kein Ticketsystem. Direkter Kontakt für die Einrichtung, für Fragen im Betrieb, für Weiterentwicklung. Bis runter zur Hardware, wenn nötig.