Benutzerhandbuch

Erste Schritte

Beim ersten Start sieht sich HotMoE deinen Computer an, empfiehlt ein Modell und lädt es herunter. Danach kannst du sofort loschatten.

Erster StartDownloadGPU-BeschleunigungModell ladenErste Unterhaltung

Installation

HotMoE ist eine Vorabversion: Das Installationsprogramm für Windows kommt mit der ersten öffentlichen Version, zusammen mit automatischen Updates. Die Engine für die Grafikkarte (Vulkan) ist bereits in der App enthalten.

Erster Start

Die Seite Willkommen: der geprüfte Computer, das Angebot der CUDA-Engine und das empfohlene Modell.
Die Seite Willkommen: der geprüfte Computer, das Angebot der CUDA-Engine und das empfohlene Modell.
  1. Dein Computer. Die App erkennt Arbeitsspeicher, Grafikkarte (mit ihrem Speicher) und Prozessor.
  2. NVIDIA-GPU-Beschleunigung. Wenn du eine NVIDIA-Karte hast, bietet sie dir die schnellere CUDA-Engine an. Du kannst das auch überspringen: Dann nutzt die App Vulkan, das mit jeder GPU funktioniert.
  3. Empfohlen für diesen PC. Das erste der Modelle, die für deinen Computer empfohlen werden (siehe Modelle), mit seiner Größe. Ein Klick auf Herunterladen und starten.
  4. Du hast schon Modelle? Die Modelle im Modellordner erscheinen unter Diese Modelle hast du schon, startklar. Ich habe schon eine GGUF-Datei… öffnet ein Modell, das woanders liegt; Alle Modelle anzeigen → öffnet den Tab Katalog der Seite Modelle.
Kein Konto

Du musst dich nicht registrieren. Die App sendet keine Nutzungsstatistiken: Die Seite zum Datenschutz listet die einzigen Verbindungen auf, die sie herstellt.

Modelle herunterladen

  • Der Download zeigt Fortschritt, Geschwindigkeit und Restzeit und lässt sich pausieren: Er geht dort weiter, wo er aufgehört hat.
  • Am Ende prüft die App die Integrität der Datei (Größe und der von Hugging Face veröffentlichte SHA-256-Fingerabdruck). Eine beschädigte Datei wird verworfen, und der Download kann wiederholt werden.
  • Zum Durchsuchen des Katalogs und zum Herunterladen brauchst du Internet, zum Chatten nicht.

GPU-Beschleunigung

EngineWann
VulkanIn der App enthalten. Funktioniert mit Grafikkarten von NVIDIA, AMD und Intel.
CUDAFür NVIDIA-Karten, meist schneller. Wird einmal heruntergeladen (etwa 471 MB), auf der Seite Willkommen oder in den Einstellungen. Braucht den NVIDIA-Treiber 580 oder neuer: Ist deiner älter, sagt dir die App das und nutzt bis dahin Vulkan.
Nur ProzessorOhne passende GPU läuft das Modell auf dem Prozessor: Das funktioniert, aber langsamer. Am besten eignet sich dann ein kleines Modell.

Sobald die CUDA-Engine installiert ist, nutzt die App sie statt Vulkan. Ist schon ein Modell geladen, bietet dir eine Schaltfläche an, es mit der neuen Engine neu zu laden.

Das Modell laden

Sobald du ein Modell auswählst, lädt die App es in den Speicher: bei kleinen Modellen ein paar Sekunden, bei großen beim ersten Mal ein paar Minuten. Während des Ladens pulsiert das Logo in der Mitte des Chats, und das Feld Modell unten links zeigt Wird geladen…. Wenn du die App wieder öffnest, lädt sie das zuletzt verwendete Modell von selbst.

Startet das Modell nicht, zeigt der Chat den Fehler mit den Technischen Details und eine Schaltfläche, um ein anderes zu wählen.

Erste Unterhaltung

Der leere Chat, startbereit. Unten das Nachrichtenfeld mit der Zeile der Rollen.
Der leere Chat, startbereit. Unten das Nachrichtenfeld mit der Zeile der Rollen.
  • Schreib in das Feld unten und drück Eingabe. Für eine neue Zeile: Umschalt+Eingabe.
  • Während das Modell antwortet, wird die Senden-Schaltfläche zu Stoppen.
  • Neuer Chat oben öffnet einen leeren Chat; das Uhr-Symbol öffnet den Verlauf.

Damit der Chat mit deinen Dokumenten oder E-Mails arbeiten kann, öffne oben Zugriff: siehe die Seite zum Chat.

HotMoE ist ein Projekt von Virsion. Dieses Handbuch beschreibt die App so, wie sie heute ist: Was noch kommt, ist als solches gekennzeichnet.