Open Source LLMs lokal nutzen

Eine kurze Anleitung für Entwickler.

Das Jahr 2024 wird auch das Jahr der Open Source KI-Modelle sein. Das jedenfalls lassen die Entwicklungen des letzten Jahres hoffen.

In diesem kurzen Video zeige ich, wie Sie in 15-20 Minuten Ihre eigenen Experimente in on-premise Umgebungen mit Open Source LLMs (LLama2, Mistral etc.) starten können. Dieses Video richtet sich eher an die Techniker/Entwickler unter Ihnen.

Befolgen Sie einfach diese drei Schritte:

1. Installieren Sie LM Studio

Die Open Source Anwendungen finden Sie hier: https://lmstudio.ai/

2. Laden Sie LLMs runter

Suchen Sie für den Anfang nach LLama2 oder Mistral und wählen Sie eins der verfügbaren Releases zum Download aus.

3. Starten Sie einen Chat oder den Server

Sie können die KI-Modelle wie ChatGPT nutzen und einfach in einen Dialog treten. Oder als Entwickler starten Sie den Server und greifen per REST API auf das KI-Modell zu. Das geht nach dem gleichen Prinzip wie bei der OpenAI API.

Ich wünsche Ihnen viel Erfolg beim Experimentieren.

Prompt Well and Prosper!

Ihr

Martin Blaha

P.S. Wie sieht Ihre KI-Strategie für 2024 aus? Falls Sie Unterstützung bei der Erarbeitung brauchen oder andere Fragen zur KI im Business haben, kontaktieren Sie mich am einfachsten über https://mblaha.com/kontakt.