0815-Info.news

Cool! Ein KI Chatbot für den lokalen Gebrauch!
In der dortigen Readme-Sektion die Datei Llava-v1.5-7b-q4.llamafile (4,29GB) downloaden,
im Terminal in das entsprechende Verzeichnis wechseln und das File mittels
chmod +x llava-v1.5-7b-q4.llamafile ausführbar machen.
Danach mit ./ llava-v1.5-7b-q4.llamafile starten, worauf sich der Standard-Browser öffnet.
Einer gepflegten Unterhaltung, verständliche Fragen vorausgesetzt, steht nichts mehr im Wege.
Der BOT antwortet, auch auf Fragen in deutscher Sprache, auf Englisch.

Das Ganze läuft selbst auf einem Raspi 4 absolut flüssig. Windows-User wiederum machen ein langes Gesicht, weil Dateien größer 4GB und so… 

Ihr könnt natürlich auch die anderen Sprachmodule (bis 30GB!) ausprobieren.
Der Chatbot verarbeitet auch Grafiken, aber dafür sollte der Rechner mit einer Grafikleistung im hohen Bereich ausgestattet sein.

Schluss mit chatten: Terminal/Control-c

https://www.0815-info.news/images/llama.png