`llm`

Dneska jsem vyzkoušel nástroj do příkazové řádky, nazvaný jednoduše llm. Jednou z výhod je, že dokáže volat i lokální modely běžící přes Ollamu.

A CLI utility and Python library for interacting with Large Language Models, both via remote APIs and models that can be installed and run on your own machine.

llm "Tell me a joke about LLMs."

Nainstaloval jsem přes uv (možno použít i pip):

uv tool install llm

Mám OpenAI API Key, tak jsem ho hned využil:

llm keys set openai

Vypsat dostupné modely lze následovně:

llm models
llm models default # (1)!

Vypíše defaultní model (gpt-4o-mini).

Interaktivní chat:

llm chat

Skvělé je, že pomocí pluginů lze připojit řadu dalších modelů, včetně již zmíněné Ollamy (tu je potřeba mít nainstalovanou, spouštěnou a mít stažený příslušný model):

llm install llm-ollama
llm "Tell me a joke about LLMs." -m llama3.2