Microsoft și Nvidia doresc să ajute dezvoltatorii să ruleze și să configureze modele AI pe computerele lor Windows. În timpul evenimentului Microsoft Ignite de miercuri, Microsoft a anunțat Windows AI Studio: un nou hub unde dezvoltatorii pot accesa modele AI și le pot modifica pentru a se potrivi nevoilor lor.
Windows AI Studio permite dezvoltatorilor să acceseze instrumente și modele de dezvoltare din Azure AI Studio existent și alte servicii precum Hugging Face. De asemenea, oferă o „configurare a spațiului de lucru ghidat” de la capăt la capăt, cu interfață de utilizare pentru configurarea modelului și explicații pentru a regla diverse modele de limbaj mic (SLM), cum ar fi Phi de la Microsoft, Llama 2 de la Meta și Mistral.
Windows AI Studio le permite dezvoltatorilor să testeze performanța modelelor lor folosind, de asemenea, șabloane Prompt Flow și Gradio. Microsoft spune că va lansa Windows AI Studio ca extensie Visual Studio Code în „săptămânile următoare”.
Nvidia, în mod similar, a dezvăluit actualizări pentru TensorRT-LLM, pe care compania le-a lansat inițial pentru Windows ca o modalitate de a rula mai eficient modele de limbaj mari (LLM) pe GPU-urile H100. Cu toate acestea, această ultimă actualizare aduce TensorRT-LLM pe computerele alimentate cu GPU-uri GeForce RTX din seria 30 și 40 cu 8 GB de RAM sau mai mult.
În plus, Nvidia își va face în curând TensorRT-LLM compatibil cu API-ul Chat OpenAI printr-un nou wrapper. Acest lucru va permite dezvoltatorilor să ruleze LLM-uri local pe computerele lor, ceea ce este ideal pentru cei care sunt preocupați de stocarea datelor private în cloud. Nvidia spune că următoarea sa lansare TensorRT-LLM 6.0 va adăuga o inferență de până la cinci ori mai rapidă, precum și suport pentru noile modele Mistral 7B și Nemotron-3 8B.
Toate acestea fac parte din obiectivul Microsoft de a crea un model de dezvoltare „buclă hibridă”, care ar trebui să permită dezvoltarea AI în cloud și local pe dispozitive. Cu acest concept, dezvoltatorii nu trebuie să se bazeze doar pe propriile sisteme pentru a alimenta dezvoltarea AI, deoarece pot accesa serverele cloud ale Microsoft pentru a elimina greutatea de pe dispozitivele lor.