„Microsoft“ „VisualGPT“ išleidžia naują technologiją VisualGPT “, tai yra AI pažanga ir atveria galimybes patrauklesniems ir interaktyvesniems dirbtinio intelekto potyriams mažinant atotrūkį tarp vaizdo ir kalbos.
Kas yra VisualGPT?
VisualGPT yra išplėstinė ChatGPT versija, pagrįsta NLP (natūralios kalbos apdorojimo) modeliais, tačiau VisualGPT naudojama VFMS, kuri gali konvertuoti teksto užklausas į vaizdo formą. Jis yra toks, kad tai yra teksto ir vaizdo užklausų derinys / integravimas.
VisualGPT paskirtis
Po ChatGPT išleidimo į rinką, kuri dirbo tik su tekstiniu formatu, norint pasiekti kitą pažangos lygį, yra puikus įrankis, kuris veiks nuo tekstinio iki grafinio formato, atsižvelgiant į visas šias priežastis ir lenktynėse dėl AI pažanga „Microsoft“ išleidžia „VisualGPT“ pagrindinis „VisualGPT“ tikslas yra sukurti AI vaizdus pagal vartotojo pageidavimą arba analizuoti vaizdą
VisualGPT architektūra
„VisualGPT“ apima vartotojo užklausą, raginimo tvarkyklę, vaizdo pagrindo modelius (VFM), sistemos principą, dialogo istoriją, samprotavimo istoriją ir tarpinį atsakymą.
Jei mes kalbame konkrečiai apie jo modelį, t. y. VFM (vizualinio pagrindo modeliai) “, naudojami beveik 22 VFM, pvz., BLIP (Bootstrapping Language-Image Pre-Training) ir Stable Diffusion.
Kaip paleisti vaizdinį pokalbių GPT?
Norėdami paleisti Visual ChatGPT, atlikite šiuos veiksmus:
1 veiksmas: sukurkite aplinką
Pirmiausia turite sukurti Python 3.8 versijos aplinką:
importuoti sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
2 veiksmas: klonuokite Visual ChatGPT failą
Dabar klonuokite vaizdinį ChatGPT failą iš GitHub naudodami šią komandą:
! git klonas https: // github.com / deepanshu88 / visual-chatgpt.git 
3 veiksmas: nustatykite naują katalogą
Po to nustatykite naują katalogą naudodami toliau nurodytą komandą:
% cd Visual-chatgpt4 veiksmas: įdiekite reikiamus paketus
Dabar įdiekite reikiamus paketus naudodami „ pip “ cmdlet:
! garbanoti https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python 3.8 -m pip diegti -r reikalavimai.txt
5 veiksmas: pasiekite OpenAI API
Įdiegę pradinius paketus, pasiekite OpenAI API gaudami API raktą iš „platform.openai.com“ ir atlikdami autentifikuotus API iškvietimus:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx6 veiksmas: pasirinkite modelį
Galiausiai, prisijungę prie Openai pasirinkite modelį, yra daugiau nei 20 modelių, kurie naudojami VisualGPT, kuriuos galite pasirinkti pagal savo reikalavimus:
! python3.8. / visual_chatgpt.py -- apkrova Text2Image_cuda: 0Aukščiau pateiktoje komandoje „ Tekstas2Vaizdas “ atitinka naudojamą modelį. Daugiau informacijos rasite šiame „Google Colab“. užrašų knygelė .
Išvada
„ChatGPT“ buvo pristatytas siekiant gauti konkrečius atsakymus į bet kokią užklausą, o dabar „Microsoft“ paleido „VisualGPT“, kuri gali apdoroti tekstinius ir vaizdinius duomenis. Tai yra tokia, kad vartotojas gali tiesiog pridėti savo reikalavimus tekstine forma ir gauti grafinę išvestį.