Porównanie 4 liderów branży AI pod kątem szybkości udzielania odpowiedzi

Doczekaliśmy czasów, że AI to już nie jest nowinka. Wybór rośnie, z każdym miesiącem, a na ten moment mamy co najmniej 4 dużych graczy na rynku. Tym razem postanowiłem sprawdzić ich szybkość odpowiedzi na względnie proste zadanie programistyczne z zakresu WordPress / Functions / PHP.

I tak najwolniejszym okazał się Behemot branży, czyli ChatGTP. W płatnej wersji, wykorzystującej model 4, wygenerowanie odpowiedzi w godzinach porannych zajęło mu to około 30s. Dla prostych funkcji, czas ten można skrócić znacząco używając model 3.5, który poradził sobie znacznie szybciej bo już w zaledwie 10 sekund miałem gotowy kod.

Następny w kolejności okazał się być Claude.ai, najmłodszy gracz na rynku, który jednak okazuje się być bardzo dobra alternatywą dla ChataGPT. W bezpłatnym modelu Sonnet okazuje się wystarczającym do tego zadania. Jest o połowę szybszy od ChataGPT, zadanie zajmuje mu około 15s. Jednak w obliczu następnych dwóch konkurentów są to słabe wyniki 😉

Gemini od Google to były Bard, w modelu (płatnym) Advanced. Każdy posiadacz Gmaila, może go wypróbować na 2 miesiące za darmo, dodatkowo w ramach pakietu dostajemy 2TB dysku w usłudze Google One. Powierzone zadanie wykonuje dosyć szybko bo poniżej 10 sekund. Niewątpliwą zaletą jest odwołanie się do źródeł w internacie oraz najbardziej aktualna próbka danych i natywne podłączenie do „internetu” 🙂

Natomiast wygranym tego małego eksperymentu, który oczywiście w żaden sposób nie jest miarodajny (dla innych bardziej skomplikowanych zadań miałem często zupełnie inne wyniki, w tym błędne), jest GroqChat od Elona. System, który jest mocno minimalistyczny i nastawiony na prędkość udzielania odpowiedzi. Posiada nawet miernik ilości tokenów na sekunde 🙂

Do dyspozycji dostajemy 3 modele, które oferują jak widać oferują różną wielkość pola kontekstowego.

Co do czasu odpowiedzi to została ona udzielona praktycznie od razu, bo w zaledwie 2-3 sekundy.

Na koniec jeszcze jedno rozwiązanie, tym razem uruchamiane lokalnie na własnym komputerze (w moim przypadku jest to laptop i7-9750H i 16 GB RAM oraz GTX 1660 TI z 6GB) . W moim przypadku jest to LM Studio (z modelem Codellama), które jest najłatwiejszym system do ustawienia. Odpowiedz na zadane pytanie udziela mi po około 20s. Tutaj widać wyraźnie, że rozwiązania AI potrzebują mocnego sprzętu 😉 Także nic tylko wyszukać w szafie zbędny komputer z 32GB RAMu oraz jakimś GTX 4090 i 12GB RAMU i można się bawić całkowicie lokalnie 😉

Widać jasno że nie ma co zamykać się na jedno rozwiązanie, można używać kilku i dostosowywać je do poziomu skomplikowania projektu, nad którym aktualnie pracujemy.