Tudo sobre ChatGPT
O Groq é nova sensação do momento em termos de inteligência artificial, ganhando destaque nas mídias digitais, mais precisamente na rede social X, onde seus testes públicos viralizaram ao revelar sua velocidade de computação e resposta. Afinal de contas, essa IA mostrou uma capacidade superior ao mais famoso chatbot da OpenAI, o ChatGPT.
Entre outras coisas, esse mais recente modelo de linguagem de inteligência artificial (IA) promete dispensar a necessidade de GPUs para processamento de dados. Entenda agora o que é exatamente e como usar o Groq!
Leia mais
O que é Groq?
O Groq é um mecanismo de respostas de IA extremamente rápido, pois consegue escrever respostas factuais e citadas com centenas de palavras em menos de um segundo. Com mais de 3/4 do tempo é gasto na pesquisa, e não na geração, sendo assim o LLM é executado em uma fração de segundo.
Essa nova linguagem de IA, foi desenvolvida com seu próprio chip ASIC (Application Specific Integrated Circuit) personalizado para modelos de linguagem grande (LLMs). Dessa forma, isso possibilita que aconteça uma geração de cerca de 500 tokens por segundo.
Se comparada com o ChatGPT 3.5, a versão do modelo disponível publicamente, pode gerar cerca de 40 tokens por segundo.
O Groq foi desenvolvido pela Groq Inc., que afirma ter criado a primeira Unidade de Processamento de Linguagem (LPU) por meio da qual executa seu modelo, em vez das escassas e caras unidades de processamento gráfico (GPUs) normalmente usadas para executar outros modelos de IA.
Um fato curioso sobre a tecnologia é que a empresa não é nova, pois foi fundada em 2016, mesmo ano em que garantiu o registro da IA Groq. Porém, há uma rivalidade com o modelo de IA de Elon Musk, que registrou um novo semelhante, escrito com k no final, Grok, algum tempo após o registro da Groq.
Os desenvolvedores do Groq original, não gostaram nada da semelhança/cópia e logo fizeram um pronunciamento em uma postagem em seu blog, onde fizeram críticas diretas a Musk:
“Podemos entender por que você quer adotar o nosso nome. Você gosta de coisas rápidas (foguetes, hyperloops, nomes de empresas com uma letra só) e nosso produto, o Groq LPU Inference Engine, é a maneira mais rápida de executar modelos de linguagem grande (LLMs) e outros aplicativos de IA generativa. No entanto, precisamos pedir que você escolha outro nome, e rápido.”
Ironicamente, a tecnologia original foi viralizar logo na rede social X, que pertence a Elon Musk. Porém, desde que a divulgação de sua capacidade repercutiu na rede, o empresário nunca publicou nenhum esclarecimento sobre o sucesso da sua rival.
Com o surgimento de Groq e sua popularidade, muitos usuários da plataforma começaram a fazer comparações entre o modelo LPU e outros modelos populares baseados em GPU. Alguns usuários consideram Groq como revolucionário, ao considerar produtos que exigem baixa latência, por exemplo.
Outros observaram que os LPUs do Groq poderiam oferecer uma melhoria significativa para as GPUs quando se trata de atender às necessidades dos aplicativos de IA. Além disso, também sugeriram que a IA pode ser uma boa alternativa para o hardware de alto desempenho dos chips A100 e H100 produzidos pela Nvidia.
Todos esses comentários, só reforçam a comparação também com outras inteligências artificias. Não é à toa que os principais desenvolvedores de IA estão buscando desenvolver chips internamente, para não depender exclusivamente dos modelos produzidos pela Nvidia.
Para usar a nova linguagem de IA, basta entrar no site da Groq.com e inserir sua consulta ou comando e a IA irá processá-lo e fornecer uma resposta.
