#47 - Ny Åben SOTA LLM, Jamba, SSH backdoor, Redis Drama, Slet LLM Lag og Behold Performance

I denne omgang af Verbos gennemgår vi en håndfuld af de vigtigste nyheder i AI- og softwareverdenen. Vi taler om:

• DBRX: en ny åben state-of-the-art LLM fra Databricks/MosaicML.
• JAMBA: en ny åben produktionsmoden generativ state-space/transformer sprogmodel fra israelske AI21 Labs, som kan håndtere kontekstvindueslængder, som er hidtil usete for åbne sprogmodeller.
• xz Utils-backdoor: En skjult backdoor blev implementeret i den populære kompressionssoftware xz Utils over en periode på tre år. Denne backdoor kunne have tilladt skaberen at oprette forbindelse til servere, der kører Linux-versioner med denne pakke installeret, og køre vilkårlig kode med superbrugerrettigheder. Heldigvis opdagede en udvikler fra Microsoft denne sårbarhed, før den nåede at blive frigivet i xz Utils.
• Et hold forskere har fundet ud af, at man kan slette op til 50% af lagene på Llama-modeller, uden at miste mærkbar performance, hvilket potentielt kan bane vejen for mere effektive LLM'er.

Links:

• https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
• https://www.ai21.com/blog/announcing-jamba
• https://arxiv.org/pdf/2403.19887.pdf
• https://arstechnica.com/security/2024/04/what-we-know-about-the-xz-utils-backdoor-that-almost-infected-the-world/
• https://github.com/libarchive/libarchive/pull/1609