Julespesial 4: Lyd, bilde og tekst i en algoritme

Vi mennesker tar inn mye informasjon samtidig. Når vi for eksempel ser på en film, titter vi på bildene, hører på lyden og kanskje leser teksten, og sammen får vi et mer helhetlig bilde enn hvis vi bare hadde hørt lyden. Kunstig intelligens trenes derimot somoftest opp med bare en type data. I denne episoden tar vi for oss en algoritme som, mot normalt, kombinerer lyd, bilde, og tekst for anda bedre resultater.

Podcasten er en del av en serie hvor vi tar for oss artikler fra konferansen NeurIPS 2021, og denne episoden handler om «VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text» av Hassan Akbari, Liangzhe Yuan, Rui Qian, Wei-Hong Chuang, Shih-Fu Chang, Yin Cui, og Boqing Gong.