Najpotężniejsza sztuczna inteligencja na świecie może wkrótce zamieszkać w aplikacji społecznościowej

Powszechna narracja w świecie technologii sugeruje, że czołowe amerykańskie laboratoria sztucznej inteligencji posiadają nieosiągalną przewagę nad resztą świata. Podczas gdy firmy takie jak Anthropic i OpenAI dominują w nagłówkach gazet ze swoimi seriami Mythos i GPT, w centrach danych firmy stojącej za TikTokiem zachodzi cicha zmiana. ByteDance trenuje obecnie potężny model AI z 10 bilionami parametrów. Aby spojrzeć na to z perspektywy: system ten jest trzy razy większy od największego istniejącego chińskiego modelu i potencjalnie większy niż najbardziej zaawansowane systemy obecnie dostępne na Zachodzie.

Patrząc na szerszy obraz, ten ruch jest deklaracją technicznej niezależności. Przez lata wiele wschodzących firm AI polegało na skrócie zwanym destylacją. Proces ten polega na pobraniu wysokowydajnego modelu od konkurenta i wytrenowaniu mniejszej wersji, która naśladuje jego zachowanie. Jest to cyfrowy odpowiednik ucznia kopiującego zadanie domowe od wybitnego naukowca, aby uzyskać ocenę pozytywną. Założyciel ByteDance, Zhang Yiming, odrzucił tę ścieżkę. Niedawno powiedział swoim badaczom, że firma musi celować w wiodące na świecie możliwości poprzez oryginalny rozwój. W istocie ByteDance buduje swój cyfrowy mózg od podstaw, aby zapewnić sobie możliwość ostatecznego prześcignięcia nauczycieli, których niegdyś studiował.

Zrozumienie wagi dziesięciu bilionów parametrów

Za żargonem parametrów kryje się prosta koncepcja cyfrowej pamięci i wydajności. Pomyśl o modelu AI jak o niestrudzonym stażyście. Parametry to liczba poszczególnych połączeń lub cyfrowych synaps, których stażysta używa do przechowywania informacji i rozpoznawania wzorców. Model z 1 miliardem parametrów jest jak podstawowy kalkulator. Model ze 100 miliardami parametrów to kompetentny badacz. Model z 10 bilionami parametrów to biblioteka, która potrafi myśleć.

Szacunki branżowe plasują najbardziej zaawansowany model Anthropic, Mythos 5, na poziomie około 8 bilionów parametrów. Fable 5, model używany obecnie przez wielu profesjonalnych programistów, ma około 5 bilionów. ByteDance celuje w 10 bilionów. Choć sam rozmiar nie jest jedynym czynnikiem decydującym o tym, jak inteligentna staje się AI, wyznacza on fundamentalną granicę tego, czego maszyna może się nauczyć. Większy model ma wyższy pułap rozumowania, złożonego kodowania i rozumienia niuansów ludzkiego języka w różnych kulturach.

Taka skala wymaga ogromnej ilości fizycznej infrastruktury. ByteDance spędził trzy lata na agresywnej rozbudowie swojej sieci centrów danych. Firma prowadzi jednostkę chmurową o nazwie Volcano Engine, która działa jako niewidoczny kręgosłup tych ambicji AI. Jednostka ta robi coś więcej niż tylko hostowanie modelu; zapewnia wyspecjalizowaną moc obliczeniową potrzebną do przetwarzania gór danych, których wymaga system o 10 bilionach parametrów. Trenowanie modelu tej wielkości zajmuje zazwyczaj od trzech do sześciu miesięcy ciągłych obliczeń, zanim w ogóle rozpocznie się proces dostrajania.

Dlaczego oryginalne badania to ryzykowny, ale konieczny zakład

Historycznie najszybszą drogą na rynek było udoskonalanie tego, co już działało. Wybierając unikanie destylacji, ByteDance zaakceptował wolniejszy cykl rozwoju. Decyzja ta wynika z przekonania, że skopiowany model nigdy nie będzie lepszy od oryginału. Jeśli trenujesz swoją AI, aby naśladowała wyniki rywala, dziedziczysz również wszystkie błędy i uprzedzenia tego rywala.

„Pod maską” zespołem ByteDance kieruje Wu Yonghui, były naukowiec Google DeepMind. Jego 2000-osobowy zespół obejmuje inżynierów infrastruktury i specjalistów od etykietowania danych rozproszonych po całym świecie. Budując własną architekturę, tworzą system wyspecjalizowany pod kątem konkretnych rodzajów danych, które posiada ByteDance. Obejmuje to ogromne ilości treści wideo z TikToka oraz dane konwersacyjne o dużym natężeniu z Doubao, flagowego asystenta AI firmy w Chinach.

Z punktu widzenia konsumenta wyniki tych badań już wychodzą na jaw. Model SeeDance od ByteDance jest obecnie jednym z najbardziej zaawansowanych narzędzi do generowania realistycznego wideo. Podczas gdy amerykańscy konkurenci są ograniczani przez zakazy bezpieczeństwa lub limitowany dostęp do swoich topowych modeli, ByteDance wypycha swoją technologię bezpośrednio w ręce setek milionów użytkowników. Doubao ma już 324 miliony aktywnych użytkowników miesięcznie, którzy codziennie wchodzą w interakcję z AI. Większy, bardziej sprawny model sprawi, że te interakcje będą mniej przypominać rozmowę z botem, a bardziej współpracę z ludzkim ekspertem.

Silnik sprzętowy i wyścig o własne chipy

Wysokiej klasy modele AI są tylko tak dobre, jak krzem, na którym pracują. Obecnie globalna podaż chipów AI jest niestabilna i silnie regulowana. ByteDance odpowiedział na to próbą opracowania własnych, niestandardowych chipów AI. Strategia ta odzwierciedla to, co Apple i Google zrobiły z własnym sprzętem. Projektując chip i model AI w tym samym czasie, firma może sprawić, że system będzie działał znacznie szybciej, zużywając przy tym mniej energii elektrycznej.

W tym miejscu rzeczywistość makroekonomiczna uderza w przeciętnego użytkownika. Uruchomienie AI jest niesamowicie kosztowne. Same koszty energii elektrycznej dla modelu o 10 bilionach parametrów są astronomiczne. Jeśli firma może obniżyć te koszty dzięki niestandardowemu sprzętowi, może oferować swoje usługi AI po niższej cenie lub nawet za darmo. ByteDance pozycjonuje się na lidera niskich kosztów i wysokiej wydajności w tej przestrzeni. Nie budują tylko inteligentnego modelu; budują skalowalną fabrykę inteligencji.

Z drugiej strony zależność od masywnych klastrów sprzętowych tworzy systemową podatność. Jeśli podaż zaawansowanych chipów zostanie bardziej ograniczona, nawet najlepszy zespół badawczy na świecie będzie miał trudności z ukończeniem procesu szkolenia. Tworzy to wyścig z czasem. Trzy- do sześciomiesięczne okno szkoleniowe dla tego nowego modelu to okres o wysoką stawkę, w którym wszystko musi pójść idealnie. Pojedyncza awaria sprzętu lub zmiana w międzynarodowej polityce handlowej może cofnąć projekt o miesiące.

Praktyczne konsekwencje dla codziennego użytkownika

Oznacza to, że narzędzia AI, których używasz do edycji wideo, pisania lub przeszukiwania sieci, staną się znacznie potężniejsze bez konieczności posiadania nowego telefonu lub komputera. Ciężka praca odbywa się w chmurze. W miarę jak ByteDance integruje te możliwości 10 bilionów parametrów ze swoimi aplikacjami, bariera między profesjonalnymi treściami a amatorską twórczością zniknie. Nastolatek ze smartfonem będzie miał dostęp do tej samej mocy twórczej, którą studio z Hollywood posiadało dekadę temu.

Po stronie rynkowej ta konkurencja zmusza amerykańskie laboratoria do szybszych innowacji. Gdy rywal pokazuje, że potrafi zbudować większy, bardziej niezależny model, przełamuje monopol na wysokiej klasy AI. Dla użytkownika ta konkurencja jest zdecydowanie pozytywna. Prowadzi do lepszych funkcji, bardziej przejrzystych kontroli prywatności i bardziej przystępnych subskrypcji, gdy firmy walczą o Twoją uwagę.

Ostatecznie rozmiar modelu to tylko liczba, dopóki nie przyniesie on wymiernych rezultatów. Prawdziwym testem dla ByteDance będzie to, czy ten tytan o 10 bilionach parametrów zdoła rozwiązać problemy, których mniejsze modele nie potrafią. Niezależnie od tego, czy chodzi o przewidywanie trendów rynkowych, czy tworzenie płynnego tłumaczenia wideo na żywo, użyteczność AI jest jedynym miernikiem, który naprawdę liczy się dla osoby trzymającej telefon.

Patrząc szerzej, globalny krajobraz AI nie jest już wyścigiem jednego konia. Przejście w stronę niezależnego rozwoju na masową skalę w Chinach wyznacza nowy rozdział w historii technologii. Użytkownicy powinni przygotować się na cyfrowe środowisko, w którym aplikacje służące do rozrywki są jednocześnie najbardziej wyrafinowanymi narzędziami w ich profesjonalnym przyborniku. Obserwuj swoje cyfrowe nawyki w ciągu najbliższych kilku miesięcy. Możesz zauważyć, że Twoja ulubiona aplikacja wideo staje się zaskakująco lepsza w rozumieniu dokładnie tego, czego chcesz, zanim jeszcze skończysz wpisywać prośbę. Era cyfrowych tytanów nadeszła.

Źródła:

• Latepost Tech Analysis Report on ByteDance Internal Strategy
• The Information: ByteDance Project Seed Development Briefing
• Volcano Engine Enterprise Solutions Product Roadmap
• Moonshot AI Research Benchmarks for Kimi K3
• Industry Estimates for Anthropic Mythos and Fable Parameter Counts