Twoja marka w LLM ma kształt i siłę

Coraz większa część decyzji zakupowych zaczyna się dziś nie w wyszukiwarce, ale w oknie czatu AI. Użytkownik pyta "co wybrać", "co polecacie", "X czy Y" - i dostaje gotową odpowiedź z markami. Pytanie, czy jest wśród nich Twoja, przestało być ciekawostką, a stało się twardym tematem biznesowym.

Monitorujesz i analizujesz obecność swojej marki w odpowiedziach chatów LLM? Prawdopodobnie robisz to źle - albo mierzysz rzeczy, które mierzyć łatwo, zamiast tych, które mają znaczenie. Ten raport pokazuje, jak naprawdę zachowuje się obecność marek w odpowiedziach AI: jak bardzo jest losowa, co w tej losowości jest stabilne, co warto mierzyć, czego nie - i co z tym wszystkim robić.

Wszystkie liczby pochodzą z dwóch badań przeprowadzonych na danych LLM Monitora - systemu monitoringu widoczności marek w odpowiedziach AI, który budujemy w Senuto. Nie są to deklaracje ani ankiety, tylko setki tysięcy prawdziwych odpowiedzi AI, zebranych i przeanalizowanych w kontrolowanych warunkach.

Jak czytać ten raport: większość rozdziałów prowadzę od pytania, przez liczbę, do wniosku. Liczby bywają zaskakujące. Wnioski są praktyczne.

Deterministyczność to właściwość procesu, która gwarantuje, że dla tych samych danych wejściowych zawsze uzyskamy identyczny wynik. Zadajesz to samo pytanie, dostajesz tę samą odpowiedź.

I tu pierwsza, fundamentalna wiadomość tego raportu:

Modele LLM nie są deterministyczne.

Na identycznie zadane pytanie dostajemy skrajnie różne odpowiedzi. Różnią się nie tylko doborem słów (w około 70% tokenów), ale też formatem, przytaczanymi danymi - i, co nas interesuje najbardziej, markami, które się w nich pojawiają.

Skąd ta losowość? Cztery główne przyczyny:

A do tego dalsze źródła losowości:

Efekt końcowy? Widoczność marki w AI zmienia się tak często jak tabela ekstraklasy. Co kolejka przetasowanie - choć, jak zobaczysz dalej, mistrz na koniec i tak jest zwykle ten sam.

Baza danych LLM Monitora, na której pracowałem, to obecnie:

Na tej bazie przeprowadziłem dwa badania: krótkoterminowe (ten sam dzień, pobrania co 20 minut) i długoterminowe (pełny miesiąc pomiarów według harmonogramu). Oba opisuję w kolejnych rozdziałach.

Zanim przejdziemy do liczb, trzy pojęcia, którymi będę się posługiwał - na przykładzie prawdziwej odpowiedzi:

• Wzmianka (brand mention) - marka pada w treści odpowiedzi. AI o Tobie mówi.
• Citation (cytowanie) - AI wskazuje konkretny adres strony jako źródło odpowiedzi.
• Search source - strona, którą platforma znalazła w wyszukiwaniu i na której oparła odpowiedź.

Wzmianka to widoczność marki. Citation i search source to widoczność Twoich treści jako źródeł. To dwa różne światy - i w raporcie mierzymy oba.

Zamroziliśmy czas: te same pytania, zadawane raz za razem w ciągu jednego dnia.

Tym razem nie zamrażaliśmy czasu - puściliśmy go. Pełny miesiąc regularnych pomiarów, wszyscy klienci LLM Monitora.

A jak w badaniu miesięcznym wypadają cytowane adresy i źródła z wyszukiwania?

Konkretny artykuł to w AI towar jednorazowy - trzy czwarte linków, które AI cytuje, pojawia się dokładnie raz i nigdy więcej. Domena jest około 1,7x trwalsza - ale nawet ona wraca tylko w co trzecim przebiegu, a połowa domen pojawia się raz na miesiąc.

Dla strategii treści oznacza to dwie rzeczy: pojedynczy "cytowany artykuł" to chwilowy sukces, a stabilną pozycję w źródłach buduje się na poziomie domeny.

Tu zatrzymam się na dłużej, bo to jedna z najważniejszych rzeczy w tym raporcie.

Odejdźmy od przestarzałych intencji zapożyczonych z klasycznego SEO. W monitoringu AI używam sześciu intencji, które są ściśle powiązane z formatem odpowiedzi AI:

Ten podział zapożyczyłem z książki Sergeya Lucktinova "Semantic SEO, SRO & AI - Get Found, Trusted, and Chosen in the AI Era". Jeśli interesujesz się widocznością w AI - lektura obowiązkowa. Zmienia wiele perspektyw.

Dotrwaliśmy do metryk. Pięć, które mają sens - i dwie, które mają go znacznie mniej.

Czas wyjaśnić paradoks, który przewija się przez cały raport.

Dlaczego metryki mierzone w czasie pokazują stabilność, skoro marki w pojedynczych odpowiedziach losują się tak mocno?

Spójrz na wykres Brand Mentions Visibility naszej marki (Senuto): poziom stabilny, wahania w granicach kilku punktów procentowych, a widoczne wzrosty to nie szum - to efekt prowadzonych działań i włączenia do monitoringu dwóch nowych platform.

Nazywam to chaosem kontrolowanym:

W każdym pobraniu marka wypada z części pytań i równocześnie wchodzi w inne - saldo blisko zera. W naszym badaniu dziennym Senuto zniknęło łącznie z 218 pytań i pojawiło się w 220 innych. Saldo: +2. Poziom: ~70%, jak skała - choć pod spodem co pobranie wymieniało się kilkanaście procent odpowiedzi.

siła marki ≈ widoczność

W szerokim portfelu pytań marka ma stabilne prawdopodobieństwo wylosowania - tyle samo pytań traci, ile odzyskuje. Nie kontrolujesz pojedynczego losowania. Kontrolujesz prawdopodobieństwo, z jakim zostaniesz wylosowany. A to prawdopodobieństwo zmienia tylko realna praca nad marką, nie ruletka pojedynczych odpowiedzi.

Z tego mechanizmu wynikają dwa praktyczne warunki dobrego pomiaru:

1. Im więcej promptów monitorujesz, tym dokładniejszy jest pomiar. Prawo wielkich liczb działa na Twoją korzyść: mały portfel pytań faluje, duży pokazuje prawdziwy poziom. Nie zobaczysz tego mechanizmu, mierząc 20 promptów.
2. Rozłóż prompty równo w intencjach, etapach lejka sprzedażowego i podkategoriach tematycznych. Nie zobaczysz całości, mierząc tylko jedną intencję, kategorię czy tematykę - różne typy pytań losują z różną siłą i pokrywają inną część ścieżki klienta.

Tu dochodzimy do rzeczy, która z pomiaru robi strategię. Bo monitoring, który kończy się na metrykach, to dopiero połowa roboty.

Wyobraź sobie, że do każdej odpowiedzi AI możesz dodać klasyfikację tematów, których ta odpowiedź dotyczy - jak tagi. Nagle przestajesz patrzeć na jedną zbiorczą liczbę i zaczynasz widzieć mapę: w których tematach Twoja marka żyje w odpowiedziach AI, a w których nie istnieje.

I teraz najważniejsze. Na tę mapę nakładamy konkurencję:

Po lewej tematy, w których AI zna Twoją markę. Po prawej - tematy, w których Ciebie nie ma, a konkurenci są. I ta prawa kolumna jest najcenniejszym elementem całego monitoringu, bo to nie jest raport. To jest lista zadań.

Nie mierz dla samego mierzenia. Uzupełniaj luki. Każdy temat, w którym AI cytuje konkurentów, a Ciebie pomija, to gotowy brief: artykuł do napisania, wzmianka do zdobycia, obecność do zbudowania. Metryki mówią, jak jest. Luki mówią, co robić. Jeśli z całego raportu masz zapamiętać jedno działanie, to właśnie to: regularnie przeglądaj tematy, w których przegrywasz, i zamieniaj je w plan contentowy. Marka, która systematycznie domyka luki tematyczne, podnosi swoje prawdopodobieństwo wylosowania w setkach pytań naraz - zanim konkurencja zauważy, że w ogóle była tam sama.

Skoro mówimy o konkurencji - warto ją wykorzystać jeszcze raz, do ponownego spojrzenia na własne liczby.

Porównanie do konkurencji to jak zejście na ziemię albo wejście do raju. First choice, który wydawał Ci się niski, w porównaniu z konkurencją może okazać się biletem do nieba - bo w AI wszyscy gramy na tych samych pytaniach i w tych samych odpowiedziach. To najuczciwszy benchmark, jaki istnieje: ta sama odpowiedź ocenia wszystkich jednocześnie.

Pokazując metryki klientom czy zarządowi, zawsze dawaj porównanie z największymi konkurentami. Liczba bez tła to wróżenie.

Dwa kierunki, w których analiza konkurencji zamienia się w działanie:

Najczęściej cytowane domeny tam, gdzie Cię nie ma.

Może się okazać, że w części z nich możesz po prostu kupić wzmiankę - i obserwację łatwo zamienisz w akcję.

Konkretne artykuły z citations i search sources.

To kopalnia wiedzy o treściach i formatach, które AI faktycznie cytuje - i jednocześnie gotowa lista do outreachu.

Twoja marka w LLM ma konkretny, mierzalny kształt. Ten kształt ma siłę i kierunek - i mimo niedeterministyczności modeli jedno i drugie da się zmierzyć. Każde ramię tego kształtu to jedna z metryk z tego raportu, a punkt odniesienia wyznacza mediana Twojej kategorii.

I ostatnia myśl, która spina wszystko:

NIE KONTROLUJESZ POJEDYNCZEGO WYNIKU.

BUDUJESZ PRZEWAGĘ, KTÓRA ZWIĘKSZA TWOJĄ SZANSĘ, ŻE AI WYBIERZE TWOJĄ MARKĘ.

Pojedyncza odpowiedź to losowanie. Ale waga monety, którą AI rzuca, jest w Twoich rękach: skala obecności, głębokość rekomendacji, pokrycie tematów i intencji, obecność w cytowanych źródłach. Mierz to, co mierzalne - i systematycznie dokładaj do wagi.