Automatyzacja

Czym naprawdę zajmuje się agencja automatyzacji AI (i o co zapytać przed zatrudnieniem)

Radek Venzhöfer ·

„Agencja automatyzacji AI” jako określenie ledwie istniało dwa lata temu. Dziś jest ich tysiące, a spora część to jedna osoba, narzędzie do budowania workflow i kurs o tym, jak sprzedawać budowanie workflow.

To nie jest powód, żeby omijać tę kategorię — praca pod spodem jest realna, a zwrot nietypowo dobry. To powód, żeby wiedzieć, co się kupuje, bo różnica między najlepszą a najgorszą wersją tej usługi jest większa niż niemal w każdym innym rodzaju pracy programistycznej — i nie widać jej w ofercie.

Oto z czego ta praca faktycznie się składa, gdzie idzie nie tak i o co zapytalibyśmy my, gdybyśmy to my zatrudniali.

Czym ta praca naprawdę jest

Zdejmij branżowy lakier, a projekt automatyzacji AI jest niemal zawsze jedną z czterech rzeczy.

Przenoszenie danych między systemami, które powinny już ze sobą rozmawiać. Nieefektowna większość całości. Zamówienie ląduje w jednym systemie, ktoś przepisuje je do drugiego, eksportuje arkusz i wysyła mailem do trzeciego. Większość tego nie wymaga żadnej AI — to hydraulika, i zwykle właśnie tu ukrywa się największy pojedynczy blok zmarnowanych godzin.

Zamiana nieustrukturyzowanego wejścia w dane strukturalne. Tutaj modele językowe naprawdę zmieniły to, co jest możliwe. Faktury, CV, dokumentacja przetargowa, maile do wsparcia, umowy, transkrypcje rozmów — wszystko, co przychodzi jako nieuporządkowany ludzki tekst i musi stać się polami w bazie danych. Przed 2023 rokiem potrzebowałeś szablonu na każdy typ dokumentu i ciągle się to psuło. Dziś to w większości działa i właśnie tu powstaje najwięcej wartości.

Redagowanie i wstępna selekcja. Klasyfikowanie przychodzących zgłoszeń, kierowanie ich, przygotowanie pierwszej odpowiedzi, streszczenie długiego wątku do decyzji. Model nie kończy pracy; usuwa pustą kartkę i sortowanie.

Monitorowanie i alerty. Obserwowanie źródła — portalu, zestawu ogłoszeń, cen konkurencji, kanału regulacyjnego — i informowanie właściwej osoby, gdy coś się zmieniło i dlaczego to ważne. Tanie w budowie, a często to właśnie klienci cenią najbardziej, bo zastępuje zadanie, którego nikt nie wykonywał rzetelnie w ogóle.

Zauważ, czego na liście nie ma: autonomicznego agenta prowadzącego twoją firmę. To się sprzedaje często. Nie przeżywa kontaktu z realnymi operacjami, a porządne zbudowanie czterech powyższych rzeczy jest warte znacznie więcej niż demo, które robi wrażenie przez tydzień.

Gdzie te projekty naprawdę upadają

Nie na modelu. Prawie nigdy na modelu.

Nikt najpierw nie zmapował procesu. Najczęstsza porażka to zautomatyzowanie procesu, który nie powinien istnieć. Połowa kroków w typowym workflow jest tam z powodu ograniczenia systemu sprzed sześciu lat albo osoby, która odeszła. Automatyzacja tych kroków utrwala je na zawsze — a teraz są w kodzie i trudniej je usunąć. Pierwszym użytecznym rezultatem tej pracy jest uczciwa mapa tego, co naprawdę się dzieje — a nie tego, co mówi dokumentacja procesu.

Nikt nie zaplanował tych 10 %, które model robi źle. Workflow o 90 % skuteczności to albo duża wygrana, albo obciążenie — zależy wyłącznie od tego, co dzieje się z pozostałymi 10 %. Jeśli błędne odpowiedzi po cichu lądują w systemie ewidencji, zbudowałeś coś, co dyskretnie zatruwa twoje dane. Jeśli trafiają do człowieka wraz z informacją o niepewności modelu, zbudowałeś coś użytecznego. To rozróżnienie jest największą różnicą jakościową między wykonawcami i jest niewidoczne w demie, bo dema pokazują tylko ścieżkę szczęśliwą.

Brak ewaluacji, więc nikt nie wie, czy to działa. Zapytaj, jak testuje się zmianę promptu. Jeśli odpowiedź brzmi „próbujemy i patrzymy na wynik”, system po cichu odpłynie przy pierwszej zmianie wersji modelu albo formatu wejścia. Prawdziwa ewaluacja — stały zestaw przypadków ze znanymi poprawnymi odpowiedziami, uruchamiany przy każdej zmianie — to nudna różnica między systemem, który przeżyje rok, a takim, któremu po cichu przestaje się ufać.

Zbudowano to tam, gdzie klient nie sięga. Workflow żyjący na prywatnym koncie wykonawcy, z kluczami API, których nikt nie udokumentował, to sytuacja zakładnicza czekająca, żeby się wydarzyć. To ma działać w twojej infrastrukturze, na twoich poświadczeniach, a ty masz móc zwolnić agencję i zatrzymać system.

Ostatnia mila nigdy się nie wydarzyła. Automatyzacja działa, a ludzie dalej robią to ręcznie, bo nikogo nie przeszkolono, nikt tego nie przejął, a stara droga wciąż istnieje jako opcja. To problem zarządzania zmianą przebrany za technologię i zabija więcej projektów niż jakikolwiek problem techniczny.

O co zapytać przed zatrudnieniem kogokolwiek

„Pokaż mi coś, co zbudowaliście i co nadal działa.” Nie demo — coś na produkcji u klienta, który ma to od roku. Efektowny workflow zbuduje w tydzień każdy. Zbudowanie takiego, który działa po tym, jak klient zmienił CRM, model został zaktualizowany, a osoba, która o to poprosiła, odeszła — to inna umiejętność.

„Co się dzieje, gdy model się myli?” Najlepsza odpowiedź jest konkretna i lekko nudna: progi pewności, kolejka do przeglądu przez człowieka, co jest logowane, jak wychwytuje się błędy. Mętna odpowiedź tutaj oznacza, że dowiesz się na produkcji.

„Do kogo należą konta i kod?” Do ciebie. Weź to na piśmie.

„Ile to kosztuje miesięcznie przy naszym wolumenie?” Koszty modelu i platformy są realne i rosną z użyciem. Agencja, która tego nie policzyła, nie pomyślała o twoim przypadku.

„Czego odradzilibyście nam automatyzować?” Najbardziej użyteczna odpowiedź w całej rozmowie. Kto mówi, że kandydatem jest wszystko, sprzedaje godziny. Praca o małym wolumenie, dużym udziale osądu i dużych konsekwencjach zwykle lepiej zostać nietknięta — a partner, który to mówi, informuje cię, że optymalizuje twój wynik, a nie swoją fakturę.

„Jak wygląda przekazanie?” Powinna istnieć udokumentowana odpowiedź, która nie zależy od tego, czy agencja nadal istnieje.

O cenach

Model godzinowy źle pasuje do tej pracy i wszyscy o tym wiedzą. Cały sens polega na tym, że rzecz działa bez ludzi — więc rozliczanie godzinowe stawia klienta i agencję po przeciwnych stronach każdego pytania o efektywność.

Alternatywy warte rozmowy: stała cena za workflow o określonym zakresie, co jest uczciwe i kładzie ryzyko dostarczenia tam, gdzie należy; miesięczny ryczałt za utrzymanie zestawu systemów, czyli to, czym w istocie jest większość bieżącej wartości; albo, coraz częściej, cena powiązana z wolumenem obsłużonej pracy — za przetworzony dokument, za obsłużone zgłoszenie. To ostatnie jest kierunkiem, w którym zmierza cała kategoria, bo to jedyna konstrukcja, w której klient płaci proporcjonalnie do tego, co dostał.

Bądź podejrzliwy wobec czegokolwiek wycenionego jak oprogramowanie korporacyjne za workflow, który powstawał cztery dni. I równie podejrzliwy wobec dołu rynku, gdzie cena ma sens dokładnie do momentu, w którym potrzebujesz, żeby ktoś to naprawił.

Uczciwe podsumowanie

Dobra wersja tej pracy nie jest egzotyczna. To porządne zmapowanie procesu, zautomatyzowanie tych części, które zasługują na istnienie, staranne zaprojektowanie tego, co dzieje się przy błędzie modelu, przetestowanie tego tak, żeby nie odpływało, i przekazanie w stanie, w którym agencja nie jest już potrzebna.

To mniej ekscytujące niż większość tego, co się oferuje. To także ta wersja, która po dwóch latach nadal oszczędza komuś dziesięć godzin tygodniowo — a to jedyna miara, która ma znaczenie.

Jeśli chcesz porozmawiać o konkretnym procesie zamiast o demie, to właśnie tę rozmowę wolimy prowadzić.