Jak wykryć duplikaty kontaktów w SugarAI? Audyt, czyszczenie i higiena bazy CRM w czasie

Ten sam klient istnieje w SugarAI trzy razy: jako „Jan Kowalski”, „J. Kowalski” i rekord z prywatnym adresem e-mail. Dwóch handlowców dzwoni do niego tego samego dnia, a jego szansa sprzedażowa trafia do forecastu podwójnie. Duplikaty kontaktów to najczęstszy objaw niskiej jakości danych w CRM. Pokazujemy, jak przeprowadzić audyt bazy SugarAI, wykryć i scalić duplikaty oraz ustawić mechanizmy, które nie pozwolą im wrócić.

Ile kosztują duplikaty i niska jakość danych w CRM?

Niska jakość danych kosztuje organizacje średnio 12,9 mln USD rocznie ( Gartner, 2020 ). Liczba pochodzi z ankiety wśród klientów referencyjnych dostawców narzędzi do jakości danych, więc traktujemy ją jako rząd wielkości, a nie benchmark dla każdej firmy. Gartner wskazuje też, że 59% organizacji w ogóle nie mierzy jakości swoich danych. Te firmy nie wiedzą więc, ile kosztuje je problem, którego nie widać w żadnym raporcie.

W SugarAI duplikaty kontaktów i kont uderzają w cztery obszary. Forecast jest zawyżony, gdy szanse sprzedażowe są przypięte do dwóch rekordów tego samego klienta. Kampanie trafiają do jednej osoby dwukrotnie, co podnosi liczbę wypisów z mailingu. Historia relacji rozbija się na kilka rekordów, więc handlowiec nie widzi ostatniego zgłoszenia serwisowego. Raporty o liczbie klientów i wartości portfela przestają być wiarygodne dla zarządu.

Problem zaczyna się już w momencie wprowadzania danych. W analizie 75 ocen jakości danych z różnych organizacji średnio 47% nowo utworzonych rekordów miało co najmniej jeden błąd krytyczny ( Nagle, Redman, Sammon, Harvard Business Review, 2017 ). W CRM takim błędem jest często literówka w adresie e-mail lub nazwie firmy, czyli dokładnie to, co później utrudnia automatyczne wykrycie duplikatu.

Skąd biorą się duplikaty w bazie SugarAI?

Duplikaty w SugarAI powstają głównie w momencie wejścia danych do systemu, a nie podczas codziennej pracy na istniejących rekordach. Najczęstsze źródła to importy z plików CSV, synchronizacja z innymi systemami (ERP, marketing automation, formularze www), ręczne zakładanie rekordów przez handlowców oraz konwersja leadów. Każde z tych źródeł wymaga innego zabezpieczenia, co pokazuje tabela poniżej.

Jak przeprowadzić audyt danych w SugarAI krok po kroku?

Audyt danych w SugarAI to pomiar stanu bazy, który daje punkt odniesienia dla czyszczenia i późniejszego monitoringu. Bez niego nie da się wykazać zarządowi, że po kwartale sytuacja jest lepsza. Audyt obejmuje moduły Contacts, Accounts i Leads, ponieważ to w nich duplikaty mają największy wpływ na sprzedaż i marketing. Proponujemy pięć kroków.

1. Przypisz właścicieli danych. Każdy moduł potrzebuje osoby odpowiedzialnej za jakość, np. dyrektora sprzedaży dla Accounts i kierownika marketingu dla Leads.
2. Zdefiniuj, co jest duplikatem. Przykładowe reguły: ten sam adres e-mail; ta sama domena firmowa i nazwisko; ten sam NIP w przypadku kont. Bez wspólnej definicji każdy liczy duplikaty inaczej.
3. Zmierz skalę duplikatów. Raporty podsumowujące w SugarAI grupują rekordy po nazwie konta lub wybranym polu i pokazują grupy z więcej niż jednym rekordem. Przy dużych bazach eksport do arkusza lub hurtowni danych daje dokładniejszy obraz.
4. Zmierz kompletność. Sprawdź odsetek kontaktów bez adresu e-mail, telefonu, przypisanego konta i właściciela rekordu.
5. Zmierz aktualność. Policz rekordy bez żadnej aktywności od ponad 24 miesięcy oraz adresy e-mail oznaczone w SugarAI jako nieprawidłowe lub wypisane (opt-out).

Progi w tabeli to nasza propozycja punktu startowego, a nie norma branżowa. Każda organizacja powinna je skorygować po pierwszym pomiarze.

Jak wykryć i scalić duplikaty w SugarAI - co działa natywnie, a co wymaga dodatków?

SugarAI natywnie wychwytuje część duplikatów przy tworzeniu rekordu i pozwala ręcznie scalać rekordy, ale nie skanuje całej bazy cyklicznie w tle. Mechanizm duplicate check porównuje nowy rekord z istniejącymi według reguł zapisanych w metadanych modułu (strategia FilterDuplicateCheck) i pokazuje użytkownikowi potencjalne duplikaty przed zapisem. Zmiana pól, po których SugarAI szuka duplikatów, wymaga konfiguracji w plikach vardefs, czyli pracy dewelopera ( SugarAI Developer Guide 26.1 ).

Do usuwania istniejących duplikatów służy scalanie rekordów (Merge) z poziomu widoku listy. Użytkownik zaznacza rekordy, wybiera rekord główny i decyduje, które wartości pól przejdą do rekordu wynikowego. Powiązane szanse, aktywności i notatki trafiają do rekordu głównego. Ręczne scalanie sprawdza się przy dziesiątkach duplikatów, ale przy tysiącach staje się wąskim gardłem, bo każdą grupę rekordów trzeba scalić osobno.

Dla integracji SugarAI udostępnia endpoint REST API /<module>/duplicateCheck, który zwraca potencjalne duplikaty dla przesłanych danych. Wywołanie go przed utworzeniem rekordu z ERP, formularza www czy systemu marketing automation pozwala zaktualizować istniejący kontakt zamiast zakładać nowy. To najskuteczniejsze zabezpieczenie dla firm, w których większość rekordów trafia do SugarAI automatycznie, a nie przez ręczne wpisy.

Cykliczne wykrywanie duplikatów w całej bazie i automatyczne scalanie zapewniają dodatki z SugarAI Marketplace. Upsert Deduplicate (Upsert) uruchamia zapytania deduplikacyjne w tle przez scheduler, pozwala zdefiniować strategię scalania na poziomie pól i relacji oraz przechowuje historię scaleń. DeDupit (38 Elements) wykrywa duplikaty w modułach standardowych i niestandardowych oraz scala je automatycznie: wartość rekordu głównego ma pierwszeństwo, a puste pola są uzupełniane danymi z duplikatu.

Funkcje dodatków opisujemy na podstawie dokumentacji producentów w SugarAI Marketplace. Przed zakupem warto sprawdzić zgodność z używaną wersją SugarAI i model licencjonowania.

Na co uważać przy scalaniu rekordów w SugarAI?

Scalanie rekordów w SugarAI jest operacją praktycznie nieodwracalną, dlatego błąd popełniony przy czyszczeniu kosztuje więcej niż sam duplikat. Najczęstsze problemy, które widzimy przy projektach porządkowania danych, dotyczą wyboru rekordu głównego, integracji i braku wspólnych zasad.

• Wybór rekordu głównego. Najstarszy rekord nie zawsze jest najlepszy. Rekordem głównym powinien zostać ten, który ma pełniejszą historię aktywności i powiązanie z identyfikatorem w ERP.
• Rekordy synchronizowane z innymi systemami. Scalenie rekordu, którego identyfikator jest zapisany w ERP lub systemie marketing automation, może zerwać synchronizację. Takie rekordy trzeba oznaczyć przed czyszczeniem.
• Wiele adresów e-mail. Użytkownicy SugarAI zgłaszają, że przy ręcznym scalaniu nie wszystkie adresy e-mail z duplikatów przechodzą do rekordu głównego. Warto je sprawdzić po scaleniu.
• Brak kopii danych. Przed masowym czyszczeniem potrzebny jest eksport lub kopia zapasowa modułów, które będą scalane.
• Brak wspólnej definicji. Jeśli dwie osoby scalają rekordy według różnych kryteriów, baza po czyszczeniu jest równie niespójna, tylko mniejsza.
• Uprawnienia zespołów. Duplikaty bywają rozproszone między zespołami z różnym dostępem do danych. Trzeba ustalić, kto ma prawo scalać rekordy, których nie widzi w całości.

Jak utrzymać higienę bazy SugarAI po czyszczeniu?

Higienę bazy SugarAI utrzymują trzy mechanizmy: zabezpieczenia na wejściu danych, przypisana odpowiedzialność i cykliczny pomiar. Jednorazowe czyszczenie bez tych mechanizmów stopniowo traci efekt, bo źródła duplikatów, czyli importy, integracje i ręczne wpisy, działają dalej. Celem jest proces, w którym nowe duplikaty są wyjątkiem wychwytywanym w ciągu tygodni, a nie problemem odkrywanym przy migracji.

• Walidacja na wejściu: pola obowiązkowe (e-mail lub telefon dla kontaktu, NIP dla konta), duplicate check dopasowany do realnych reguł i wywołanie duplicateCheck w każdej integracji.
• Opiekun danych: osoba odpowiedzialna za jakość w danym module, z czasem przeznaczonym na przegląd, a nie tylko z obowiązkiem w opisie stanowiska.
• Zasady importu: ograniczona grupa użytkowników z prawem importu i obowiązkowy krok sprawdzania duplikatów.
• Automatyzacja w SugarBPM: zadanie dla właściciela rekordu, gdy kontakt zostanie zapisany bez wymaganych danych.
• Dashboard jakości danych: raporty z liczbą rekordów bez e-maila, bez właściciela i z potencjalnymi duplikatami, widoczne dla menedżerów.
• Kwartalny przegląd: powtórzenie metryk z audytu i porównanie z poprzednim kwartałem.

Jak może wyglądać czyszczenie bazy SugarAI w praktyce?

Scenariusz hipotetyczny: firma dystrybucyjna z 25-osobowym działem handlowym ma w SugarAI 40 tys. kontaktów i 6 tys. kont, a dane napływają z ERP i formularzy www. Audyt pokazuje 3,8 tys. kontaktów w grupach potencjalnych duplikatów, czyli około 9,5% bazy, oraz 600 kont z tym samym NIP-em lub domeną e-mail. Czyszczenie trwa sześć tygodni i przebiega w kolejności: konta, kontakty, leady.

Kolejność ma znaczenie, bo scalenie kont porządkuje relacje, do których przypięte są kontakty i szanse sprzedażowe. Dopiero wtedy duplikaty kontaktów w ramach jednego konta stają się widoczne. Po wdrożeniu kontroli na wejściu (duplicateCheck w integracji z ERP, pola obowiązkowe) i kwartalnego przeglądu forecast przestaje liczyć te same szanse dwa razy. Konkretne wartości zależą od źródeł danych, dlatego audyt zawsze poprzedza decyzję o narzędziach.

Podsumowanie: od czego zacząć porządkowanie bazy SugarAI?

Duplikaty w SugarAI są przede wszystkim problemem procesu wprowadzania danych, a nie samego narzędzia. Natywny duplicate check, scalanie rekordów i API wystarczą, żeby zatrzymać nowe duplikaty i uporządkować mniejsze bazy. Przy dziesiątkach tysięcy rekordów i kilku integracjach warto rozważyć dodatek z SugarAI Marketplace. Zanim jednak zapadnie decyzja o narzędziu, warto zadać jedno pytanie: jaki odsetek kontaktów w bazie SugarAI to dziś duplikaty — i kto w firmie powinien znać tę liczbę?

Najczęściej zadawane pytania o duplikaty i jakość danych w SugarAI

Czy SugarAI automatycznie wykrywa duplikaty kontaktów?

Częściowo. SugarAI sprawdza potencjalne duplikaty przy tworzeniu rekordu i konwersji leada, ale natywnie nie skanuje całej bazy cyklicznie. Do regularnego wykrywania duplikatów w istniejących danych potrzebny jest dodatek z SugarAI Marketplace albo własny proces raportowy.

Jak scalić duplikaty kontaktów w SugarAI?

W widoku listy modułu Contacts należy zaznaczyć zduplikowane rekordy, wybrać akcję scalania, wskazać rekord główny i wartości pól do zachowania. Powiązane szanse, aktywności i notatki przechodzą do rekordu głównego.

Czy można zmienić pola, po których SugarAI sprawdza duplikaty?

Tak. Reguły definiuje się w metadanych modułu (vardefs, strategia FilterDuplicateCheck). Zmiana wymaga pracy dewelopera i przebudowy systemu (Quick Repair and Rebuild), nie jest dostępna jako ustawienie administratora w Studio.

Jak często przeprowadzać audyt danych w CRM?

Pełny audyt warto przeprowadzić przed czyszczeniem bazy, a potem co kwartał powtarzać pomiar kluczowych metryk: odsetka duplikatów, kompletności pól i rekordów nieaktywnych. Dodatkowy audyt jest uzasadniony przed migracją danych lub uruchomieniem nowej integracji.

Jak zapobiegać duplikatom z integracji i formularzy?

Integracja powinna przed utworzeniem rekordu wywołać endpoint REST API duplicateCheck lub wyszukać rekord po identyfikatorze zewnętrznym i adresie e-mail. Jeśli rekord istnieje, integracja go aktualizuje zamiast tworzyć nowy.

Kiedy warto kupić dodatek do deduplikacji SugarAI?

Gdy duplikatów są tysiące, dane napływają z kilku integracji, a ręczne scalanie zajmuje zespołowi kilka godzin tygodniowo. Upsert Deduplicate i DeDupit oferują skanowanie w tle i automatyczne scalanie. Przed zakupem warto sprawdzić zgodność z wersją SugarAI.

Źródła: Gartner, Data Quality: Why It Matters and How to Achieve It (gartner.com, badanie z 2020 r.); T. Nagle, T. C. Redman, D. Sammon, „Only 3% of Companies’ Data Meets Basic Quality Standards”, Harvard Business Review, 2017; SugarAI, Sugar Developer Guide 26.1 — Duplicate Check (support.sugarai.com); Upsert Deduplicate i DeDupit — dokumentacja w SugarAI Marketplace (marketplace.sugarai.com).