Jak czytamy dane & Metodologia Scoringu

Przejrzysta architektura Open Data, wzór wyliczania jakości (98%) oraz progi weryfikacyjne

100%

Centrum Dotacji PRO to inteligentna platforma, która integruje, ujednolica i monitoruje dostępne formy wsparcia finansowego dla przedsiębiorstw, organizacji pozarządowych (NGO), instytucji samorządowych oraz osób prywatnych. Ze względu na brak jednego, zintegrowanego publicznego interfejsu API z bazą naborów w Polsce, stworzyliśmy zaawansowany system ETL (Extract, Transform, Load), który przetwarza dane z dziesiątek rozproszonych źródeł krajowych i unijnych.

📐 Algorytm Scoringu Jakości Danych (Wskaźnik Końcowy)

Wzór Matematyczny v2.1

Wskaźnik jakości (np. 98%) nie jest arbitralną wartością marketingową. Wynik jest obliczany jednostkowo dla każdego rekordu w bazie, a następnie uśredniany w czasie rzeczywistym według formuły ważonej:

Score = (0.40 × Kompletność) + (0.30 × Świeżość) + (0.20 × Zgodność) + (0.10 × Unikalność)
• 40% Kompletność Pól (Completeness)

Weryfikacja obecności kluczowych atrybutów: NIP, kwota, nazwa podmiotu, tytuł projektu, instytucja.

• 30% Świeżość Danych (Freshness)

Weryfikacja cyklu aktualizacji dobowej (odświeżenie wpisu w ciągu ostatnich 24 godzin).

• 20% Zgodność ze Źródłem (Accuracy)

Weryfikacja istnienia podpisanej umowy w wykazach Mapa Dotacji UE / e-Zamówienia.

• 10% Unikalność i Bepoprawność (Uniqueness)

Algorytmiczna kontrola braku duplikatów i deduplikacja rekordów.

Progi Klasyfikacji Jakościowej:
🟢 95% – 100%: Wysoka jakość (Pełna weryfikacja)🟡 85% – 94%: Średnia jakość (Weryfikacja rutynowa)🔴 < 85%: Flaga ręcznego audytu

Metodologia jest wersjonowana (v2.1) i podlega stałym aktualizacjom w miarę integrowania nowych państwowych API i zmian w strukturach rejestrów publicznych.

Nasz proces przetwarzania danych

KROK 01

Agregacja i Ingest

Monitorujemy kilkadziesiąt źródeł w czasie rzeczywistym. Ponieważ w Polsce nie istnieje jedno centralne API dla wszystkich dotacji, łączymy pobieranie przez oficjalne interfejsy programistyczne, parserów RSS/XML oraz dedykowanych crawlerów HTML.

KROK 02

Ujednolicenie danych

Zróżnicowane ogłoszenia normalizujemy do spójnego modelu. Standaryzujemy nazwy beneficjentów (np. mapowanie 'MŚP' oraz 'mikroprzedsiębiorstwa' do jednej kategorii), kwoty, waluty, terminy oraz rodzaje wsparcia (dotacja, pożyczka).

KROK 03

Deduplikacja AI

Ten sam program często pojawia się w kilku portalach. Nasz wieloetapowy algorytm porównuje tytuły, cele, zakresy dat oraz podobieństwo semantyczne, by scalić duplikaty w jeden przejrzysty rekord o wysokiej wiarygodności.

KROK 04

Detekcja zmian & Publikacja

Przechowujemy skróty (hash) zawartości dokumentów. Wszelkie zmiany w terminach składania wniosków, budżecie naboru czy załącznikach są natychmiast wykrywane, wersjonowane i publikowane w panelu użytkownika.

Monitorowane źródła i status integracji

Nazwa źródłaKategoriaMetoda odczytuCzęstotliwośćStatus
Portal Funduszy EuropejskichKrajowy portal centralnyCrawler HTML & Sitemap monitoringCodziennieAktywne
PARP (Polska Agencja Rozwoju Przedsiębiorczości)Agencja wdrażającaHeadless Browser (omijanie WAF)CodziennieWdrażane
NFOŚiGW (Fundusz Środowiska)Programy sektorowe (OZE, Eko)Parser harmonogramu & crawler PDFCodziennieAktywne
ARiMR (Agencja Rolnictwa)Wsparcie rolnictwa i rozwoju wsiScraping warstwy informacyjnejCo 2 dniAktywne
Operatorzy Regionalni (ARR, Województwa)Wojewódzkie i lokalne dotacjeDedykowane konektory HTML / RSSCodziennieAktywne

🛡️ Audytowalność i wiarygodność naborów

Każda informacja prezentowana w naszym serwisie posiada przypisane źródło (URL) oraz zrzut stanu naboru. Dzięki temu masz pewność, że dane nie zostały zmodyfikowane w sposób niezgodny z oficjalną specyfikacją. W przypadku rozbieżności system automatycznie podświetla różnice w wersjach regulaminu i dokumentacji.

💡 Standard Transparentności: Metodologia jakości danych w Centrum Dotacji jest jawna, wersjonowana (v2.1), oparta na uznanych międzynarodowych wymiarach jakości i w pełni transparentna oraz dostępna do audytu przez użytkownika.