Înapoi la portofoliu
ToolStudiu / personal

Imobiliare Scraper

Tool Python pentru colectarea și normalizarea anunțurilor Storia, cu scraping paralel, deduplicare pe ID-ul anunțului, stocare relațională, API REST filtrabil și calcul de distanțe pietonale, auto și transport public.

Imobiliare Scraper

Stack principal

Python
Django
Django REST Framework
django-filter
MySQLSQLiterequestsBeautifulSoup4lxmlThreadPoolExecutorOSRMGoogle Maps Directions API

Provocarea

Provocarea a fost transformarea datelor semi-structurate ale unei aplicații Next.js externe într-un model stabil și filtrabil, fără a depinde exclusiv de selectori CSS fragili. În același timp, re-scraping-ul trebuia să evite duplicatele, să actualizeze datele existente și să îmbogățească fiecare proprietate cu distanțe de deplasare utile pentru selecție.

Soluția

Soluția citește datele Storia din __NEXT_DATA__, normalizează câmpurile relevante și procesează paginile de detaliu concurent prin ThreadPoolExecutor. Django ORM folosește ad_id ca identificator unic, update_or_create pentru re-scraping și tabele normalizate pentru caracteristici, facilități, imagini și distanțe. DRF oferă paginare, filtrare și sortare, iar serviciul de distanțe combină Haversine, OSRM și opțional Google Maps Directions.

Complexitate notabilă

Imobiliare Scraper este un proiect de studiu construit pentru a transforma listările imobiliare într-un set de date interogabil, nu doar într-un export punctual. Fluxul Django pornește de la paginile de rezultate Storia, detectează automat numărul de pagini din __NEXT_DATA__, extrage preview-urile anunțurilor și apoi deschide paginile de detaliu pentru a prelua titlul, descrierea, prețul, suprafața, etajul, coordonatele, cartierul, strada, datele publice ale vânzătorului, caracteristicile, facilitățile, imaginile și timestamp-urile furnizate de sursă.

Scraperul folosește o sesiune requests cu connection pooling și retry pentru răspunsuri 429 și erori 5xx, delay-uri scurte randomizate și ThreadPoolExecutor cu număr configurabil de workers pentru procesarea paralelă a paginilor de detaliu. Întreruperea prin Ctrl+C este tratată explicit atât în varianta standalone, cât și în comanda Django.

Persistența principală este modelată relațional în Django: Listing păstrează câmpurile de interogare frecventă, iar Characteristic, Feature, Image și Distance sunt tabele separate cu relații, constrângeri de unicitate și indexuri dedicate. Re-scraping-ul folosește update_or_create pe ad_id, astfel încât același anunț este actualizat în loc să fie duplicat. Caracteristicile, facilitățile și imaginile asociate sunt reconstruite și inserate bulk pentru a păstra o reprezentare coerentă a stării curente.

Pe lângă distanța geodezică Haversine, serviciul de distanțe poate interoga OSRM pentru trasee pietonale și auto și, dacă există o cheie configurată, Google Maps Directions pentru transport public. Rezultatele sunt persistate per anunț și punct de referință și pot fi folosite direct în filtrele API.

Django REST Framework expune listare paginată și detaliu complet, filtrare după tipul vânzătorului, tipul advertiserului, cartier, interval de preț și duratele de deplasare, plus filtre multi-select pentru facilități și caracteristici. Endpointuri separate întorc valorile disponibile pentru filtre, recalculează distanțele unui anunț și pot declanșa manual un nou scraping. Acest trigger rulează sincron în procesul API; repository-ul nu conține un worker Celery activ.

Repository-ul păstrează și o etapă anterioară a proiectului în directorul base/: scraper BeautifulSoup, procesare paralelă și persistență SQLite, cu export JSON/CSV și un script shell de administrare. Scriptul face referire la o interfață web locală, dar fișierul start_web.py nu este prezent în backup, iar repository-ul actual nu conține componente frontend. Din structura API-ului și a filtrelor se poate deduce intenția unui instrument de selecție a locuințelor după cost, zonă, facilități și timp de deplasare, însă acel UI nu este revendicat ca implementat.

Versiunea analizată este un proiect de dezvoltare, nu o configurație production-ready: setările Django păstrează DEBUG activ, un secret de dezvoltare și credențiale MySQL în cod, nu există autentificare sau autorizare pentru acțiunile POST, iar request-urile OSRM dezactivează verificarea TLS. Acestea sunt limite de securitate care trebuie remediate înainte de expunerea serviciului pe internet.

Rezultate cheie

  • Scraper Storia care detectează automat paginarea și extrage preview-uri direct din __NEXT_DATA__
  • Procesare paralelă configurabilă a paginilor de detaliu, cu connection pooling și retry pentru 429 și erori 5xx
  • Normalizare relațională pentru anunțuri, caracteristici, facilități, imagini și distanțe
  • Upsert pe ad_id pentru actualizarea anunțurilor deja cunoscute fără dublarea înregistrării principale
  • Inserare bulk pentru caracteristici, facilități și variantele de imagine asociate
  • Calcul și persistență pentru distanță în linie dreaptă, traseu pietonal, traseu auto și transport public când integrarea este disponibilă
  • API REST paginat cu listare, detaliu complet, sortare și filtre după preț, cartier, vânzător, facilități, caracteristici și durată de deplasare
  • Endpoint pentru valorile disponibile în filtre și endpoint pentru recalcularea distanțelor unui anunț
  • Comandă Django CLI cu URL, număr de pagini și workers configurabile, plus oprire controlată la întrerupere
  • Prototip standalone păstrat separat, cu SQLite, statistici locale și export JSON/CSV

Proiecte asemănătoare

Vrei ceva similar?

Începe cu wizard-ul de estimare — răspunzi la câteva întrebări și primești un range de preț + timeline realist.