Wykorzystane technologie: JavaScript, React, Node.js, chart.js, bootstrap, mysql, playwright
Celem pracy była analiza statystyczna ofert sprzedaży nieruchomości z wykorzystaniem techniki web scraping. Do osiągnięcia zamierzonego rezultatu, stworzono aplikacje serwerową oraz internetową. Omówiono technikę web scraping, oraz dokonano przeglądu istniejących rozwiązań, które umożliwiają gromadzenie danych ze stron internetowych. Ukazano koncepcje rozwiązania, poprzez zdefiniowanie wymagań, przedstawienie struktury bazy danych oraz aplikacji internetowej i serwerowej. Zaprezentowano również sposób działania funkcji pobierającej dane. Dokonano implementacji, która obejmowała stworzenie aplikacji serwerowej wraz z mechanizmem automatycznej ekstrakcji informacji z portalu ogłoszeniowego oraz ich zapisu w bazie danych. Stworzono także aplikacje internetową, za pomocą której, można dokonać konfiguracji funkcji pobierających dane oraz zobaczyć wyniki ich działania w postaci listy zebranych informacji z ogłoszeń. Utworzono także wykresy które posłużyły do przedstawienia analiz statystycznych. Zaprezentowano rezultat wykonanych prac oraz zweryfikowano responsywność działania interfejsu graficznego, którego test przeprowadzono na urządzeniu mobilnym. W podsumowaniu przedstawiono wnioski oraz rozważania nad możliwościami dalszego rozwoju projektu.
The purpose of the study was to perform a statistical analysis of real estate sales offers using the web scraping technique. To achieve the intended result, server and web applications were created. The web scraping technique was discussed with examples of already existing solutions intended for collecting data from websites. The concept of the solution was shown by defining the requirements, presenting the structure of the database, web and server application, describing the process of the data retrieval function. Implementation included the creation of a server application with a mechanism for the automatic extraction of information from online auction site and saving them in the database. The web application has been created for configuring the data retrieval functions and seeing the results of their actions in the form of a result list. The implementation also contained creating charts that were used for presenting statistical analysis. The result of the work was presented with verification of graphical interface, which was performed on a mobile device. The summary contains conclusions and considerations on the possibilities of further project development.
analiza statystyczna, ekstrakcja danych, oferty sprzedaży nieruchomości, serwis aukcyjny, serwer, aplikacja internetowa