دوره جامع وب اسکرپینگ (Web Scraping)

وب اسکرپینگ چیست؟

وب اسکرپینگ (Web Scraping) به زبان ساده یعنی: اطلاعات را از یک یا چند وب‌سایت مختلف جمع‌آوری کرده و در فرمت مدنظرمان ذخیره کنیم. وب اسکرپر هم ابزاری است که اطلاعات را از وب‌سایت‌ها جمع‌آوری می‌کند و در فرمتی که مورد نظر ما است، در اختیار ما قرار می‌دهد.

کاربردهای وب اسکرپینگ

کاربردهای وب اسکرپینگ در هر حوزه‌ای مشهود است؛ زیرا  هر کسب و کار یا فردی، برای اهداف خاصی، نیاز به جمع‌آوری داده‌ها و اطلاعات دارد. امروزه سایت‌های مختلفی، این اطلاعات را در خود جای داده‌اند. ما می‌توانیم با استفاده از وب اسکرپینگ این اطلاعات را استخراج کرده و آن‌ها را تحلیل و مقایسه می‌کنیم.

سرفصل های دوره وب اسکرپینگ:

1- نصب کتابخانه ها در محیط مجازی

2- کتابخانه requests

3- کتابخانه BeatifulSoup

4- وب کاوی در دیجی کالا

5- عبارت باقاعده Regex

6- دانلود فیلم و عکس از وب سایت

7- کتابخانه selenium، ربات نویسی و استخراج اطلاعات

8- نحوه پیدا کردن المان ها در وب سایت ها با selenium

9- implicit & explicit waits

10- ساخت ربات برای وب

11- آشنایی با نحوه اسکرول کردن در وبسایت

12- ساخت ربات اینستاگرام

13- فریمورک scrapy