Semalt - Чӣ тавр скриптҳои интернетро бояд сохт?

Шӯрбои зебо як китобхонаи Python аст, ки барои пошидани сафҳаҳои веб аз тариқи эҷоди дарахти ҳамсоя аз санадҳои XML ва HTML васеъ истифода мешавад. Скрапинги веб, як усули гирифтани маълумот аз вебсайтҳо ва саҳифаҳо, дар соҳаи таҳлили маълумот ва идоракунӣ ба таври васеъ истифода бурда мешавад. Дар бештари ҳолатҳо, забони барномасозии Python шарти зарурӣ дар илми иттилоот мебошад.

Python 3 дорои воситаҳо ва модулҳо мебошад ва шумо метавонед ба лоиҳаи идоракунии маълумот муроҷиат кунед. Айни замон ҳамчун Beautiful Soup 4 кор мекунад, ин модул ҳам бо Python 3 ва ҳам Python 2.7 мувофиқ аст. Модули зебо Soup 4 инчунин қодир аст як дарахти парсиро барои шӯрбоҳои пӯшида пӯшонад. Дар ин дарсӣ, шумо чӣ тавр пароканда кардани сафҳаро ва навиштани маълумотро ба файли CSV омӯхта метавонед.

Сар кардани кор

Барои оғози кор, дар компютери худ муҳити рамзгузории сервер ё муҳити маҳаллии Python барпо кунед. Шумо инчунин бояд модули шӯрбои зебо ва дархостҳоро дар мошини худ насб кунед. Донистани кор бо ҳарду модул инчунин шарти зарурист. Шиносоӣ бо барчасбҳои HTML ва сохтор низ як бартарии изофӣ мебошад.

Фаҳмидани маълумоти шумо

Дар ин замина, маълумоти воқеӣ аз Галереяи санъати миллӣ истифода бурда мешавад, то шумо дарк кунед, ки чӣ тавр истифода кардани шӯрбои зебо 4. Галереяи санъати миллӣ аз 120,000 дона иборат буда, онро тақрибан 13,000 рассом иҷро мекунанд. Санъат дар Вашингтони Колумбия, ИМА ҷойгир аст.

Истихроҷи веб бо Beautiful Soup ин кор душвор нест. Масалан, агар шумо ба ҳарфи Z диққат диҳед, номи дар рӯйхат қайдшударо қайд кунед ва қайд кунед. Дар ин ҳолат, номи аввал Забалия, Никола. Барои мувофиқат шумораи саҳифаҳо ва номи ҳунарманди охиринро нишон диҳед.

Чӣ тавр ворид кардани дархостҳо ва китобхонаи зебои шӯрбо

Барои ворид кардани китобхонаҳо, муҳити барномасозии Python 3-ро фаъол кунед. Боварӣ ҳосил намоед, ки дар муҳити барномасозии худ дар як директория ҳастед. Барои оғози кор фармони зеринро иҷро кунед. my_env / бин / фаъол кардан.

Файли нав эҷод кунед ва ба ворид кардани китобхонаҳои зебо ва дархостҳо оғоз кунед. Китобхонаи дархостҳо ба шумо имкон медиҳад, ки HTTP-ро дар доираи Python-и худ бо формати хондан истифода баред. Шӯрбо зебо, аз тарафи дигар, барои зуд тарошидани саҳифаҳо кор мекунад. Барои ворид кардани шӯрбои зебо bs4-ро истифода баред.

Тарзи ҷамъоварӣ ва таҳлили саҳифаи интернет

Истифодаи дархостҳо суроғаи URL-и сафҳаи аввали шуморо ҷамъ мекунад. URL саҳифаи аввал ба саҳифаи тағирёбанда таъин карда мешавад. Объекти BeautifulSoup-ро аз Дархостҳо сохта, онро аз таҳлилгари Python таҳлил кунед.

Дар ин дарс, ҳадаф ҷамъоварии пайвандҳо ва номи рассомон аст. Масалан, шумо метавонед санаҳо ва миллатҳои рассомонро гирд оваред. Барои корбарони Windows, номи рости рассомро клик кунед. Дар ин ҳолат, Забаглия, Никколаро истифода баред. Барои корбарони Mac OS, "CTRL" -ро клик кунед ва номро клик кунед. Менюи "Тафтиш кардани элемент" -ро, ки поп-ап дар экрани шумо барои дастрасӣ ба абзорҳои таҳиягарони веб пахш мекунад, клик кунед. Номи рассомро чоп кунед, то шӯрбои зебо зуд дарахтро таҷлил кунад.

Хориҷ кардани истиноди поёни

Барои хориҷ кардани истинодҳои поёни саҳифаи интернетии худ, DOM-ро бо клики рости элемент тафтиш кунед. Шумо муайян мекунед, ки пайвандҳо дар ҷадвали HTML гузошта шудаанд. Бо истифода аз Шӯрбои зебо, "методи декомпозитсия" -ро барои хориҷ кардани барчаспҳо аз дарахти каламсоз истифода баред.

Чӣ тавр мундариҷаро аз барчасп бардоред

Шумо тамоми теги истинодро чоп кардан лозим нест, Шӯрбои зеборо барои нест кардани мавод аз теги истифода баред. Шумо инчунин метавонед URL-и бо рассомон алоқамандро бо истифода аз Beautiful Soup 4 гиред.

Гирифтани маълумотҳои шикаста ба файли CSV

Файли CSV ба шумо имкон медиҳад, ки маълумоти сохториро дар матни оддӣ нигоҳ доред, ки формат бештар барои ҷадвали додаҳо истифода мешавад. Дониш дар истифодаи файлҳои оддии матн дар Python тавсия дода мешавад.

Истихроҷи маълумот барои харошидани сафҳаҳо ва гирифтани иттилоот истифода мешавад. Аз сайтҳое, ки шумо маълумоти истихроҷӣ аз он ҳастед, бодиққат бошед. Баъзе вебсайтҳои динамикӣ истихроҷи вебро дар сайтҳои худ маҳдуд мекунанд. Пур кардани сафҳа бо шӯрбои зебо ва Python 3 ин содда аст.