Webスクレイピング自動化ツール
PythonとSeleniumを用いて、動的Webサイトからの情報取得を自動化したクローラーです。
課題
JavaScriptで描画される動的Webサイトから、必要な情報を安定して取得することが課題でした。
対応・解決策
Seleniumのヘッドレスブラウザーを利用し、ページの描画後にデータを取得する構成を採用しました。
得られた知見
SeleniumとBeautiful Soupを組み合わせたWebスクレイピングの設計・実装を経験しました。
PythonとSeleniumを用いて、動的Webサイトからの情報取得を自動化したクローラーです。
JavaScriptで描画される動的Webサイトから、必要な情報を安定して取得することが課題でした。
Seleniumのヘッドレスブラウザーを利用し、ページの描画後にデータを取得する構成を採用しました。
SeleniumとBeautiful Soupを組み合わせたWebスクレイピングの設計・実装を経験しました。