【python3×selenium】FireFoxブラウザでUA偽装してスクレイピングする。

FireFoxブラウザでUA偽装してスクレイピングしよう

今回はFireFoxのUAを変更してアクセスするプログラムを備忘録として残しておきます。

■まずユーザーエージェントとは?

WEBブラウザがサーバーにアクセスするときにブラウザの種類(FireFox等)OSの種類(Windows10等)それぞれのバージョンなどの情報が送られています。
サーバーでは、ブラウザが申告してきたユーザーエージェント名を利用して、それぞれのブラウザ・OSに合わせたHTMLを返します。このユーザーエージェント名はブラウザが申告するものなので書き換えることが可能なのです。
今回はFireFoxのUAをiPhoneに変更してみます。

■ユーザーエージェント(UA)偽装するプログラム

こちらの確認君に自動でアクセスしてユーザーエージェントを確認します。

https://www.ugtop.com/spill.shtml

使用するUAの情報はこちらのサイトのものを使用しました。様々な情報が載っているのでお好みのものをお使い下さい。

https://developers.whatismybrowser.com/useragents/explore/

実際のコードがこちらになります。

このプログラムを実行するとブラウザが立ち上がるので
このようにUAが変更されていることが分かります。

ozilla/5.0 (iPhone; CPU iPhone OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1 Mobile/15E148 Safari/604.1に設定されています。