【python×selenium】ユーザーエージェントを偽装してサイトにアクセスしてみよう。

退屈なことはPythonにやらせよう ?ノンプログラマーにもできる自動化処理プログラミング

新品価格
￥4,070から
(2020/4/12 17:54時点)

今回はユーザーエージェントをランダムに変更してアクセスするプログラムを備忘録として残しておきます。

■ユーザーエージェントとは？

WEBブラウザがサーバーにアクセスするときにブラウザの種類（Chrome等）OSの種類（Windows10等）それぞれのバージョンなどの情報が送られています。

サーバーでは、ブラウザが申告してきたユーザーエージェント名を利用して、それぞれのブラウザ・OSに合わせたHTMLを返します。このユーザーエージェント名はブラウザが申告するものなので書き換えることが可能なのです。

■ユーザーエージェント(UA)偽装するプログラム

こちらの確認君に自動でアクセスしてユーザーエージェントを確認します。

https://www.ugtop.com/spill.shtml

使用するUAの情報はこちらのサイトのものを使用しました。様々な情報が載っているのでお好みのものをお使い下さい。

https://developers.whatismybrowser.com/useragents/explore/

実際のコードがこちらになります。



		
		
			
			

			
			import random
import os
from selenium import webdriver

#UAをいくつか格納しておく
user_agent = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
              'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
              'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36',
              'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
              ]


options = webdriver.ChromeOptions()

#ここにuser_agentからランダムで読み込み
options.add_argument('--user-agent=' + user_agent[random.randrange(0, len(user_agent), 1)])
print(user_agent[random.randrange(0, len(user_agent), 1)])
# chromedriverの場所を指定します
chromedriver = "C:\webdriver\chromedriver.exe"

#optionsを設定します
driver = webdriver.Chrome(chrome_options=options,executable_path=chromedriver)

#確認君のサイトを開きます。
driver.get('https://www.ugtop.com/spill.shtml')
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
				
						import random
import os
from selenium import webdriver
 
#UAをいくつか格納しておく
user_agent = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
              'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
              'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36',
              'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
              ]
 
 
options = webdriver.ChromeOptions()
 
#ここにuser_agentからランダムで読み込み
options.add_argument('--user-agent=' + user_agent[random.randrange(0, len(user_agent), 1)])
print(user_agent[random.randrange(0, len(user_agent), 1)])
# chromedriverの場所を指定します
chromedriver = "C:\webdriver\chromedriver.exe"
 
#optionsを設定します
driver = webdriver.Chrome(chrome_options=options,executable_path=chromedriver)
 
#確認君のサイトを開きます。
driver.get('https://www.ugtop.com/spill.shtml')