7.4HTTP経由でコンテンツを取得する
7.4.1requestsモジュールの基本
>>> import requests >>> >>> res = requests.request('get', 'https://codezine.jp/') >>> print(res.text) <!DOCTYPE html> <!--[if lte IE 8]> <html class="no-js lt-ie8" lang="ja"> <![endif]--> <!--[if gt IE 8]><!--> <html class="no-js gt-ie9" lang="ja"> <!--<![endif]--> <head prefix="og: http://ogp.me/ns# fb: http://ogp.me/ns/fb# article: http://ogp.me/ns/article#"> <script> var dataLayer = dataLayer || []; dataLayer.push({ 'trackPageview':'CZ/', 'member' : 'nonmember', }); </script><!-- Google Tag Manager --> <script>(function(w,d,s,l,i){w[l]=w[l]||[];w[l].push({'gtm.start':


この後も延々と続くのでカットします。 正しくできたと思っていんでしょうか?本の場合文章がカットされてるのか、そこで終わっているか、わからなかったので微妙です。

構文request関数
request(method, url, **kwargs)
method :HTTPメソッド
url :URL
kwargs :「オプション名:値」形式のオプション


引数kwargsで利用できる主なオプション
オプション 概要
paramsクエリ情報(「キー名:値」形式の辞書)
data :リクエスト本文(「キー名:値」形式の辞書)
headers :リクエストヘッダー(「ヘッダー名:値」形式の辞書)
files :ファイル(「名前:値」形式の辞書)
timeout :タイムアウト時間
allow_redirects :リダイレクトを追跡するか


Responseオフジェクトの主な属性/メソッド
apparent_encoding :見た目の文字エンコーディング
content :コンテンツ本体(バイト単位)
headers :応答ヘッダー(辞書)
iter_lines(chuk_size=10240) :応答データを反復処理
json() :JSONデータを取得
raw :生のデータ
status_code :応答ステータスコード
text :コンテンツ本体(Unicode)
url :最終的なURL