取得方針
何を、どの頻度で読み、どのご依頼をお断りするか。企業の法務が最初に確認する項目であり、自社のアドレス資産がここに依存しています。
このページは定型文ではありません。実際にソフトウェアが行っていることを書いています。「お断りすること」に並べた項目は、約束ではなくコードで担保されています。コードでは担保しておらず運用の方針として守っているものは、「運用の方針」に分けて書いています。
読むもの
公開されている販売ページ ―― ログインせずに買い物客が見るのと同じページです。価格・商品名・在庫状況、そして掲載している販売店の名前。
読む前に確認すること
ページを URL で読み込むたびに robots.txt を確かめます（抽出・監視の掃引・ブラウザ API でページへ移動するとき）。この節の確認・間隔・429 の待ちは、その読み込みに掛かります。禁止されたパスは取得しません。crawl-delay が公開されていればそれを下限とし、公開されていなければこちらで下限を決め、ソースごとに記録します。
robots.txt が取れなかったとき。 5xx を返した・繋がらなかった・時間内に答えなかったときは、規則が公開されていないものとして読み進めます（間隔の下限はそのまま守ります）。取れなかったことは5分間覚え、そのあとまた取りに行きます。404 などの 4xx は、規則を公開していないものとして扱います。
応答そのもの。 ページそのものが 403・429・503 を返したら、相手の断りとして日付とともに記録します。 1〜2回なら、次の周期にもう一度だけ読みに行きます。3回続けて断られた情報源は止め、お客様には翌朝の便で1度だけお知らせします。お客様が再開を選ばない限り、その情報源は読まないままにします。 拒否を迂回する方法は探しません。
429（多すぎる）を受けたとき。 そのサイトへは、Retry-After に示された時間（示されていなければ1時間。60秒〜24時間の範囲に収めます）、そのホストのページをどのアドレスからも、どのお客様のためにも読み込みません。
お断りすること
努力目標ではありません。いずれもコードに存在せず、ご依頼いただいてもお断りします。
- 指紋の偽装をしません。 クライアントの正体を偽りません
- CAPTCHAを回避しません。 問いかけは答えであり、答えは「いいえ」です
- 認証を回避しません。 アカウントなしで見られる範囲だけを読みます
- 示された上限を超えません。 アドレスを切り替えてレート制限を回避するのは、能力ではなく回避です。それは販売しません
倫理と同時に、事業上の理由があります。一度拒否された取得元は、二度と読めません。 その損失は当社だけでなく、その情報源を必要としているすべてのお客様に及びます。 利害と倫理が同じ方向を向いています。
運用の方針
次の項目は、上の一覧と違いコードでは担保していません。運用の方針として守っています。
- 個人情報を収集しません。 価格と商品の掲載を読みます。販売者が事業者であればその事業者名を記録し、個人の情報が含まれる掲載は保持しません。事業者か個人かを自動で見分ける処理や、個人の情報を自動で取り除く処理はありません
記録するもの
1件ごとに、取得元・掲載URL・読み取った時刻・掲載されていた価格・消費税を除いた価格・使用した為替レートとそのレート自身の公表日を記録します。 数字が「主張」ではなく「検算できるもの」になるのは、この記録があるからです。
削除のご依頼
当社のボットの名乗り（WebIntelligence）と止め方は、取得のボットについてにまとめています。
サイトを運営されていて、読まれたくない場合は、robots.txt で拒否を指定してください。次回の巡回から尊重し、そのソースは読まないままにします。
最終更新