DIME MAGAZINE
Web制作に携わる人にとって、スクレイピングは便利な技術です。特にWeb制作を勉強中の人の場合、スクレイピングで得られる情報は宝の山といえるでしょう。しかしスクレイピングはルールを守って行わないと、迷惑行為となる可能性があります。
スクレイピングとクローリングの違い
スクレイピングについて理解するには、似た動作であるクローリングとの違いを把握するのが近道です。両者の相違点を確認して、スクレイピングについて理解を深めていきましょう。
Webサイトから情報を抽出する『スクレイピング』
スクレイピングとは、Web上に公開されている情報の中から、目的に合ったデータを抽出して集める技術です。
スクレイピングの語源は『こする』『かき集める』などの意味を持つ『scrape』です。『物体の表面に付いたものをこすり落とす』というニュアンスを持ち、転じてスクレイピングは、Webから収集したデータを目的に合うよう抽出する技術を指す言葉になりました。
スクレイピングによって入手した情報は、目的に合わせて加工されます。必要のないデータをそぎ落とし、情報として価値のあるものだけを残すのです。
巡回して情報を集める『クローリング』
クローリングとは、複数のサイトから情報を集める技術です。語源は『crawl』で、『はい回る』『ハイハイをする』などの意味を持つことから、Web上を巡回して複数サイトから情報を集めて回る技術をクローリングと呼ぶようになりました。クローリングは新しくできたWebサイトを認識するときに活用され、Webサイトから収集した情報にインデックスを付けて記録します。
クローリングとスクレイピングはプログラムの動作が似ているため、よく比較して語られます。両者の違いは、クローリングが巡回したWebサイトのHTML情報を集めるだけなのに対し、スクレイピングは集めた情報を目的に合った形に抽出したり加工したりする点です。
APIでの抽出とスクレイピングの違い
スクレイピングはAPIと混同されるケースもあります。APIとはソフトウエアやアプリケーションの情報を公開し、第三者によるアプリケーションの開発を容易にするものです。実装が難しい機能であっても、その機能を盛り込んだソフトウエアやアプリケーションを簡単に開発できるようになります。
スクレイピングとAPIの違いは、情報を出す側が公式にデータを提供しているかどうかです。APIは情報提供者側が第三者による情報取得を認めています。対してスクレイピングは、第三者による情報の取得を許可しているわけではありません。スクレイピングで集められる情報はあくまでも非公式なものです。
スクレイピングの活用方法
(出典) pexels.com
スクレイピングの技術はいろいろな場面で活用されています。具体的な活用例をチェックして、スクレイピングに関する知見を深めましょう。
新規サービスの開発
スクレイピングは新規のサービスを開発する際に利用されています。スクレイピングを活用したサービスの代表例が、検索エンジンです。検索エンジンはインターネット上にあふれるWebサイトのデータをスクレイピングにより集め、収集したデータを元にキーワードに即した検索結果を表示しています。
またAmazonや楽天市場、Yahoo!ショッピングなどのECサイトでスクレイピングを行い、取り扱っている商品の価格情報を抽出すれば、特定の商品の価格比較ができるアプリケーションを作れるでしょう。
マーケティング情報の取得
競合他社の情報を収集する場面でも、スクレイピングは役立ちます。他社のECサイトをスクレイピングすれば、商品の価格や現在進行形で検索されているキーワード、集まっているレビューなどのマーケティング情報を収集できます。収集したデータを元に他社の動きに合わせて戦略を練れば、マーケティングの効率化が図れるでしょう。
またスクレイピングを用いれば、マーケティングに使える情報も簡単に集められます。ニュースサイトをスクレイピングすればトレンド情報が簡単に手に入り、世の中の流れに即したマーケティング施策が打てるでしょう。スクレイピングならAPIでは手に入らない情報も入手できるので、より的を絞ったマーケティング施策を考えられるはずです。
スクレイピングの方法
(出典) pexels.com
スクレイピングの基本が理解できたら、次はスクレイピングの実践方法を頭に入れておきましょう。やり方を知っておけば、いざスクレイピングをやることになっても迷いません。
まずデータ収集の目的を明確に
スクレイピングの成否は、何を目的にデータを集めるかにかかっています。目的がはっきりしていなければ、どのようなサイトからどのようなデータを抽出すればいいのか絞り込めないからです。
スクレイピングには必ず目的があります。『競合他社を分析してよりよいマーケティング施策につなげる』や『特定企業の株価を追跡して値動きをデータとしてまとめる』など、多種多様な目的が考えられるでしょう。
目的によってスクレイピングすべきサイトの種類や、抽出すべきデータが異なります。実際に作業に入る前に、何を目的にスクレイピングを行うのか明確にすることが大切です。
スクレイピングツールを使う
手軽にスクレイピングを行いたいなら、ツールを活用するのが便利です。ツールを活用すれば、プログラミングの知識がなくても簡単にスクレイピングができます。
一からスクレイピングを行うには、専門の開発者を雇ってプログラミングする必要があり、費用と時間がかかります。スクレイピングツールを導入すれば、開発者を雇う必要もプログラムを組む必要もありません。誰でも思い立ったタイミングでスクレイピングを始められるでしょう。
スクレイピングツールの代表例が『Octoparse』です。パソコンにインストールして使うWebツールで、個人向けの無料の「フリー」プランのほか、チーム向けの「スタンダード」、企業向けの「プロフェッショナル」などのプランがあります。有料プランに登録すると抽出タスクの登録数が増えたり、端末3台で同時に実行できたりと機能性が高まります。
自分でプログラミングする
HTMLやCSSの知識に加え、プログラミングの知識がある人なら、自分でプログラムを書いてスクレイピングを行うのもおすすめです。
スクレイピングにうってつけの言語が『Python』です。Pythonにはスクレイピングに役立つフレームワークやライブラリが豊富に用意されています。データを分析しやすい形に加工したり作業を自動化したりできるので、賢く使えば効率的にスクレイピングを行えます。Pythonを使ったスクレイピングの手順は以下の通りです。
- Webページの取得
- スクレイピング
- 抽出したデータの保存
スクレイピングとクローリングに特化したフレームワーク『Scrapy』を使えば、最低限のコーティングだけでスクレイピングが可能です。複数のライブラリを組み合わせてスクレイピングする必要がないので、作業にかかる手間と時間を大幅に短縮できるでしょう。
スクレイピングはルールを守らないと違法？
(出典) pexels.com
スクレイピングはWeb制作を行う人にとって便利な技術です。しかしスクレイピングはルールやマナーを理解した上で行わないと、知らないうちに違法行為を犯してしまう可能性があります。
法律の順守に注意が必要
スクレイピングは『著作権法』に抵触したり『偽計業務妨害罪』に問われたりする可能性のある行為です。著作権法とは創造性を有している著作物の保護を規定する法律で、取得したデータを著作者の許可を得ずに公開したり販売したりすることを禁じています。
著作権法でデータの記録や改変が認められているのは、情報を解析するためや検索サービスを提供するためなど、ごく限られたシーンのみです。つまりスクレイピングしたデータの使い方を間違えると、無断複製として処罰される可能性があるのです。
またスクレイピングによって相手サイトに迷惑をかけると、偽計業務妨害罪に問われる危険性があります。スクレイピングで相手サイトのサーバーに許容以上の負荷をかければ、システム障害を引き起こして業務を妨害してしまうでしょう。スクレイピングを行う際は相手方への配慮が求められます。
サイトの利用規約も必読
スクレイピングは、サイトの規約で禁止されている場合もあるため注意が必要です。スクレイピングが禁止されているサイトでスクレイピングを行うと、民事上の責任を問われる可能性があります。海外ではスクレイピングが禁止されているサイトでのスクレイピングをめぐり、裁判に発展しているケースが見られます。
スクレイピングを禁止しているWebサイトの代表が『Twitter』です。Twitter社は同社からの同意を得ていないスクレイピングを一切禁止しています。スクレイピングを行う場合は、必ず相手のWebサイトの利用規約を確認するようにしましょう。
構成／編集部
最新号
