Java培训
美国上市Java培训机构

400-111-8989

热门课程

java程序员是如何使用 Java 进行 Web 抓取?

  • 发布:叮当
  • 来源:java教程
  • 时间:2018-08-06 13:58

有一种非常广泛的误解,人们似乎把Web抓取和Web爬虫当成了同一种东西。java程序员是如何使用 Java 进行 Web 抓取?Web抓取可以被认为是拒绝服务攻击:发送太多请求来获取数据会给服务器带来太多压力,从而限制了正常用户访问网站的能力。

java程序员是如何使用 Java 进行 Web 抓取

Web抓取是什么?

有一种非常广泛的误解,人们似乎把Web抓取和Web爬虫当成了同一种东西。所以我们先明确这一点。

两者有个非常显著的区别:

Web爬虫,指搜索或“爬”网页以获得任意信息的过程。通常是搜索引擎如Google、Yahoo或Bing的功能,以便给我们显示搜索结果。

Web抓取,指从特定的网站上利用特别定制的自动化软件手机信息的过程。

注意!

尽管Web抓取本身是从网站获取信息的合法方式,但如果使用不当,可能会变成非法。

有几种情况需要特别注意:

Web抓取可以被认为是拒绝服务攻击:发送太多请求来获取数据会给服务器带来太多压力,从而限制了正常用户访问网站的能力。

无视版权法和服务条款:因为许多人、许多组织和公司都开发Web抓取软件来收集信息,给许多网站如Amazon、eBay、LinkedIn、Instagram、Facebook等带来了不小的麻烦。因此,绝大多数网站都禁止使用抓取软件获取他们的数据,你必须获得书面许可才能收集数据。

Web抓取可被恶意使用:抓取软件的行为很像机器人,一些框架甚至提供能够自动填写并提交表单的工具。因此可以被用作自动垃圾发送工具,甚至能攻击网站。这也是CAPTCHA存在的原因之一。

如果你想开发一个强大的抓取软件,请务必考虑以上几点,遵守法律和法规。

Web抓取框架

就像许多现代科技一样,从网站提取信息这一功能也有多个框架可以选择。最流行的有JSoup、HTMLUnit和Selenium WebDriver。我们这篇文章讨论JSoup。

JSoup

JSoup是个开源项目,提供强大的数据提取API。可以用它来解析给定URL、文件或字符串中的HTML。它还能操纵HTML元素和属性。

使用JSoup解析字符串

解析字符串是JSoup的最简单的使用方式。

public class JSoupExample { public static void main(String[] args) { String html = "Website title

Sample paragraph number 1

Sample paragraph number 2

"; Document doc = Jsoup.parse(html); System.out.println(doc.title()); Elements paragraphs = doc.getElementsByTag("p"); for (Element paragraph : paragraphs) { System.out.println(paragraph.text()); } }

这段代码非常直观。调用parse()方法可以解析输入的HTML,将其变成Document对象。调用该对象的方法就能操纵并提取数据。

在上面的例子中,我们首先输出页面的标题。然后,我们获取所有带有标签“p”的元素。然后我们依次输出每个段落的文本。

运行这段代码,我们可以得到以下输出:

Website titleSample paragraph number 1Sample paragraph number 2

使用JSoup解析URL

解析URL的方法跟解析字符串有点不一样,但基本原理是相同的:

public class JSoupExample { public static void main(String[] args) throws IOException { Document doc = Jsoup.connect("http://www.wikipedia.org").get(); Elements titles = doc.getElementsByClass("other-project"); for (Element title : titles) { System.out.println(title.text()); } }}

要从URL抓取数据,需要调用connect()方法,提供URL作为参数。然后使用get()从连接中获取HTML。这个例子的输出为:

Commons Freely usable photos & moreWikivoyage Free travel guideWiktionary Free dictionaryWikibooks Free textbooksWikinews Free news sourceWikidata Free knowledge baseWikiversity Free course materialsWikiquote Free quote compendiumMediaWiki Free & open wiki applicationWikisource Free libraryWikispecies Free species directoryMeta-Wiki Community coordination & documentation

可以看到,这个程序抓取了所有class为other-project的元素。

这种方法是最常用的,因此我们看一些通过URL进行抓取的其他例子。

抓取指定URL的所有链接

public void allLinksInUrl() throws IOException { Document doc = Jsoup.connect("http://www.wikipedia.org").get(); Elements links = doc.select("a[href]"); for (Element link : links) { System.out.println("\nlink : " + link.attr("href")); System.out.println("text : " + link.text()); } }

运行结果是一个很长的列表:

Link : //en.wikipedia.org/Text : English 5 678 000+ articlesLink : //ja.wikipedia.org/Text : 日本語 1 112 000+ 記事Link : //es.wikipedia.org/Text : Español 1 430 000+ artículosLink : //de.wikipedia.org/Text : Deutsch 2 197 000+ ArtikelLink : //ru.wikipedia.org/Text : Русский 1 482 000+ статейLink : //it.wikipedia.org/Text : Italiano 1 447 000+ vociLink : //fr.wikipedia.org/Text : Français 2 000 000+ articlesLink : //zh.wikipedia.org/Text : 中文 1 013 000+ 條目 Text : Wiktionary Free dictionaryLink : //www.wikibooks.org/Text : Wikibooks Free textbooksLink : //www.wikinews.org/Text : Wikinews Free news sourceLink : //www.wikidata.org/Text : Wikidata Free knowledge baseLink : //www.wikiversity.org/Text : Wikiversity Free course materialsLink : //www.wikiquote.org/Text : Wikiquote Free quote compendiumLink : //www.mediawiki.org/Text : MediaWiki Free & open wiki applicationLink : //www.wikisource.org/Text : Wikisource Free libraryLink : //species.wikimedia.org/Text : Wikispecies Free species directoryLink : //meta.wikimedia.org/Text : Meta-Wiki Community coordination & documentationLink : http://creativecommons.org/licenses/by-sa/3.0/Text : Creative Commons Attribution-ShareAlike LicenseLink : //meta.wikimedia.org/wiki/Terms_of_UseText : Terms of UseLink : //meta.wikimedia.org/wiki/Privacy_policyText : Privacy Policy

与此相似,你还可以得到图像的数量、元信息、表单参数等一切你能想到的东西,因此经常被用于获取统计数据。

使用JSoup解析文件

public void parseFile() throws URISyntaxException, IOException { URL path = ClassLoader.getSystemResource("page.html"); File inputFile = new File(path.toURI()); Document document = Jsoup.parse(inputFile, "UTF-8"); System.out.println(document.title()); //parse document in any way }

如果要解析文件,就不需要给网站发送请求,因此不用担心运行程序会给服务器增添太多负担。尽管这种方法有许多限制,并且数据是静态的,因而不适合许多任务,但它提供了分析数据的更合法、更无害的方式。

得到的文档可以用前面说过的任何方式解析。

设置属性值

除了读取字符串、URL和文件并获取数据之外,我们还能修改数据和输入表单。

例如,在访问亚马逊时,点击左上角的网站标志,能返回到网站的首页。

如果想改变这个行为,可以这样做:

public void setAttributes() throws IOException { Document doc = Jsoup.connect("http://www.amazon.com").get(); Element element = doc.getElementById("nav-logo"); System.out.println("Element: " + element.outerHtml()); element.children().attr("href", "notamazon.org"); System.out.println("Element with set attribute: " + element.outerHtml()); }

获取网站标志的id后,我们可以查看其HTML。还可以访问它的子元素,并改变其属性。

Element: <div id="nav-logo"> <a href="/ref=nav_logo/135-9898877-2038645" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon span> <span class="nav-logo-ext nav-sprite"> span> <span class="nav-logo-locale av-sprite"> span> a> <a href="/gp/prime/ref=nav_logo_prime_join/135-9898877-2038645" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime a> div>Element with set attribute: <div id="nav-logo"> <a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon span> <span class="nav-logo-ext av-sprite"> span> <span class="nav-logo-locale nav-sprite"> span> a> <a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime a> div>

默认情况下,两个子元素都指向了各自的链接。将属性改变为别的值之后,可以看到子元素的href属性被更新了。

添加或删除类

除了设置属性值之外,我们还可以修改前面的例子,给元素添加或删除类:

public void changePage() throws IOException { Document doc = Jsoup.connect("http://www.amazon.com").get(); Element element = doc.getElementById("nav-logo"); System.out.println("Original Element: " + element.outerHtml()); element.children().attr("href", "notamazon.org"); System.out.println("Element with set attribute: " + element.outerHtml()); element.addClass("someClass"); System.out.println("Element with added class: " + element.outerHtml()); element.removeClass("someClass"); System.out.println("Element with removed class: " + element.outerHtml()); }

运行代码会给我们以下信息:

Original Element: <div id="nav-logo"> <a href="/ref=nav_logo/135-1285661-0204513" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon span> <span class="nav-logo-ext nav-sprite"> span> <span class="nav-logo-locale av-sprite"> span> a> <a href="/gp/prime/ref=nav_logo_prime_join/135-1285661-0204513" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime a> div>Element with set attribute: <div id="nav-logo"> <a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon span> <span class="nav-logo-ext av-sprite"> span> <span class="nav-logo-locale nav-sprite"> span> a> <a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime a> div>Element with added class: <div id="nav-logo" class="someClass"> <a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon span> <span class="nav-logo-ext av-sprite"> span> <span class="nav-logo-locale nav-sprite"> span> a> <a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime a> div>Element with removed class: <div id="nav-logo"> <a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon span> <span class="nav-logo-ext av-sprite"> span> <span class="nav-logo-locale nav-sprite"> span> a> <a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime a> div>

可以把新的代码以.html形式保存到本机,或者通过HTTP请求发送大欧网站上,不过要注意后者可能是非法的。

结论

在许多情况下Web抓取都很有用,但使用时务必要遵守法律。本文介绍了流行的Web抓取框架JSoup,以及使用它解析信息的几种方式。

作者:David Landup,Java开发人员,科技撰稿人

预约申请免费试听课

上一篇:Java培训班的初学者应该接触哪些开发工具?
下一篇:完成Java Web项目用到哪些专业技能?
Java初学者需掌握4大核心基础知识

Java初学者需掌握4大核心基础知识

自学 Java 后端开发的学习路线

自学 Java 后端开发的学习路线

Java程序员帮你分析什么是MySQL

Java程序员帮你分析什么是MySQL

Java 11 新功能实现应用模块化

Java 11 新功能实现应用模块化

选择城市和中心
贵州省

广西省

海南省