Java爬虫技术有哪些(java,编程语言)

一、Jsoup

的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。这也是我最早使用的爬虫技术。

二、HtmlUnit

HtmlUnit是一款java的无界面浏览器程序库。它可以模拟HTML文档，并提供相应的API，允许您调用页面，填写表单，点击链接等操作。它是一种模拟浏览器以用于测试目的的方法。使用HtmlUnit你就感觉你是在操作浏览器，他对于css和js都可以很好的支持。

三、Selenium

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11)，Mozilla Firefox，Safari，Google Chrome，Opera等。

Selenium我觉得是最好的爬虫工具了，因为它完全模拟浏览器。由程序掉起浏览器，模拟人的操作。关于Selenium在我的文章[Selenium利器!解放测试程序员的双手]有专门讲解。

最后，爬虫有风险，使用需谨慎。希望广大程序员朋友在使用爬虫技术的时候，要有数据隐私的意识。

以下内容来源网络：

如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。

除此之外，根据相关规定，对于违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，窃取或者以其他方法非法获取公民个人信息的，均可构成成“侵犯公民个人信息罪”，处三年以下有期徒刑或者拘役，并处或者单处罚金;情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。