当前位置：首页 > news >正文

爬!扒@切#存$构%查

news 来源：原创 2024/5/3 17:12:15

2019独角兽企业重金招聘Python工程师标准>>>

喜欢java主要是喜欢它的简单，一次调用的背后是许多开发者默默的付出，讨厌java主要是讨厌它的简单，一次调用的背后完全不知道系统私下里都干了些啥。计算机技术经历几十年发展，底层的东西日趋完善，后来人在前辈的基础上快速构建，把产品推向市场，反馈迭代再反馈再迭代，变现盈利才是王道。~~当下有些强业务型互联网企业重融资重逼格，满嘴设计模式数据结构算法大全，闭口不谈运营模式产品形态用户体验~!@#$%^&*()......~~

爬是爬虫，网页爬取，爬网页是技术活有难度有挑战，有些站点不喜欢被爬，爬烦了容易被拉黑，有些页面不是静态的，来来回回多步交互才能完成爬取，有些站点需要验证登录，各种形式验证码考验人脑眼手配合更别提机器识别了。

    <dependency>
      <groupId>org.apache.httpcomponents</groupId>
      <artifactId>fluent-hc</artifactId>
      <version>4.5.3</version>
    </dependency>

	String html = Executor.newInstance()
		.execute(Request.Get("http://www.url.com")					// 目标地址
		.userAgent("Mozilla/5.0 Chrome/85.0.252.101 Safari/536.86")		// 浏览器UA
		.viaProxy("127.0.0.1:2017")									// 代理服务
		.connectTimeout(5000)										// 连接超时
		.socketTimeout(10000))										// 套接字超时
		.returnContent()											// 返回CT对象
		.asString(Charset.forName("UTF-8"));							// 设置字符集

扒是扒取HTML网页标签提取有价值内容，虽然每个站点都遵循html规范，但标签的定义差别还是非常大的，如果是有针对性的爬取某几家站点，可以通过配置的方式定义标签从而在元素集合中快速定位到信息。

getElementById(String id)			// <h1 id="title" cid="560" docid="8168976">标题</h1>
getElementsByTag(String tag) 		// <a target="_blank" href="new.htm" title="财经"></a>
getElementsByClass(String class)		// <div class="post"><a href="http://aaa.com"</a></div>
getElementsByAttribute(String key) 	// <img src="captchay?w=240&h=50" w="240" h="50"/>
getElementsByAttributeValue(String key, String value)	// <span class="txt"><a target="_blank" ...

    <dependency>
      <groupId>org.jsoup</groupId>
      <artifactId>jsoup</artifactId>
      <version>1.10.2</version>
    </dependency>

	Document doc = Jsoup.parse(htm);
	Elements div = doc.getElementsByAttributeValue("class", "txt");
	for(Element d : div) {
		for(Element l : d.getElementsByTag("a")) {
			System.out.print(l.attr("href") + " : ");
			System.out.print(l.attr("title") + " : ");
			System.out.println(l.text());
		}
	}

切是切分对中文文章或语句进行分词，每个单词由偏移、词性和词三部分构成一个item对象，所有对象构成一个集合通过迭代器可以遍历，用户可以添加自己的字典，也可以指定切分过滤策略，扩展性很不错，调用仅一行代码，返回一个容器。

	<dependency>
		<groupId>org.ansj</groupId>
		<artifactId>ansj_seg</artifactId>
		<version>5.0.0</version>
	</dependency>

	// 未指定策略切分
	Result rst = ToAnalysis.parse(article);
	// 初始化用户字典
	UserDefineLibrary.insertWord("网络", "n",  1000);
	// 指定词性过滤分词
	FilterRecognition flt = new FilterRecognition();
	flt.insertStopNatures("w");
	Result rst = ToAnalysis.parse(article).recognition(flt);

存是指将数据保存起来，mongodb作为类结构化存储解决方案高效稳定分布式相当好用，对数据类型和长度没有传统关系型数据库定义时那么费劲上心，很容易就能满足入门级建库建表的要求，一般复杂性的操作都能满足，用过绝对爱不释手。

    <dependency>
      <groupId>org.mongodb</groupId>
      <artifactId>mongo-java-driver</artifactId>
      <version>3.0.2</version>
    </dependency>

	GtMongo tm = new GtMongo();
	Gt.TuMongoOpen("127.0.0.1",12345);
	Gt.TuMongoGetDatabase("my_mongodb");
	Gt.TuMongoGetCollection("my_collecttion");
	Gt.TuMongoInsert(
		new Document("title, "一带一路高峰时刻")
			.append("url", "http://www.yidaiyilu.com")
			.append("text", "一带一路”国际合作高峰论坛举行")
			......
			.append("keys","一带一路")
	);

构是构建索引，依托elk（Elasticsearch、Logstash和Kibana）日志分析系统，特点是分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载，开源的伸缩性好，玩的好不好全看自己水平高低了。


    <dependency>
      <groupId>org.elasticsearch.client</groupId>
      <artifactId>transport</artifactId>
      <version>5.1.1</version>
    </dependency>

	try {
		String now = new SimpleDateFormat("yyyy-MM-dd").format(new Date()) + "T" + new SimpleDateFormat("HH:mm:ss.SS+0800").format(new Date());
		TransportClient tc = new PreBuiltTransportClient(Settings.EMPTY).addTransportAddress(new InetSocketTransportAddress(new InetSocketAddress(TE_HOST, TE_PORT)));
		String jsn[] = {
			"{\"@time\":\"" + now + "\",\"data\":{\"area\":\"area1\",\"msg\":\"msg1\",\"uid\":\"111\",\"keys\":\"key1\"}}",
			"{\"@time\":\"" + now + "\",\"data\":{\"area\":\"area2\",\"msg\":\"msg2\",\"uid\":\"222\",\"keys\":\"key2\"}}",
			"{\"@time\":\"" + now + "\",\"data\":{\"area\":\"area3\",\"msg\":\"msg3\",\"uid\":\"333\",\"keys\":\"key3\"}}"
			};
		for (int i = 0; i < jsn.length; i ++) {
			IndexResponse ir = tc.prepareIndex(TE_NAME, TE_TYPE).setSource(jsn[i]).get();
				System.out.println(ir.getId() + ", " + ir.getType() + ", " + ir.getIndex());
			}
		
		tc.close();
	} catch (Exception e) {
		e.printStackTrace();
	}

查是查询，上面说了，自动发现自动创建，逻辑处理不复杂的话上手十分简单，但对中文的处理和复杂逻辑搜索还是需要花点功夫研究下的。

try {
		Settings st = Settings.builder().put("cluster.name", "elasticsearch").put("node.name", "kafka").build();
		TransportClient tc = new PreBuiltTransportClient(st).addTransportAddress(new InetSocketTransportAddress(new InetSocketAddress(TE_HOST, TE_PORT)));

//		SearchResponse sr = tc.prepareSearch("logstash-*").get();																	// 全量数据
//		SearchResponse sr = tc.prepareSearch("logstash-*").setQuery(QueryBuilders.matchQuery("uid", "111")).get();					// 指定字段
//		SearchResponse sr = tc.prepareSearch("logstash-*").setQuery(QueryBuilders.regexpQuery("area", ".*1")).get();			// 正则表达
//		SearchResponse sr = tc.prepareSearch("logstash-*").setQuery(QueryBuilders.wildcardQuery("area", "*e*")).get();				// 通配符号
		
		QueryBuilder qb = QueryBuilders.boolQuery()
			.must(QueryBuilders.termQuery("area", "area1"))
			.must(QueryBuilders.regexpQuery("keys", "k.*"))
			.mustNot(QueryBuilders.termQuery("uid", "xyz"));
		SearchResponse sr = tc.prepareSearch("logstash-*").setQuery(qb).get();
		
		SearchHits sh = sr.getHits();
		System.out.println("共搜到: " + sh.getTotalHits() + "条结果!");
		
		for(SearchHit ht : sh){
			System.out.println(ht.getSourceAsString());
		}
		
		tc.close();
	} catch (Exception e) {
		System.out.println("共搜到: 0条结果!");
		e.printStackTrace();
	}

关于“爬!扒@切#存$构%查”的话题就这么多，抛砖引玉蜻蜓点水，总之入门十分简单，深钻还是有一定难度的。每个模块花不了几行就能实现最初级的功能，java能成为最广泛的应用开发语言确实是有它显著优势的，虽说有些开发语言随着某个领域的突破会快速发展壮大，但java和c、c++还将长期存在，保持强大的生命力。

转载于:https://my.oschina.net/gonglibin/blog/909531