网络爬虫--生成假数据

爬取网址中的数据。

下面3个分别是姓、女孩名字、男孩名字的网址。 

        String familyURLStr = "http://www.baijiaxing.net.cn/";String girlNameURLStr = "https://wannianli.tianqi.com/qiming/news/16536.html";String boyNameURLStr = "https://wannianli.tianqi.com/qiming/news/883.html";

如何爬取呢？

1、首先有一个网址

这是一个百家姓的网址。

String familyURLStr = "http://www.baijiaxing.net.cn/";

 2、爬取网址中的全部数据

注意注释中的细节。

    //爬取全部数据private static String webUrl(String URLStr) throws IOException {//先转换为url对象URL url = new URL(URLStr);//打开连接URLConnection conn = url.openConnection();//利用IO流进行读取//1.由于url对象提供字节流进行读取，无法读取中文，所以转换为字符流InputStreamReader isr = new InputStreamReader(conn.getInputStream());//使用一次read()方法只能读取一个字符//使用sb把读取出来的字符存起来StringBuilder sb = new StringBuilder();int b;while ((b = isr.read()) != -1) {sb.append((char)b);}return sb.toString();}

输出结果是以下html这种格式的，由服务器传过来的原本就是html，只不过平时被浏览器解析了而已。

 3、提取需要的信息

对我们有用的只有其中的姓氏而已，所以利用正则表达式进行匹配。

①下面是利用正则表达式读取数据的代码：

    private static ArrayList<String> getData(String str, String regex) {ArrayList<String> list = new ArrayList<>();//转换为正则表达式对象Pattern pattern = Pattern.compile(regex);//将字符串与正则表达式进行匹配Matcher matcher = pattern.matcher(str);//是否有与正则表达式匹配的值，有则返回true，无则返回falsewhile (matcher.find()){//将匹配到的值进行返回list.add(matcher.group());}return list;}

②正则表达式如何书写？

观察百家姓可以看到都是4个汉字一组，并且后面跟着中文的"，"或者中文的"。"，所以正则表达式可写为

".{4}，|。"

输出结果如下：

输出为什么是这种格式？

因为这种情况下，把".{4}，"看作一个逻辑，"。"看作一个逻辑，所以应该把，|。括起来，正确的是

.{4}(，|。)

但是又出现一个问题，返回结果我们只想要前面的4个汉字，不想要后面中文的"，"或者中文的"。"，这种情况下有两种解决办法。

（1）这种需求很常见，所以专门提出了一个符号去解决这个问题，就是?=，将匹配结果进行返回时忽略?=后面的东西，但是匹配的时候还是参与的，因此正则表达式可写为

".{4}(?=，|。)"

（2）将正则表达式使用括号进行分组，然后在使用matcher.group()将匹配结果进行返回时，可以选择返回哪些组。

正则表达式可写为

"(.{4})(，|。)"

这种情况下，提取需要的数据的方法就需要额外加上一个参数，就是要返回的组号。

关于组号有一些说明：组号从1开始编，也存在一个特殊的0，表示全部数据。

    private static ArrayList<String> getData(String str, String regex, int index ) {ArrayList<String> list = new ArrayList<>();//转换为正则表达式对象Pattern pattern = Pattern.compile(regex);//将字符串与正则表达式进行匹配Matcher matcher = pattern.matcher(str);//是否有与正则表达式匹配的值，有则返回true，无则返回falsewhile (matcher.find()){//将匹配到的值进行返回list.add(matcher.group(index));}return list;}

返回结果：

错误1：在与网址建立连接时抛错：Server returned HTTP response code: 403 for URL，如下图：

解决办法：在建立完连接之后加上

conn.setRequestProperty("User-Agent", "Mozilla/4.76");

        //打开连接URLConnection conn = url.openConnection();conn.setRequestProperty("User-Agent", "Mozilla/4.76");

如何写女生名字的正则表达式呢？ 

首先看到2个汉字一组，并且后面跟着中文的"、"或者中文的"。"，所以正则表达式可写为

".{2}(?=、|。)"

返回结果如下：

可以看到把一些不是名字的汉字也给返回了，原因就是也符合正则表达式。那怎么解决呢？

把"露怡、琦倩、澜蕾、思琳、"看作一组进行匹配，正则表达式可写为

"(.{2}(、|。)){4}"

返回结果如下：

如何写男生名字的正则表达式呢？ 

下面是一个男生名字的网址：

100个好听的男孩名字，古风儒雅、洒脱大气的好名字！ - 知乎 (zhihu.com)

网址中的数据如下：

如果依旧按照前面的把4个看作一组进行匹配，会把前面的序号也进行匹配，这不是我们想要的，所以要限定为中文。

有一个插件AnyRule，可以搜索常见需求的正则表达式，鼠标右键一下可看到：

打开之后搜索中文的正则表达式：

复制：[\u4E00-\u9FA5]

因此正则表达式写为

"([\\u4E00-\\u9FA5]{2}(、|\\n)){4}"

输出结果一直为空，刚开始以为是正则表达式有问题，后面怀疑知乎是不是有反爬啊。

测试一下，输出爬取的全部数据：

答案确实是这样，知乎将数据处理成密文了，所以无法匹配到与正则表达式相符的数据，导致输出一直为空。

只能换个网址了。

换成这个：【男孩名字】好听的男孩名字大全_男孩独特少见的名字_男孩简单大气的名字_亲子百科_太平洋亲子网 (pcbaby.com.cn)

结果还是有问题，爬取的中文无法解析，是乱码的。 

又接连试了好几个网址，都是同样的问题，都怀疑是不是代码有问题了，于是又回去测试了一下姓的爬取，也没有问题啊。

只能不断寻找不乱码的网址，终于找到一个：

男宝宝起名大全 100个好听的男孩名字 - 万年历 (tianqi.com)

输出结果如下：

下面对爬取的数据再次进行处理：

首先对姓进行处理，对于集合中的一个元素来说是有4个姓的，所以现在要拆开。

代码如下：

可以看到有错误提示： 

使用强制类型转换无法将char转为String， 那怎么办呢？

解决办法就是使用+将字符和空字符串""进行拼接就可以转换了。

正确的代码如下：

    private static ArrayList<String> processData(ArrayList<String> familyNameTempList) {ArrayList<String> familyNameList = new ArrayList<>();for (String s : familyNameTempList) {for (int i = 0; i < s.length(); i++) {familyNameList.add("" + s.charAt(i));}}return familyNameList;}

对名字进行处理，代码如下：

    //由于男孩和女孩的格式差不多，由一个方法进行处理private static ArrayList<String> processName(ArrayList<String> nameTempList) {ArrayList<String> nameList = new ArrayList<>();for (String s : nameTempList) {String[] ss = s.split("、");for (String name : ss) {nameList.add(name);}}return nameList;}

姓和名处理之后的结果如下：

下面将姓和名进行拼接，生成姓名，代码如下：

    private static HashSet<String> getFullName(ArrayList<String> familyNameList, ArrayList<String> nameList, int number) {//由于名字不能重复，所以选用HashSet存HashSet<String> fullNamehs = new HashSet<>();for (int i = 0; i < number; i++) {//1.首先随机选取姓和名//没有使用随机数的方式，而是集合工具类的shuffle()方法Collections.shuffle(familyNameList);Collections.shuffle(nameList);//选取索引0处的元素String familyName = familyNameList.get(0);String name = nameList.get(0);//将姓和名进行拼接并添加到集合中fullNamehs.add(familyName + name);}return fullNamehs;}

生成指定格式的数据，代码如下：

     //生成男生信息private static HashSet<String> getBoyInfo(HashSet<String> fullBoyNamehs) {HashSet<String> infohs = new HashSet<>();//生成年龄Random r = new Random();for (String fullName : fullBoyNamehs) {int age = r.nextInt(10) + 18;infohs.add(fullName + "-男-" + age);}return infohs;}//生成女生信息private static HashSet<String> getGirlInfo(HashSet<String> fullGirlNamehs) {HashSet<String> infohs = new HashSet<>();//生成年龄Random r = new Random();for (String fullName : fullGirlNamehs) {int age = r.nextInt(8) + 18;infohs.add(fullName + "-女-" + age);}return infohs;}

 将其写入到外部设备中，代码如下：

    //写到外部设备中private static void writeInfo(HashSet<String> girlInfo, HashSet<String> boyInfo) throws IOException {ArrayList<String> infoList = new ArrayList<>();infoList.addAll(girlInfo);infoList.addAll(boyInfo);Collections.shuffle(infoList);BufferedWriter bw = new BufferedWriter(new FileWriter("name.txt"));for (String info : infoList) {bw.write(info);bw.newLine();}bw.close();}

可以看到已写入到文件中：

总结一下全部过程就是：爬取数据--对数据进行处理--写入文件。