一个爬电商数据并实现搜索的例子
这是一个抓取电商商品信息，并提供搜索接口的例子。
采用的技术：
代码管理github
持续集成gradle
web框架rose3.0(基于Spring3.0)
数据库mysql
商品抓取id遍历，Jsoup解析网页
搜索lucene
现在的接口：
抓取数据：http://localhost/spider，把易迅的数据抓取下来，只抓一万个左右，放在数据库中
生成索引：http://localhost/index，把数据库中的数据用lucene来做索引
搜索结果：http://localhost/search?keyword=midea&begin=0&count=20&cate=饮水机&minPrice=100.1&maxPrice=2000
必填：keyword 是关键字，对名称和描述有用，begin和count是对结果翻页
选填：cate是分类，也是用lucene做的索引，还有就是价格区间的选择
搜索建议：http://localhost/suggest?begin=0&count=100&keyword=meiru
是对名称做了最前匹配，包括名称的拼音和首字母
查看所有数据：http://localhost/list?beginId=1&count=100beginId：开始的id，count：数量
现在的电商中，京东和易迅id是顺序的，amazon和当当的id是hash的，所以我的这个demo只能抓京东和易迅的数据。但是京东的价格不是直接展示在页面上，而是通过js单独发请求得到的，比较麻烦，第一版demo暂时只能抓取易迅的数据。
搜索分搜索建议和搜索结果，搜索建议是把商品名称做了汉子，汉子转换成全拼及首字母的前缀匹配；搜索结果是对商品名称和描述做了全文索引。
github地址https://github.com/LiuGangR/SpiderAndSearchDemo
gradle很好用，不会自己学学
有建议欢迎讨论