今天,拖了很久的毕业设计正式动工(拖延症末期,还有救吗?)常说无计划就开始Coding是极其无脑的行为,但是鉴于本人的能力有限,所以很难一下列出整个项目的具体流程和整个项目所涉及的技术,所以只能边做边补充。

项目需求:设计一个面向主体的爬虫系统(类似于GooSeeker的低配版),能够爬取特定url的信息

目标网站(某些页面,不是全站):知乎,豆瓣,暴走漫画,某些考研网站

用到的框架:

1.爬虫框架:Wemagic

2.项目的核心框架:Struts2+Spring+Hibrenate

3.前端框架:BootStrap

4.后台界面:EasyUI

5.项目构建工具:maven

6.项目环境: Eclipse Jee Oxygen +jdk 6.0+win7