中国制造网
2019年12月 - 现今 www.made-in-china.com
进行旧项目重构,技术栈升级,SQL改造
1. 将地区频道项目,原先基于SSH框架改造为使用Spring MVC框架
2. 对其他模块进行技术栈升级,统一使用配置中心,进行分库分表,Oracle -> MySql
3. 目前正在进行云展会项目,主要为前端提供数据查询
使用技术:[ Java8,MyCat,RPC ]
HW公有云开发
2018年4月 - 2019年11月
HW公有云网络部分的接口开发
1. 基于Java8,进行OpenStack Neutron组件重构,原生是Python实现
2. 独立开发接口模块,完成文档,优化组件,SQL设计
使用技术:[ Java8,Python,akka,SQL优化 ]
Luses(Linux update support expert system)
2018年1月 - 2018年4月
爬取多个Linux论坛数据,通过自然语言处理后,得出问题与最佳解决方案对应关系,最终能够更具Linux的bug描述,自动寻找到相应的解决方法,我主要负责数据爬取解析存储,并提供整个系统中交互所需要的接口
1. 基于scrapy-redis的分布式爬虫系统,爬取Linux相关的网站数据
2. 提供接口将数据存储mongodb,查询展示
使用技术:[ Docker,Spring Cloud,scrapy-redis,kafka,MongoDb ]
我的南京APP
2017年5月 - 2018年1月
【公交出行】处理公交到站时间和预计等待时间,以及南京所有公交线路信息,同时提供给用户到目标点的路径规划功能
1. 从百度,高德爬取线路数据,整理成自己的数据格式存储
2. 修改并且优化公交出行中的路径规划算法,修改公交出行GPS不准确的问题
使用技术:[ Scala,AStar算法,Neo4J ]
【绿色积分】【停车场】Python脚本以及提供数据接口
1. 使用python脚本,从FTP获取公交刷卡记录,脚本处理数据后存入redis,处理成定时脚本
2. 获取多个数据来源的停车场,算法去重之后,提供给用户位置周围的停车场
【大数据监控管理平台】大数据展示我的南京使用状况,南京用户政务相关的信息统计展示
1. 根据访问日志,统计我的南京API网关访问次数,提供查询接口,数据化展示
2. 统计支付平台交易次数与交易金额,提供查询接口
使用技术:[ ELK,Jenkins,hadoop,Redis ]