- 爬虫工程师
- [兼职]
- ——
- 上海萌泰数据科技股份有限公司招聘爬虫工程师
- 3.0-5.0K/月
- |
- 专科及以上
- |
- 招聘 2人
专业不限
来源：
国家大学生就业服务平台
-
320100
职位已下线
职位详情
【岗位职责】 1.参与设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作； 2.参与各类新闻网站数据抓取、清洗、消重等工作，提升平台的抓取效率； 3.参与爬虫核心算法和策略优化，熟悉采集系统的调度策略； 4.实时监控爬虫的进度和警报反馈。 【任职要求】 1.熟悉Linux系统，熟练掌握Python语言； 2.熟练掌握scrapy框架，了解多线程、多进程、网络通信编程相关知识，有分布式爬虫架构，数据挖掘经验； 3.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术； 4.熟悉各种反爬机制，掌握Selenium，APP破解技术； 5.做过数据处理、ETL等相关工作优先； 6.对大数据相关技术感兴趣； 7.有过爬虫系统开发经验。
上海萌泰数据科技股份有限公司
- 所属行业 学术/科研
- 涉及领域 计算机软件，计算机服务（系统/数据/维护/安全），互联网/电子商务
- 公司性质 股份制企业
- 公司规模 50-99人
- 公司网址 http://www.monetware.com/
- 所在地址 上海市闵行区合川路3051号博观虹桥智园2号楼4楼F座
