咔咔彩票

  • EN
 
  • app download

职场百科   职场文库   招聘信息  

您所在的位置:最新招聘信息 >全国职位信息 >爬虫开发工程师招聘信息

职位推荐:幼儿园保安幼儿老师服装销售医疗美容电气普工专利律师融资专员科研助理知识产权代理人展示设计企划系统安全灰盒测试项目质量管理广告策划

职位分类:不限

更多
更多:

已选条件:
爬虫开发工程师
清除条件
全选
申请职位

.NET爬虫开发工程师北京弘亚世纪投资顾问有限公司上海分公司上海1-1.8万/月07-16

学历要求:本科|工作经验:2年|公司性质:外资(欧美)|公司规模:50-150人

Responsible for designing and developing web crawler projects 设计和开发分布式网络爬虫系统Collect and analyze data from web and mobile platforms using web scrapping technologies  多种技术对各平台进行数据采集Design data collection strategies to improve data collection efficiency and quality数据采集策略,提升数据采集效率及质量Working with analysts to do projects feasibilities study, discussing crawl plan      行业分析师沟通,分析项目的可行性和讨论抓取方案。Qualifications:More than 2 years’ experience of web crawling, bachelor degree or above, computer related major preferred 两年以上爬虫开发相关经验,本科及以上学历,计算机相关专业为佳Proficient in development language C# or Java 掌握C#或Java开发语言Knowledge about TCP / IP, HTTP and related network protocols TCP/IP,HTTP及相关网络协议Familiar with webpage related technologies such as JS / HTML / XPATH / Json / Regex   JS / HTML / XPATH / Json / 正则表达式等网页相关技术Familiar with common Internet technologies such as distributed, multi-threaded, cache, message queue, etc.分布式、多线程、缓存、消息队列等互联网技术Have experience with mobile APP development is a big plus有手机app开发经验为佳Good communication skills, ability to remain detail-oriented while working at a fast pace 良好的沟通技能,注重细节,抗压性强Good English communication skill is preferred.      良好的英语沟通技能为佳

立即申请
收藏咔咔彩票

爬虫开发工程师时趣互动(北京)科技有限公司北京-朝阳区1.5-2万/月07-16

学历要求:本科|工作经验:3-4年|公司性质:外资(非欧美)|公司规模:500-1000人

技能要求:Python,Node.js岗位职责:1、互联网站、网页、链接的特征挖掘,进行网页抓取、数据提取;2、负责爬虫核心算法的策略优化研究,充分利用资源,避免限制;3、优化搜索、匹配、抓取等关键程序的性能及效率。4、理解系统数据处理流程以及业务功能需求任职要求:1、熟悉TCP/IP、HTTP、HTTPS等网络协议、熟练使用正则表达式,XPATH,CSS选择器等爬虫开发常用技能;2、熟练进行多线程,多进程,异步调用程序的开发,对分布式系统有一定了解;3、熟练使用nodejs或者Python语言,熟悉常用爬虫框架如Scrapy等。熟悉反爬虫技术及破解方法;4、熟悉MySql/MongoDB/Redis等常用数据库或缓存的一种;

立即申请
收藏咔咔彩票

爬虫开发工程师上海帜讯信息技术股份有限公司上海-浦东新区1-1.5万/月07-16

学历要求:本科|工作经验:3-4年|公司性质:上市公司|公司规模:150-500人

岗位职责:1、负责从互联网上爬取web,手机App网站的各类业务所需的原始数据,并进行初步处理和存储;2、完成交办的其它Python程序开发工作。任职资格:1. 二年以上Python爬虫相关开发经验,有过动态代理设置、动态页面信息抽取经验者优先;2. 能熟练掌握和使用Scrapy、Beautiful Soup、selenium主流Python爬虫框架;3. 熟悉HTTP协议、HTML、CSS、Javascript;4. 熟悉urllib2, urllib, request包的使用;5. 熟悉flusk, Django、Tornado等后台web开发框架;6. 熟悉MySQl,MongoDB等数据库的开发、使用。

立即申请
收藏

爬虫开发工程师亿翰智库上海-静安区1-1.5万/月07-16

学历要求:本科|工作经验:3-4年|公司性质:上市公司|公司规模:150-500人

咔咔彩票爬虫工程师岗位职责:1、负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库;2、研究各种网页探寻特点和规律,负责网页信息抽取、数据清洗工作;3、负责领域知识的定向爬取、深度提取和挖掘;4、配合数据清洗、整理、去重和合并工作;5、负责爬虫相关技术的创新和优化。任职要求:1、计算机相关专业,本科以上学历,3年以上爬虫领域工作经验,1年以上爬虫团队合作经验。2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;3、熟悉Web抓取原理及技术实现细节,对HTTP协议和HTML有深入了解;4、熟悉数据抓取和整合技术,从结构化和非结构化数据中提取信息;5、熟悉反爬机制,能够通过逆向js脚本,获取参数,熟悉使用正则表达式/验证码加密处理/代理池,熟悉行为验证码识别、模拟登陆。以下经验之一者优先考虑: 1、有房地产项目类数据爬取经验者优先。

立即申请
收藏

PYTHON爬虫开发工程师深圳翰飞网络科技有限公司深圳-福田区0.8-1.5万/月07-16

学历要求:本科|工作经验:5-7年|公司性质:民营公司|公司规模:50-150人

1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;2、负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率;3、参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;4、实时监控爬虫的进度和警报反馈。岗位要求:1、本科以上学历,计算机相关专业;2、有扎实的算法和数据结构能力;3、扎实的python基础,熟悉Web、APP爬虫,掌握爬虫与反爬虫技术;4、掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;5、熟练使用Mysql等流行数据库技术,熟悉缓存和nosql优先,如Hadoop、memcached、redis、mongodb;7、有良好的学习和理解能力,编码规范和习惯,以及设计、开发和文档编写能力;8、熟悉常见的爬虫框架,如scrapy、jsoup、selennium等,有实际项目经验。

立即申请
收藏

爬虫开发系统工程师南京茂毓通软件科技有限公司南京-雨花台区2.5-4万/月07-16

学历要求:本科|工作经验:3-4年|公司性质:民营公司|公司规模:少于50人

爬虫平台设计、开发和解决反爬技术问题职位要求:1. 全日制本科及以上相关学历,3年及以上爬虫开发经验;2. 精通Python开发语言,具备代码调试和软件调优的能力;3. 精通爬取的各类实现方式、技术细节和基本原理,包含网络协议抓包分析、浏览器爬取、Android APP爬取、爬取所有各类资源切等;4. 具有爬虫分布式系统设计和开发经验,至少熟悉一个开源分布式爬虫框架;5. 精通使用各类反爬技术,且能够解决反爬技术的难题,包含验证码绕过,JS注入等;6. 熟练阅读技术文档,能阅读英文文档;7. 熟悉软件工程,对软件开发过程规范有一定的了解;8. 具有新技术预研、选型的能力;9. 具有一定的团队管理经验。

立即申请
收藏

Python开发工程师(爬虫)广州市贤人汇国际贸易有限公司广州-海珠区1-1.5万/月07-16

学历要求:本科|工作经验:2年|公司性质:民营公司|咔咔彩票公司规模:50-150人

咔咔彩票岗位职责1、负责数据采集工具和产品的开发,开发和维护数据系统相关组件,包括网络爬虫、Web后端、数据清洗、报表模块等;2、负责爬虫引擎核心功能开发及优化、架构设计、系统规划,以及爬虫技术的技术调研;3、破解反爬机制,优化爬虫路由调度策略,同时负责反爬策略的设计及优化;4、负责高性能爬虫系统的后台监控、报警模块的开发;5、持续改进服务端架构和技术栈,扩大系统容量,提高系统可用性;6、负责编制软件研发过程的各项文档;7、完成上级交办的其他事务。任职资格1、本科以上学历,计算机或相关专业;2、熟练使用Python、Java、Node.js、Golang等任意一或多门语言;3、了解Web前端技术,如Html、CSS、JavaScript、Ajax、jQuery等;4、熟练使用MySQL、MongoDB、Redis等任意一种常用数据库;5、有网络爬虫开发或数据处理分析经验者优先;6、熟悉Linux系统,及常用命令者优先;7、工作认真,责任心强,良好的沟通和团队协作能力。

立即申请
收藏咔咔彩票

Python开发工程师(爬虫)青木数字技术股份有限公司广州0.6-1.2万/月07-16

学历要求:本科|工作经验:3-4年|公司性质:民营公司|咔咔彩票公司规模:500-1000人

工作职责:1. 负责数据采集工具和产品的开发,开发和维护数据系统相关组件,包括网络爬虫、Web后端、数据清洗、报表模块等;2、负责爬虫引擎核心功能开发及优化、架构设计、系统规划,以及爬虫技术的技术调研;3、破解反爬机制,优化爬虫路由调度策略,同时负责反爬策略的设计及优化;4、负责高性能爬虫系统的后台监控、报警模块的开发。任职资格:1. 熟练使用Python、Java、Node.js、Golang等任意一或多门语言;2. 了解Web前端技术,如Html、CSS、JavaScript、Ajax、jQuery等;3. 熟练使用MySQL、MongoDB、Redis等任意一种常用数据库;4. 有Web开发经验、有Django、Flask、Spring、Iris等任意一个Web框架开发地经验者优先;5. 熟悉Linux系统,及常用命令者优先;6. 工作认真,责任心强,良好的沟通和团队协作能力。

立即申请
收藏

爬虫开发工程师浙江国贸数字科技有限公司杭州-江干区6-8千/月07-16

学历要求:本科|工作经验:1年|公司性质:国企|公司规模:150-500人

咔咔彩票该岗位代中津先进科技研究院招聘。1、  基于公司内部采集框架,进行模板配置、爬虫程序开发;2、  维护内部的爬虫代码,确保项目数据的准确性与完整性;3、  支撑业务项目和产品的数据抓取需求,参与开发和扩展新的数据源;4、  改进现有爬虫系统,设计和优化爬虫策略,提升爬虫抓取效率与稳定性;5、  负责封账号、封IP、验证码等反爬虫技术难点的攻克。6、研究手机APP及网页特点和规律,对信息进行分类、抽取、数据清洗??存储结构等研发和优化工作。7、 负责制定、实施数据治理(管理)整体方案设计,并跟进、推进数据治理(管理)实施方案制定及落地,确保制度和流程的落地;8、负责制定数据分类分级标准、质量标准、数据管理体系和流程;9、负责开展大数据平台、大数据管理系统的建设规划、制度建设、系统建设等工作;10、负责管理、分析公司已有数据,并确保有效性、可用性、一致性等;11、跟踪大数据行业进展及市场动态,不断创新完善设计方法论和解决方案,能够突破创新。任职资格:1、全日制专科以上学历,计算机、软件工程、信息管理学等数据管理相关专业;2、1-3年以上数据治理经验,包括数据架构,数据模型,数据标准,数据质量等实施经验;3、具备较高水平的解决方案编制、交流撰写能力,具备良好的沟通和文字表达能力;4、熟悉掌握数据分析工具,具备良好的SQL能力,有金融行业工作经验的优先;5、有数据治理、数据仓库、大数据平台建设经验者优先考虑6、以下是加分项:     电商网站爬虫经验/APP爬虫经验/熟悉Selenium/验证码识别经验/评论语义识别项目经验/数据挖掘或机器学习项目经验

立即申请
收藏

高级爬虫开发南京中新赛克科技有限责任公司南京-江宁区1.8-3万/月07-16

学历要求:本科|工作经验:5-7年|公司性质:上市公司|公司规模:1000-5000人

### 职位职责1. 负责分布式爬虫架构的设计和实现2. 负责分布式爬虫框架的调研和性能评估,及架构优化、性能优化、代码优化等3. 负责复杂验证码的破解技术调研和实现,负责爬虫技术的调研和破解4. 负责制定网站爬虫的抓取规范、技术规范和代码规范### 职位要求1. 本科以上学历2. 工作五年以上相关经验3. 有丰富的爬虫反爬经验,混淆、瑞数js逆向、cookie加密等4. 对scrapy、以及scrapy-redis分布式爬虫框架源码有比较深的认识,且有过二次开发经验,且熟悉框架各个配置含义,并对框架的性能以及优化有较成熟的见解和尝试。5. 对代理的功能和请求流向有熟悉的了解,且熟悉账号的饲养和账号池的构建,并对部分需要账号登陆的网站抓取有丰富的经验。6. 验证码,如滑块,点击图片中数字,旋转图片等有较成熟的破解经验。7. 对部署多爬虫抓取任务,制定定时策略,实现增量更新数据,有丰富的经验。

立即申请
收藏

爬虫开发工程师深圳市时光轴科技有限公司深圳-龙岗区0.8-1.4万/月07-16

学历要求:|工作经验:2年|公司性质:民营公司|公司规模:少于50人

1、熟悉python语言、正则表达式网页解析语言、http协议;收集/抓取相关平台的数据;2、协助数据仓库、数据挖掘组的同事对数据进行深度处理,熟悉基于Linux开发,熟练使用django优先;3、熟悉web前端技术或Java后端技术其中之一技术优先;4、一定的SQL基础,熟悉主流Mysql,SQL Server等数据库;5、负责商品信息结构化,编写自动化脚本解析网页信息,商品索引系统:优化搜索、匹配、抓取等关键程序的性能及效率,并对商品进行数据分析,分类、本地化、图片处理和去重等;6、具有良好的团队合作能力、沟通交流能力,做事严谨认真,工作态度端正,对技术有强烈的爱好,富有工作激情、创造力;

立即申请
收藏

Java爬虫/python爬虫开发工程师上海新致软件股份有限公司上海-浦东新区2-2.5万/月07-16

学历要求:本科|工作经验:3-4年|公司性质:合资|咔咔彩票公司规模:1000-5000人

     职责描述:          1、负责爬虫和数据采集系统的设计和开发和完善;          2、针对金融行业的数据爬取;负责数据的抓取、分析、清洗、入库,为公司业务提供可靠稳定的数据服务;          3、负责设计爬虫系统,针对不同的网页特点,进行合理布局规划配置,***能做到分布式;           4、设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点;           5、***熟悉一套爬虫框架,例如webmagic、scrapy框架等等。          任职要求:           1、计算机相关专业,本科及本科以上学历;           2、4年以上开发经验,有爬虫开发和内容解析提取经验;           3、熟悉Java语言,有良好的java基础知识,熟练使用面向对象进行程序设计开发;          4、熟悉使用常用Java开源框架Spring/SpringMVC/Mybatis等;           5、熟悉Oracle、MySql等数据库,编写复杂sql;            6、熟练使用tomcat、weblogic、websphere服务器,linux常用命令,能够独立搭建JavaWeb运行环境;           7、熟练掌握JavaScript,Jquery,JSP,AngularJS、vue前端web开发技术;           8、熟练使用Eclipse/IDEA等开发工具,熟悉Maven、Git、svn代码管理;          9、对技术热衷,工作积极主动,沟通交流能力强,具有良好的团队合作精神;           10、熟悉python***。

立即申请
收藏咔咔彩票

爬虫开发工程师广州网融信息技术有限公司广州-海珠区5-6千/月07-16

学历要求:本科|工作经验:1年|公司性质:民营公司|公司规模:50-150人

咔咔彩票岗位职责:1、负责设计和开发通用爬虫脚本,提取分析各种平台页面内容;2、研究各类网站、链接的形态,发现它们的特点和规律;3、selenium开发机器人脚本。任职要求:1、计算机及相关专业,1年以上爬虫开发经验;2、精通python、计算机网络,熟练使用多线程,熟悉Scrapy等常用爬虫框架;3、熟悉Linux操作、正则表达式,MySQL、MongoDB等常用数据库,了解各种Web前端技术;4、能够解决封账号、封IP等问题;5、了解验证码识别、图像识别解决方案;6、有selenium开发,了解数据分析经验者优先;7、具有良好的沟通能力和团队合作意识。

立即申请
收藏

python爬虫开发工程师深圳市易仓科技有限公司深圳-南山区1-1.8万/月07-16

学历要求:本科|工作经验:3-4年|公司性质:民营公司|咔咔彩票公司规模:150-500人

1.负责数据爬虫,大数据处理。2.负责软件的设计及文档编写。3.负责软件模块的编码及单元测试。任职要求:1.扎实的python基础,熟悉Web、APP爬虫,掌握爬虫与反爬虫技术;2.有Amazon、eBay等电商数据爬虫优先;3.熟悉常见的爬虫框架,如scrapy、jsoup、selennium等,有实际项目经验4.熟练使用Mysql等流行数据库技术,熟悉缓存和nosql优先,如Hadoop、memcached、redis、mongodb;5.有良好的学习和理解能力,编码规范和习惯,以及设计、开发和文档编写能力

立即申请
收藏

python爬虫/数据开发南京市秦淮区巩向明软件开发工作室南京-雨花台区4.5-6千/月07-16

学历要求:大专|工作经验:无需经验|公司性质:民营公司|咔咔彩票公司规模:150-500人

咔咔彩票1、根据项目需求,编写python程序收集互联网公开数据,将结构化的数据存储到数据库;2、进行详细设计、代码开发,配合测试,高质量完成项目;任职资格:1.为人正直,诚信,有上进心和责任心2.计算机专业,熟练使用python,做事细致认真。3.有扎实的数据库(SqlServer或MySQL或Oracle 等)SQL技能,熟悉HTML、CSS、JavaScript者优先4.具备基本的英语读写能力

立即申请
收藏咔咔彩票

爬虫开发工程师优车库网络科技发展(深圳)有限公司深圳-福田区1-1.2万/月07-16

学历要求:本科|工作经验:1年|公司性质:民营公司|公司规模:500-1000人

咔咔彩票1、参与爬虫项目的架构设计、研发工作,改进和提升爬虫效率;2、攻破各种反爬策略。解决各类技术疑难问题,包括网络问题、app分析、反编译等;3、与大数据工程师对接,完成实时数据与离线数据的爬取与对接;4、根据业务需要,主动搜罗并采集相关数据源。任职要求:1、计算机及相关专业本科及以上学历,两年以上相关工作经验;2、精通至少一种开发语言(Python、Java);3、熟练掌握一种开源爬虫框架,如scrapy、webmagic,有研发爬虫框架经验者优先;4、 熟悉Appium、Selenium等技术;5、善于独立分析并解决核心问题,如JavaScript反爬、爬虫策略、防屏蔽规则、App爬取、验证码识别技术等;6、熟悉mysql, mongodb, redis等数据库;7、对爬虫有浓厚的兴趣,责任感强,有较好的交流沟通能力和团队合作能力;8、 有APP安全、逆向等领域经验的优先。福利待遇:1、丰厚的年终奖金,高温、通信、全勤等全面的津贴,节日福利;2、入职购买六险一金,年度体检;3、公司和部门的员工活动多多,每月团建,文体活动,员工生日会,旅游等;4、五天7小时工作制,按国家通知休假与享受有薪假期;5、良好的团队氛围,全面的人性关怀,充分的信任与授权;6、公司团队快速扩大中,健全的培养体系,广阔的个人发展空间;7、优秀员工可享受股权激励。

立即申请
收藏

爬虫开发工程师湖南星汉数智科技有限公司长沙-岳麓区0.8-1万/月07-16

学历要求:本科|工作经验:2年|公司性质:民营公司|咔咔彩票公司规模:50-150人

· 精通Java编程语言,熟练使用HttpClient、正则表达式、JSON/XML,熟悉多线程编程;· 熟悉爬虫技术,掌握至少一种爬虫框架;· 具备常用算法理论基础;· 熟练掌握Spring Cloud、Spring Boot微服务框架;· 熟练使用至少一种Java集成编程环境,熟悉Maven/Git等常用工具;· 熟悉HTML、CSS、XPath、JavaScript等前端技术;· 熟练使用MySQL数据库,熟悉MongoDB、ES;· 掌握计算机网络基础理论,熟悉HTTP、TCP/IP等协议;· 熟悉Linux操作系统常用命令;· 熟悉机器学习、Python、Kafka、Storm、浏览器插件编程者优先;

立即申请
收藏

爬虫开发工程师坤金聚宝(深圳)科技有限公司深圳-罗湖区1.2-1.8万/月07-16

学历要求:大专|工作经验:2年|公司性质:民营公司|公司规模:少于50人

咔咔彩票岗位描述:1、参与数据层建设,专注于基础数据采集平台建设,研究各种网页特点和规律,负责网页信息抽取、数据清洗等研发和优化工作;2、负责设计和开发分布式网络爬虫系统,参与数据爬取平台相关工具平台的架构设计与产品开发等工作;岗位要求:1、熟悉网络层协议及网络技术;2、熟悉常见的加解密算法及其原理;3、注重代码风格和可维护性,了解设计模式,热爱编程;4、有客户端及相关安全领域经验者优先;

立即申请
收藏

爬虫开发工程师北京三六九数动科技有限公司北京-朝阳区3-4万/月07-16

学历要求:本科|工作经验:5-7年|公司性质:民营公司|咔咔彩票公司规模:1000-5000人

岗位职责:1.完成对复杂网站的数据抓取和交互模拟; 2.通过各种渠道或方式对相关网站进行抓取; 3.不断完善并维护相关网站的抓取,使之稳定运行,核心逻辑必须有单元测试; 4.善于灵活运用各种非爬虫技术解决爬虫相关问题; 5.随时响应并解决突发问题;任职要求:1.五年以上网站抓取经验,有电商网站、舆情相关抓取经验; 2.有较强的网站分析能力,熟知各种反爬措施及相关解决办法 3.熟练使用scrapy、eventlet、gevent、requests、selenium,正则表达式、解析结构与非结构数据等技术实现高并发稳定抓取; 4.熟练使用消息队列(MQ)、celery等异步框架实现分布式任务处理; 5.熟知HTTP、TCP、Socket等底层知识; 6.熟练掌握Fiddler、Http debugger等抓捕工具; 7.熟悉WebMagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpClient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬; 8.熟悉MySQL、MongoDB基本使用; 9.熟悉python Scapy,熟悉Javascript,有一定的分析能力。

立即申请
收藏咔咔彩票

爬虫开发工程师广州素隐商贸有限公司广州-海珠区0.6-1万/月07-16

学历要求:大专|工作经验:1年|公司性质:民营公司|公司规模:150-500人

1.负责短视频各项数据规整,协助维护及优化现有的BI报表,提高报表的输出效率; 2.编写监控脚本,利用Python等分析工具进行数据清洗、分析以及可视化呈现,实时监控广告投放效果,并对异常数据进行监测及预警; 3.基于业务需求及数据特点,维护数据采集服务系统,监控竞品投放数据,洞察数据内在规律,为业务决策提供依据; 4.利用Python等协助部门进行数据收集、整理等工作,搭建数据分析中台,进行探索性分析从而驱动业务增长。 任职要求: 1、大专以上学历,有数据分析者优先,优秀应届生也可考虑; 2、熟悉Python等工具完成数据清洗、抽取、可视化工作; 3、至少掌握1种以上数据分析工具(如Python、Power BI等); 4、对数据敏感,有较强的逻辑分析能力以及业务理解能力; 5、熟悉电商业务,对电商数据有一定了解。

立即申请
收藏咔咔彩票

全选
申请职位
共54页,到第确定

-中高端人才求职平台

招聘职位: 后端开发,前端开发,移动端开发,测试,产品/设计/运营
招聘职位: 财务审计,合规与风险控制,后台运营,投行,销售
招聘职位: 房地产开发,建筑工程,规划设计,商业,市场营销
招聘职位: 汽车新能源,软件与汽车电子,生产制造,质量管理,供应链管理
彩客彩票平台-咔咔彩票 彩客彩票平台-咔咔彩票 彩客彩票平台-安全购彩 彩客彩票平台---咔咔彩票_欢迎您 彩客彩票平台-Welcome