职位描述: 1负责公司大数据处理平台的架构设计与构建,技术改进与性能优化; 2负责大数据部门的技术研究、技术知识培训; 3负责分析数据采集需求,全局设计数据处理的技术流程和规范; 4负责设计构建数据采集框架、网络爬虫、解析处理; 5负责设计改良数据质量, 根据实际情况解决核心数据质量问题。 职位要求: 1正规高校计算机或相关专业本科以上学历; 2五年以上互联网软件领域的工作经验,两年以上大数据相关软件架构的实际经验; 3精通SOA/SaaS/微服务架构,大数据/高可用/高并发/高性能的分布式系统构建; 4精通大数据处理技术,Hadoop/Storm等; 5精通Java, Python, Linux,擅长主流开源技术的原理和使用; 6精通NoSQL (MongoDB, Redis), MySQL等主流数据库; 7擅长系统分析与设计,精通常用的设计模式,擅长性能调优; 8一定的英文语言交流能力,能日常跟外籍人士合作工作; 9有责任心, 学习能力强, 工作积极主动,思路清晰,擅长沟通、有团队合作精神; 10有Amazon AWS系统环境相关项目经验优先。 |