崗位職責:
1.負責分布式數據采集系統的設計與研發工作，實施互聯網相關數據的抓取和解析。
2.負責采集策略的設計與優化工作，提升網頁抓取的效率和質量，解決信息精準抽取等核心技術難題；
3.分析已有采集系統的技術缺陷，對策略架構做出合理地調整和改進。
4.負責公司數據中心的運營和維護。
崗位要求：
1.計算機類及相關專業本科及以上學歷；
2.精通一門以上的主流開發語言（Python、Java），熟悉常用的數據抓取策略和原理；
3.具有大規模網頁爬蟲開發經驗優先，掌握爬蟲開發原理，能夠分析網站的結構特點與規律；
4.對算法設計和數據結構有深刻的理解，精通網絡編程；
5.有分布式爬蟲架構經驗者優先；
6.強烈的責任心和良好的團隊合作精神，較好的溝通能力，善于學習新知識，能承擔較大的工作壓力。

職位類別： JAVA

舉報