日本一J黄色网站,99视频精品在线

相關(guān)推薦

爬蟲(chóng)崗位職責(zé)

　　在快速變化和不斷變革的今天，很多情況下我們都會(huì)接觸到崗位職責(zé)，崗位職責(zé)的明確對(duì)于企業(yè)規(guī)范用工、避免風(fēng)險(xiǎn)是非常重要的。大家知道崗位職責(zé)的格式嗎？下面是小編收集整理的爬蟲(chóng)崗位職責(zé)，歡迎大家借鑒與參考，希望對(duì)大家有所幫助。

爬蟲(chóng)崗位職責(zé)

爬蟲(chóng)崗位職責(zé)1

　　職位描述：

　　1、負(fù)責(zé)廣告素材線索和垂直類產(chǎn)品爬蟲(chóng)系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)

　　2、抓取數(shù)據(jù)的清洗、落地、分析

　　3、抓取策略算法的.更新維護(hù)，以及確保數(shù)據(jù)抽取準(zhǔn)確、高效

　　任職要求：

　　1、具備強(qiáng)悍的編碼能力、扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法功底

　　2、熟悉tcp，http協(xié)議原理；熟悉ajax工作原理；精通python編程，熟悉一種開(kāi)源爬蟲(chóng)框架和源碼；

　　3、有爬蟲(chóng)、信息抽取、文本分類、大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先

　　4、有自然語(yǔ)言處理、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先

爬蟲(chóng)崗位職責(zé)2

　　職責(zé)描述：

　　1.參與爬蟲(chóng)系統(tǒng)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā)；

　　2.負(fù)責(zé)執(zhí)行和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，進(jìn)行多平臺(tái)信息的抓取和分析；

　　3.負(fù)責(zé)網(wǎng)頁(yè)信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺(tái)的抓取效率；

　　4.參與爬蟲(chóng)核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；

　　5.實(shí)時(shí)監(jiān)控爬蟲(chóng)的'進(jìn)度和警報(bào)反饋。

　　任職要求：

　　1.本科以上學(xué)歷，3年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn)，熟練使用python或java進(jìn)行開(kāi)發(fā)；

　　2.熟練使用正則表達(dá)式、css path、xpath等，能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；

　　3.熟練使用mysql數(shù)據(jù)庫(kù)，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰(zhàn)經(jīng)驗(yàn)；

　　4.熟悉各種抓取技術(shù)，包括代理、phantomjs/selenium、驗(yàn)證碼處理；

　　5.熟悉整個(gè)爬蟲(chóng)的設(shè)計(jì)及實(shí)現(xiàn)流程，有從事網(wǎng)絡(luò)爬蟲(chóng)、網(wǎng)頁(yè)信息抽取開(kāi)發(fā)經(jīng)驗(yàn)，熟悉反爬蟲(chóng)技術(shù)，有分布式爬蟲(chóng)架構(gòu)經(jīng)驗(yàn)；

　　6.具有數(shù)據(jù)挖掘、自然語(yǔ)言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先；

　　7.快速學(xué)習(xí)能力，工作積極主動(dòng)，有創(chuàng)業(yè)熱情和良好的團(tuán)隊(duì)協(xié)助能力；

　　8.需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗(yàn)，沒(méi)有相關(guān)經(jīng)驗(yàn)的勿擾。

爬蟲(chóng)崗位職責(zé)3

　　職位描述：

　　工作職責(zé)：

　　1.開(kāi)發(fā)網(wǎng)頁(yè)自動(dòng)化腳本。

　　2.負(fù)責(zé)商品信息結(jié)構(gòu)化，編寫(xiě)自動(dòng)化腳本解析網(wǎng)頁(yè)信息。

　　3.商品索引系統(tǒng)：億級(jí)sku的庫(kù)存價(jià)格實(shí)時(shí)跟蹤同步，并對(duì)商品進(jìn)行智能分類、本地化、圖片處理和去重。

　　4.設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、部署以及維護(hù)并改進(jìn)各子系統(tǒng)；

　　5.管理項(xiàng)目?jī)?yōu)先級(jí)并按時(shí)交付。

　　職位要求：

　　1.全日制統(tǒng)招本科、碩士畢業(yè)，1年以上軟件開(kāi)發(fā)工作經(jīng)驗(yàn)；

　　2.熟悉至少一門(mén)通用靜態(tài)編譯編程語(yǔ)言，c/c++/java/c#/go；

　　3.熟悉web端基礎(chǔ)標(biāo)準(zhǔn)，包括html、css、javascript、json等；

　　4.熟悉python或其他腳本語(yǔ)言，有興趣和能力根據(jù)需求學(xué)習(xí)其他編程語(yǔ)言；

　　5.熟悉unix/linux環(huán)境，memcache/redis/mongodb等存儲(chǔ)系統(tǒng)，能獨(dú)立設(shè)計(jì)開(kāi)發(fā)包括前后端交互的業(yè)務(wù)子系統(tǒng)；

　　6.熟悉常見(jiàn)的設(shè)計(jì)模式、單元測(cè)試、持續(xù)開(kāi)發(fā)集成、code review，并能在日常工作踐行；

　　7.了解搜索引擎、電子商務(wù)、社交類應(yīng)用的系統(tǒng)基本架構(gòu)，能對(duì)已有的子系統(tǒng)進(jìn)行優(yōu)化調(diào)整的.優(yōu)先；

　　8.活躍的開(kāi)源項(xiàng)目貢獻(xiàn)者優(yōu)先。

爬蟲(chóng)崗位職責(zé)4

　　職位描述：

　　工作職責(zé)：

　　1、負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，進(jìn)行多平臺(tái)信息的抓取和分析工作；

　　2、負(fù)責(zé)網(wǎng)頁(yè)信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺(tái)的抓取效率；

　　3、參與爬蟲(chóng)核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；

　　4、實(shí)時(shí)監(jiān)控爬蟲(chóng)的.進(jìn)度和警報(bào)反饋。

　　任職要求：

　　1、有扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)能力；

　　2、熟悉爬蟲(chóng)原理，熟悉常見(jiàn)的反爬蟲(chóng)技術(shù)，有爬蟲(chóng)相關(guān)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

　　3、掌握http協(xié)議，熟悉html、dom、xpath等常見(jiàn)的數(shù)據(jù)抽取技術(shù)；

　　4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗(yàn)者優(yōu)先。

爬蟲(chóng)崗位職責(zé)5

　　職位描述：

　　負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)

　　應(yīng)用多種技術(shù)對(duì)各平臺(tái)進(jìn)行數(shù)據(jù)采集

　　設(shè)計(jì)數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量

　　與各行業(yè)分析師溝通，分析項(xiàng)目的可行性和討論抓取方案。

　　兩年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)為佳

　　熟練掌握c#或java開(kāi)發(fā)語(yǔ)言為佳

　　了解tcp/ip，http及相關(guān)網(wǎng)絡(luò)協(xié)議

　　熟悉js / html / xpath / json /正則表達(dá)式等網(wǎng)頁(yè)相關(guān)技術(shù)

　　熟悉分布式、多線程、緩存、消息隊(duì)列等互聯(lián)網(wǎng)技術(shù)

　　熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取，手機(jī)app開(kāi)發(fā)經(jīng)驗(yàn)，加/脫殼經(jīng)驗(yàn)為佳

　　良好的`溝通技能，注重細(xì)節(jié)，抗壓性強(qiáng)

　　良好的英語(yǔ)溝通技能為佳

爬蟲(chóng)崗位職責(zé)6

　　崗位職責(zé)：

　　1.負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)的架構(gòu)設(shè)計(jì)、開(kāi)發(fā)與優(yōu)化；

　　2.負(fù)責(zé)抓取數(shù)據(jù)的清洗、落地、分析；

　　3.抓取策略算法的.更新維護(hù)，以及確保數(shù)據(jù)抽取準(zhǔn)確、高效。

　　任職要求：

　　1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗(yàn)；

　　2.理解http協(xié)議，熟悉html、dom、xpath；

　　3.熟悉linux開(kāi)發(fā)環(huán)境，至少熟悉python/go/java/node.js中的一種編程語(yǔ)言；

　　4.有爬蟲(chóng)、信息抽取、文本分類、大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先；

　　5.有自然語(yǔ)言處理、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先；

　　6.熟悉瀏覽器內(nèi)核、渲染機(jī)制優(yōu)先；

　　7.工作認(rèn)真，細(xì)心，有條理，積極性高；良好的溝通能力及團(tuán)隊(duì)合作精神。

爬蟲(chóng)崗位職責(zé)7

　　職責(zé)描述:

　　1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略優(yōu)化等工作;

　　2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;

　　任職要求:

　　1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);

　　2、熟悉linux平臺(tái),熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作;

　　3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的'高效信息抽取、清洗、存儲(chǔ)等技術(shù);

　　4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);

　　5、具備良好的編程習(xí)慣和算法基礎(chǔ);

　　6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。

爬蟲(chóng)崗位職責(zé)8

　　工作內(nèi)容：

　　1、基礎(chǔ)系統(tǒng)架構(gòu)、模塊、庫(kù)和組件的研發(fā)；

　　2、分布式海量數(shù)據(jù)存儲(chǔ)和分析系統(tǒng)的'研發(fā)和調(diào)優(yōu)；

　　3、統(tǒng)計(jì)分析、報(bào)表、saas業(yè)務(wù)等系統(tǒng)研發(fā)；

　　4、crm、財(cái)務(wù)結(jié)算、工作流等內(nèi)部管理系統(tǒng)的研發(fā)。

　　能力要求：

　　1、至少使用php/java/python等一門(mén)以上語(yǔ)言，開(kāi)發(fā)過(guò)不算太小的項(xiàng)目；

　　2、熟悉數(shù)據(jù)結(jié)構(gòu)、db、os、web開(kāi)發(fā)等相關(guān)知識(shí)，對(duì)linux相關(guān)的各類技術(shù)情有獨(dú)鐘；

　　3、有大規(guī)模、高性能互聯(lián)網(wǎng)網(wǎng)站系統(tǒng)相關(guān)的設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

　　4、具備良好的學(xué)習(xí)能力和成長(zhǎng)潛力，渴望和團(tuán)隊(duì)一起快速成長(zhǎng)。

爬蟲(chóng)崗位職責(zé)9

　　職責(zé)描述：

　　1，負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

　　2，對(duì)爬取的.網(wǎng)頁(yè)信息進(jìn)行數(shù)據(jù)抽取，清洗和去重等工作

　　任職要求：

　　1、2年及以上網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)，本科及大專學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，

　　2、積極、溝通順暢，工作認(rèn)真負(fù)責(zé)

　　3、扎實(shí)的編程能力，熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎(chǔ)知識(shí)

　　4、熟練掌握開(kāi)發(fā)語(yǔ)言java或c/c++，熟悉腳本語(yǔ)言和正則表達(dá)式

爬蟲(chóng)崗位職責(zé)10

　　職位要求

　　1、計(jì)算機(jī)相關(guān)專業(yè)，本科及以上學(xué)歷，3年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn)；

　　2、對(duì)爬蟲(chóng)編程有強(qiáng)烈愛(ài)好，熟練精通掌握至少1種語(yǔ)言java、python，在需要的情況下能快速上手新語(yǔ)言切換；

　　3、深入理解tpc/ip、http、以及web登錄認(rèn)證的機(jī)制，有成功破解復(fù)雜驗(yàn)證碼的經(jīng)驗(yàn)；

　　4、有通用分布式爬蟲(chóng)系統(tǒng)架構(gòu)和開(kāi)發(fā)經(jīng)驗(yàn)，能快速部署新的爬蟲(chóng)應(yīng)用；

　　5、已有2年以上網(wǎng)絡(luò)爬蟲(chóng)或搜索引擎工作經(jīng)驗(yàn)，參與過(guò)大規(guī)模數(shù)據(jù)爬蟲(chóng)優(yōu)先考慮；

　　6、有app安全、逆向等領(lǐng)域的經(jīng)驗(yàn)；

　　7、具有良好的'溝通、團(tuán)隊(duì)協(xié)作、計(jì)劃能力，有過(guò)1—2人的團(tuán)隊(duì)管理經(jīng)驗(yàn)。

　　崗位職責(zé)

　　1、建設(shè)完善分布式爬蟲(chóng)系統(tǒng)；

　　2、建立通用的爬蟲(chóng)框架，能夠快速適應(yīng)新的爬蟲(chóng)需求；

　　3、快速完成對(duì)目標(biāo)資源的數(shù)據(jù)抓取、處理。

爬蟲(chóng)崗位職責(zé)11

　　崗位職責(zé)

　　1.熟悉線程池、并發(fā)機(jī)制、鎖機(jī)制、線程安全原理；

　　2.java體系知識(shí)：網(wǎng)絡(luò)io、設(shè)計(jì)模式、linux、jvm、java類加載機(jī)制、java內(nèi)存模型；

　　3.爬蟲(chóng)經(jīng)驗(yàn)：webmagic、adsl撥號(hào)、正則表達(dá)式、脫殼技術(shù)、加密、圖片破解、二維碼識(shí)別、滑塊驗(yàn)證碼破解、httpclient、分詞、分布式爬蟲(chóng)調(diào)度、數(shù)據(jù)質(zhì)量監(jiān)控、代理ip調(diào)度算法、配置化爬蟲(chóng)、授權(quán)爬蟲(chóng)、輿情、應(yīng)用市場(chǎng)、反爬；

　　4.熟悉http/http、tcp/ip、socket等通訊協(xié)議；

　　5.6年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)，至少2年爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)。

　　任職要求

　　1.采集、清洗、監(jiān)控、配置化、調(diào)度、反爬、數(shù)據(jù)爬取、分詞、檢索等數(shù)據(jù)采集研發(fā)；

　　2.較強(qiáng)的邏輯思維和發(fā)散思維；

　　3.計(jì)算機(jī)或相關(guān)專業(yè)本科及以上學(xué)歷。