職位描述
崗位職責(zé)1. 負(fù)責(zé)設(shè)計(jì)、開(kāi)發(fā)并優(yōu)化高效穩(wěn)定的網(wǎng)絡(luò)爬蟲(chóng)框架,進(jìn)行大規(guī)模數(shù)據(jù)采集與處理工作。2. 深入研究各類(lèi)網(wǎng)站的結(jié)構(gòu)與反爬機(jī)制,制定并實(shí)現(xiàn)有效的數(shù)據(jù)抓取策略(包括但不限于 User Agent 模擬、動(dòng)態(tài)渲染頁(yè)面處理、瀏覽器自動(dòng)化、流量管理與規(guī)避反爬技術(shù)等)。3. 基于 Python / Node.js / Go 等編程語(yǔ)言,構(gòu)建并維護(hù)高效、可擴(kuò)展的爬蟲(chóng)服務(wù),確保數(shù)據(jù)抓取的高穩(wěn)定性與高并發(fā)性能。4. 運(yùn)用 AI 工具驅(qū)動(dòng)日常研發(fā)效率提升,探索前沿爬蟲(chóng)技術(shù)方案,及時(shí)分享并快速落地。5. 與后端、數(shù)據(jù)分析、產(chǎn)品團(tuán)隊(duì)緊密協(xié)作,快速響應(yīng)需求變化,保障數(shù)據(jù)獲取的時(shí)效性與準(zhǔn)確性。任職要求1. 海內(nèi)外院校2024/2025屆畢業(yè)生(本科/研究生),第一學(xué)歷為QS100、985、兩電一郵或以上,專(zhuān)業(yè)方向涵蓋計(jì)算機(jī)、軟件工程、人工智能、數(shù)據(jù)科學(xué)等。2. 熟練掌握常用的后端開(kāi)發(fā)語(yǔ)言(Python/Node.js/Go 等)。3. 對(duì)網(wǎng)絡(luò)爬蟲(chóng)、網(wǎng)頁(yè)抓取有濃厚興趣與深入研究,熟悉 HTTP 協(xié)議、瀏覽器原理、反爬技術(shù)(如 User-Agent 模擬、Session 管理、動(dòng)態(tài)頁(yè)面抓取、代理池管理、驗(yàn)證碼識(shí)別等);4. 熟悉常用爬蟲(chóng)框架和工具(如 Scrapy、Puppeteer、Playwright、Selenium 等),了解數(shù)據(jù)存儲(chǔ)與消息隊(duì)列技術(shù)(如 MongoDB、Redis、Kafka 等)5. 具備強(qiáng)烈的 AI 工具使用習(xí)慣,日常高頻使用 ChatGPT、GitHub Copilot、Cursor 或其他 AI 輔助工具來(lái)提升研發(fā)效率。6. 能夠?qū)⑾敕焖俎D(zhuǎn)化成實(shí)驗(yàn)與原型并進(jìn)行數(shù)據(jù)驗(yàn)證,具備靈活多變、持續(xù)迭代的研發(fā)心態(tài)。
企業(yè)介紹
深圳天云如川科技有限公司位于深圳市南山區(qū)西麗大學(xué)城。公司成立于2020年,并于次年完成A輪融資。使命與愿景在AI技術(shù)發(fā)展的背景下,我們的使命是:致力于Context Management Capability(上下文管理能力)的研發(fā)與應(yīng)用。隨著大模型技術(shù)的發(fā)展,人類(lèi)與AI工具及智能代理之間的交互需要有效的Context獲取、理解與管理支持?;谶@一理念,我們正在開(kāi)發(fā)Context-as-a-Service(CaaS)平臺(tái),努力為智能時(shí)代創(chuàng)造價(jià)值。團(tuán)隊(duì)背景公司核心團(tuán)隊(duì)成員具有帝國(guó)理工學(xué)院與格拉斯哥大學(xué)的學(xué)術(shù)背景,擁有技術(shù)研發(fā)經(jīng)驗(yàn)和創(chuàng)業(yè)經(jīng)歷。團(tuán)隊(duì)成員此前曾參與創(chuàng)立多家企業(yè)并有成功案例,積累了豐富的市場(chǎng)經(jīng)驗(yàn)。工作方式我們?cè)谌粘9ぷ髦蟹e極應(yīng)用AI技術(shù),探索創(chuàng)新的工作模式。我們正在建設(shè)適應(yīng)技術(shù)發(fā)展的組織形態(tài):團(tuán)隊(duì)成員接受AI工作方法培訓(xùn),同時(shí)也參與優(yōu)化個(gè)人工作流程,共同探索人機(jī)協(xié)作的可能性。加入我們加入天云如川,您將有機(jī)會(huì)參與技術(shù)創(chuàng)新,學(xué)習(xí)AI工作方法,提升專(zhuān)業(yè)能力。我們期待與您一起探索AI時(shí)代的工作方式,共同發(fā)展。