Node.js 爬虫从 0 到 1

作者/分享人:小北
向 Ta 提问
前端工程师,目前就职于清华大学大数据研究中心,react前端工程师,酷爱nodejs,坚信js会一统天下!

使用 Node.js 编写爬虫,爬取自己需要的数据,不用再去花费大量精力去学习 Python(建议有精力的还是学学),使用 JS 即可完成爬虫。

本场 Chat 我会讲解 Node 环境搭建,爬虫从简单到复杂,HTTP 请求头的伪装,以及如何利用 Chrome 浏览器进行简单的数据抓包。

已有226人预订
预订达标
文章出炉
交流日期
     
17.10.20
17.10.30
17.11.07 20:30
查看文章评论/提问
比丢
如果有nginx防盗链是不是就没辙了?如果有,该怎么实现?
小北: 文章里提到了,加个renferer,就可以解决
zhangwang
其实觉得既然讲到爬虫,也许该讲讲代理池,cookie池,或者如何设置代理如何设置cookie。。觉得讲得还是有点浅
小北: 这是第一次做chat,面相大多数人,以能听懂为目的,代理池这块文章里没有提到,后续有时间会把这块补充上,谢谢你的意见!
hez
爬取下来的图片,不能查看,没有后缀
你可能还喜欢
Java 开发必备面试题详解(技术+人事)
宁楠
如何设计一个灵活的 MySQL 数据表,应对灵活多变的需求
李岩
纯前端大数据处理技术:葡萄城纯前端开发工具应用实践
葡萄城技术团队
Jenkins 自动化构建部署实战
火币集团研发中心
Java 程序员应掌握的 Nginx 实战应用
JPM
小白机器学习基础算法学习必经之路
武博士
微信扫描登录