Scrapy 爬虫实战与热词分析:爬取腾讯视频评论生成词云图

作者/分享人:灵动的艺术
向 Ta 提问
3年+Android系统Framework层定制化方案开发,3年+互联网消费金融产品架构经验,毕业于湖南大学软件工程专业,目前就职于上海麦广互娱文化传媒股份有限公司消费金融事业部,担任技术负责人。精通Java与Python。个人CSDN ElasticSearch专栏,https://blog.csdn.net/weixin_43430036/column/info/28872 欢迎围观

最近我的腾讯视频会员到期了,一直在纠结要不要续费,恰逢良心国漫《斗罗大陆》的广告打到我这里,再次勾起了我的追漫热情。虽然号称良心国漫,但是对这部动漫能不能值得我的腾讯视频的 VIP 价格,我还是相当怀疑的。所以决定先爬一爬,看看全部人的影评再决定。

本 Chat 我们主要讨论以下要点:

  1. Scrapy 爬虫爬取腾讯视频《斗罗大陆》的全部评论;
  2. 建立 Elasticsearch 映射存储全部评论;
  3. ik_smart 分词器中文热词分析;
  4. pyecharts 绘制 word_cloud(词云图)。

有同类兴趣的同学欢迎一起研究,如果对 Scrapy 爬虫不是很了解,也不用担心,本 Chat 我会用 Scrapy 来演示爬虫,也会给大家演示自己手写一个简单脚本来爬虫。如果 Elasticsearch 不太了解,欢迎先到我的 Elasticsearch 专栏共同学习进步,其他的技术方面都比较简单易懂,完全不用担心学不会。

已有166人预订
预订达标
文章出炉
     
18.12.14
18.12.26
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张灵动的艺术的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
你可能还喜欢
110 道 Python 面试笔试题超强汇总
嘉美伯爵
Redis 实战场景详解
驰骋
轻松搞定机器学习中的概率统计知识
Evan
从学生到职场,这位百万爬虫博主都经历了什么?
崔庆才丨静觅
架构师成长之路之服务治理漫谈
飞狐
打造高效「Mac 工具栈」,提高工作效率
易水寒
Java 与底层操作系统的交互细节
小强
架构师成长之路之限流
飞狐
架构师成长之路之服务发现与注册
飞狐
Java 进阶之路:异常处理的内在原理及优雅的处理方式
应书澜
人工智能物联网极简入门
Peter Liu
手把手教你做人脸搜索系统
天马行空
百无一用是管理:从技术到管理的 3 个典型困惑释疑
Paullin
操作系统基础: C 语言实现用户态线程(实战)
Allen()
DevOps 实战集合
Alinx
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!