保存成功
订阅成功
保存失败,请重试
提交成功
小红帽

小红帽

架构师
做了十几个年头的开发,从传统软件行业,耕耘到互联网行业的电商、支付、网络安全,再到大数据。热爱技术,希望一起探讨技术问题。 发展曲线:菜鸟->高级java->架构。 现在主要从事大数据清洗架构的搭建。...更多
创作文章6

MySQL 高级教程

身为一个程序员,MySQL 作为我们亲密的小伙伴,估计多少我们都使用过,用了近 10 年的 MySQL,在去年做了大数据的项目后,却屡次被坑。 举两个栗子: - Limit 1000000,1 把库直接查挂了,你知道什么原因嘛? - 很多做小项目的同学喜欢用 select * ,在 Navicate 中我一个 select * 老板把我开除了,你知道什么原因嘛? 本篇文章为 MySQL 的高级教程,不教简单的,只教困难的。核心点如下,请多多指教: - 存储引擎 - Varchar 长度问题解析 - MySQL 的分页效率问题 - 锁 - Binglog - 索引的正确使用 - Limit 的效率问题 - 怎么使用触发器 - 存储过程 - 批量增删改查 - 主/外键详解 - 慢查询 - 怎么看执行计划 适合人群:能用到数据库的程序员
MySQL
142 订阅

有趣的反爬虫

网上写爬虫的文章很多,关于反爬虫的文章要少一些。 爬虫和反爬虫,相当于程序员之间的黑白两派,明争暗斗,你掐我捏,在这个网络的长河中也是隐藏了一场没有硝烟的技术战,智商战。 你来我往的斗争中却很有意思,有一次小红帽做的反爬策略都被攻破了,无奈上了登录才可以查询信息,这个绝招。爬虫的那个小哥,竟然用自己的手机号注册了账户进行爬虫,被我们后台日志监控到,立马打电话过去,质问道:你是不是做商标程序员? 对方狐疑道:嗯,啊,怎么了? 然后我反问说:那你爬我们数据干嘛?嘟嘟嘟……对方立马挂掉了,接着我们把他的账户拉入了黑名单。 本 Chat 主要从以下几点,讲述反爬虫: 1. 爬虫和反爬虫概念? - 爬虫的由来和应用 - 反爬虫的概念和价值 2. 为什么要反爬虫? - 数据既是价值,公司的资产被剽窃 - PV 增高,增加公司运维成本 3. 如何分析爬虫程序,避免误伤? - 日志分析 - IP 统计 - 账户访问量统计 4. Nginx 能做哪些事情? 5. 常用的反爬虫策略? - User-Agent + Referer 检测 - 账号及 Cookie 验证 - IP 限制频次以及黑名单 - 验证码 - 浏览器识别 - CSS 加密 6. 怎么处理爬虫请求? - 蜜罐 - 技术压制 - 心里战 - 放水 此 Chat 为反爬的基础文章,主要提供一些反爬的思路,反爬虫是个持久战,防守再好也会被攻破,茅与盾永远都会抗衡。被爬的越多,证明你所持有的数据越有价值。 适合人群: 所有程序员
爬虫
139 订阅

一文搞懂 Maven

小红帽最近封装了个 Jar,准备上传到公司的私服,本身没有太大问题,但是上传到私服的代码没有注释,在解决这个问题之后,想着 Maven 陪伴自己起码有 8 年的时间了,就想着写一篇这个小伙伴陪伴过程中的一些问题。 授人以鱼不如授人以渔,希望您能有些收获。 本 Chat 包含内容如下: 1. Maven 简介 2. Maven 下载和安装 - 官网下载安装包 - 配置环境变量 - 本地仓储配置 - 中央仓库配置 - 命令行创建 Maven 项目 3. Maven 常用的一些命令 - 命令行如何 Maven 指令 - 常用 Maven 命令 - IDE 中如何使用指令 4. Maven 对工程的拆分和聚合 - Maven工程拆分和聚合的思想 - 多模块项目依赖管理和继承 5. Maven 依赖冲突的解决方案 - 依赖冲突发生原因 - 查找依赖冲突 - 解决冲突 6. Nexus 下载和安装 - Docker 下载安装包 - Docker 安装 Nexues 7. Maven 向私服上传 Jar - 通过命令上传 Jar - 通过 IDE 工具上传 Jar 8. Maven 从私服下载 Jar - setting.xml 的配置 - 无法从私服下载常见问题 9. Maven 常见问题 - 解决私服上的 Jar 没有注释的问题 - Dependencies 和 DependencyManagement,Plugins 和 PluginManagement 什么区别 本 Chat 全为干货,天干物燥,小心火烛。 适合人群:会使用到 Maven 的所有同志
Maven
171 订阅

Java 转 Flink(二)少吃个手抓饼,涨一点知识

你们再不看我的文章,我就转行做手抓饼了,摊位已看好,欢迎每天早晨来买一个O(∩_∩)O,有没有怜香惜玉的,来一波订阅。 上篇文章主要介绍 Flink 怎么初始化 StreamExecutionEnvironment,以及怎么 Flink 中使用注解,大家都知道 Flink 和 Spring 结合会有各种问题,如果想看怎么解决 Flink 和 Spring 的结合问题,请移步上一篇文章《Flink 如何基于注解使用 Spring 中的 MongoTemplate、RedisTemplate 等》,同时也是 Flink 入门很好的资料。 本文主要介绍如何在 Flink 中实现通用 Mapper 的集成以及动态多数据源切换,彻底解决 Flink 中的依赖注入,以及各种 DB 连接的问题。本文最后会介绍kafka的一些原理以及 Flink 怎么消费和推送 Kafka。 涨知识的点: 1. 为什么我们花了一年的时间从 Java 转为 Flink? 2. Flink操作数据库您还在使用 JDBC 吗? 3. 骚不骚?Flink 中也可以一个注解搞定动态多数据源切换 4. 浪不浪?Flink 中实现 JPA 以及 MyBatis 的功能,与数据库交互更简易 5. Kafka 分区、顺序消费、Ack 机制 6. Flink 消费和推送 Kakfa 作为 Flink 重要 Source,Kafka 的消费是必须要掌握的知识点,而消费 Kafka 不仅仅几行代码事情,对分区、顺序问题、以及确认机制不了解,会出现数据丢失重复消费的问题,在本文中会做详解。 作为 Flink 重要 Sink,我们如果操作多数据源,全部用 JDBC 的形式,没有好的 ORM 框架,会增加我们很多开发量且不易维护,本文会提供一套基于 MyBatis 的 ORM 框架。 面向对象:Java 程序员、Flink 实时计算工程师
JavaFlink
112 订阅

Flink 如何基于注解使用 Spring 中的 MongoTemplate、RedisTempla

从 Java 转为 Flink,多少会遇到一些问题,其中比较核心问题是:我们熟悉的依赖注入还能用吗?网上 Spring Boot 集成 Flink 的文章也挺多,但总会有一些问题,而且本身 Spring Boot 是比较重。 本文主要介绍 Flink 的 HelloWord 以及如何优雅轻量级的集成 Spring Boot 中的 MongoTemplate、RedisTemplate。 1. 人生的第一个 Flink 程序,它还是 Java 吗? 2. Flink 为什么集成 Spring Boot 遇到各种问题? 3. 丢弃了 Spring Boot,我们还能爽快的开发 Flink 程序吗? 4. 如何基于注解集成 Spring Boot 中的 MongoTemplate、RedisTemplate? 5. 转为 Flink,我们还是原来那个 Java 程序员吗? 下篇介绍如何在 Flink 中实现通用 Mapper 的集成以及动态多数据源切换,彻底解决 Flink 中的依赖注入,以及各种 DB 连接的问题。
Flink
126 订阅

Google Guice 指南

本文主要介绍 Google Guice 的基础知识,延申:后面会讲到其在实时计算中的妙用。
免费Google Protobuffer
52 订阅