北京,北京

踩着冬天的尾巴来到了北京,2018的春天里,加油!!!

阅读全文

Spark算子之TransFormation

  • Spark算子分为 Transformations | Action 两类
  • Transformations 为懒加载,只记录元数据,并不触发计算行为
  • Action 将触发计算行为

    官方文档

阅读全文

Win10开放端口让局域网内访问

之前主要注重的是博客的PC端,后来在调试移动端的时候发现手机不能访问本地调试的4000端口,What?
那么当然就是Win10的端口没有对外开放啦,So依次点击:

  1. Win10安全中心(右下)
  2. 防火墙和网络保护
  3. 高级设置

阅读全文

使用lantern翻墙

翻墙有多简单?一个回车?还是双击左键?或者右键打开?
“KISS”原则:Keep it Simple and Stupid,简单即美
那么,推荐使用lantern,简单免费,查资料的话肯定够用

  1. 下载lantern
    https://github.com/getlantern/forum/

阅读全文

Hexo免密部署到github

每次用Hexo部署的时候,都要输入用户名和密码,太麻烦了,所以做一下免密登陆就很方便了

阅读全文

Hadoop-3 Mapreduce和Wordcount

  1. 场景描述
    存在像
    1
    2
    3
    diyishuai hello hi hadoop
    spark kafka flume zookeeper
    ...

阅读全文

Hadoop-2 Win10下调用Java客户端

  1. win10开发环境准备工作

    • 方式1 :
      • 解压tar包

阅读全文

Hadoop-1 安装及基本shell命令

  1. 什么是hadoop

    • 对海量数据进行分布式处理
    • 三个核心组件:HDFS分布式文件系统、YARN运算资源调度系统、MAPREDUCE分布式运算编程框架

阅读全文