搜索到
19
篇与
默认分类
的结果
-
记深大哥们跑路的小感悟 其实好早就想写一篇文章了，不过一直被耽误了。先说说我公司的情况吧，之前是三个实习生，一个深大的，一个佛山科技的，一个就是我了。当初面试也是很幸运，前面是 hr 一面，后面技术组长过来面试，只是面试了一个 sql 的题目，后面是我们技术组的一个老板过来，老板也是看人缘的感觉，稀里糊涂就进了这家公司了。而且 hr 跟我说的有 5k 啊（当时面试的时候听错了），我那时候也没有 offer ，直接爽死了，直接第二天去上班了都，后面发现工资不至 5K ，现在现在加班没有餐补了，一个月封顶 5900 ， 这他妈也快 6k 了啊。工资还是很不错的，周末还是双休，双休！！刚进去的时候也挺难顶的，sql 基础比较菜，后面又叫我去写爬虫了。真的就是直接上需求，直接干活。离谱的一批！然后有做不出来。然后我就很正常的需求延期了，我那里的正式工也不怎么理我。那一段时间是真的要裂开了，回来还得自己干活。后面安排了深大的那个哥们来帮忙，两人相互讨论，后面还是成功做出来了。然后又叫我去搭建 sonar 平台啥的，superset。而且这两个又是老板的交代的任务，而且还来了一个新的实习生，我就暂时轻松了下来了。来到 10 号，发了 6100 工资，美滋滋。这个图就是深大那哥们的一个分享会，貌似我们也就这一个合照了，平时没有拍照的习惯哈哈哈。有一说一，深大这哥们对我的影响是真的大，今儿还写一文章来纪念一下！我刚入职的时候，是他带着我的，然后也教了一些工作经验，如何去做一个需求，如何去分解一个任务，拿到需求，sql 上需要怎样去做分析，临时表的一些用法。在这公司实习，也就他教我的东西最多了。可惜他昨天离职了。真希望它可以进大厂，祝前程似锦。也正是因为公司里面的实习生们，让我的眼界格局打开了。每天中午都在谈论大厂的秋招，自己的一些秋招经验，他们未来的打算。职业规划啥的。这波环境真的发挥了很重要的作用了。自从自己工作了之后，晚上回来很多时候都是躺平的，秋招我是放弃了，只能等明年的春招了，明年一定要把握机会，怎么也要 12 - 15 k 吧。而且不考虑外包公司，不考虑银行，创业公司看工资。后面需要指定一个 okr 才可以。尝试使用公司推广的 okr 来规约发展自己。在公司实习，貌似也没有学到很多东西，所以实习也不一定干满。我12月底就跑路。回家准备春招。把握校招生的身份的机会。害，瞎扯了一大波，貌似也没有扯出关键的东西，下面稍微总结一下吧！目前的实习对你的成长有帮助吗？你明确明年的工作，发展方向吗？干完实习之后你想找多少k的工作？秋招放弃了，春招又该如何备战？为了明年的工作，实习期间需要扎实哪些能力？其实大概就是这些问题吧！后续指定一个 okr 吧，按照月度来。慢慢来，逐渐接受内心落差，眼界大开，不要局限在现在实习的 6k , 多想想明年可以达到多少 k ，这才是把格局打开，眼界打开。明确目标，想办法达到目标！！！ -
Hive经典面试题 连续问题题目找出连续 3 天及以上减少碳排放量在 100 以上的用户分析和道金给我的最大连续登录天数一样的，都得先观察数据。是否一天同一天有多条数据，如果有，需要处理或者合并一天的数据。如何判断是连续的，需要借助开窗函数，一般是DENSE_RANK()。因为这个排序方法如果值相同，排的值也会并列。但是这个有一个致命的点就是一定要带上 partition by 和 order by 。partition by 可以不要，但是不能只有一个 partition by 。时间函数 DATE_SUB(NOW(),INTERVAL 2 DAY) 注意格式，一定要加上 INTERVAL 和 DAY 。答案-- 找出连续 3 天及以上减少碳排放量在 100 以上的用户 -- 1.连续登录三天，有些记录一天有多条，需要按照时间分组，然后加起来 WITH a AS ( SELECT id, dt, sum( lowcarbon ) AS sum_bon FROM test1 GROUP BY id, dt ORDER BY id ), b AS ( SELECT a.*, DENSE_RANK() over ( PARTITION BY id ORDER BY dt ) AS number FROM a ) SELECT b.id ,DATE_SUB(dt,INTERVAL number DAY) AS fir_day ,count(id) FROM b GROUP BY id,fir_day having count(id)> 2分组问题题目如下为电商公司用户访问时间数据：分析涉及到sql上一条和下一条的比较，可以考虑一下开窗函数的 LAG() 和 LEAD()。LAG---是返回分组中当前行之前的第N行的值。如果不存在对应行，则返回NULL。比如N=1时，第一名对应的值是是NUL，最后一名结果是倒数第2的值。LEAD则是当前行之后的。分组的实现，一开始我以为使用排序，但是思路一直很模糊，卡了答案才发现，完全可以使用 sum 来操作，因为可以在 sum 加上判断，if 条件不正确，可以把它的值加起来，注意，不要使用count，over里面要 partition order 两个。。。答案with a as ( select * , IFNULL(ts-LAG(ts) over (partition by id ),0) as last_one from test2 ) select a.*,sum(IF(last_one >= 60 ,1,0)) over (partition by id ORDER BY ts) + 1 as `group` from a间隔连续问题题目：根据某游戏公司记录的用户每日登录数据，计算每个用户最大的连续登录天数，可以间隔一天。解释：如果一个用户在 1,3,5,6 登 录游戏，则视为连续 6 天登录。分析感觉跟上面的有点类似的感觉，就是我们根据日期去分组，然后通过 sum 中的 if 做判断，结合开窗函数。然后选择最大的出来就好了。答案with a as ( select *, DATEDIFF(dt,LAG(dt,1,dt) over (partition by id order by dt)) as date_diff from test3 ), b as ( select id ,dt ,sum(if(date_diff < 3,0,1)) over (partition by id order by dt) as date_group from a ), c as ( select id , DATEDIFF(max(dt),min(dt)) + 1 as max_day_count from b group by id, date_group ) select id,max(max_day_count) from c group by id这个答案上面还是有一两个点是值得看看的，第一是LAG设置了默认值。第二是sum if 的开窗函数。因为中间可以隔一天，先用 DATEDIFF 和上一条做对比，DATEDIFF 返回的是一个差值，如果大于三的，就不符合题意了，如果大于三，就加一，通过加一的方式，值不同，后就可以分组了。第三是这里不能使用sum,count 去统计有多少行数，时间是间隔的，算天数的是否需要用最大的值减去最小的值，然后加一的操作。加一是因为 DATEDIFF 的原因。
-
docker安装mysql8.0记录 安装docker本人的环境：centos 8。安装yum-utils，换源sudo yum install -y yum-utils sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo这里我们使用官方推荐的安装方式，先安装yum-utils，然后设置阿里云的镜像仓库。更新软件包，安装dockeryum makecache sudo yum install docker-ce docker-ce-cli containerd.io启动服务，查看版本号systemctl start docker docker infodocker换源vim /etc/docker/daemon.json 输入下面的。腾讯的源 { "registry-mirrors": ["https://mirror.ccs.tencentyun.com"] }注意点：docker run时候出错docker 在 run 的时候如果出现这个问题。提示：docker: Error response from daemon: cannot start a stopped process: unknown. 解决方法：sudo yum install -y libseccomp-devel安装这个即可解决问题。安装mysql8.0mysql8.0跟5.7还是有一点小区别的，但是个人觉得8.0比较快乐一点，毕竟mysql8.0支持窗口函数啊。写sql这不美滋滋。docker拉镜像，rundocker pull mysql:8.0 docker run -p 3360:3306 --name mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:8.0 docker ps docker 简单阐述： -p 指定端口 ，--name 名字 , -d 后台运行-e 指定参数。mysql配置docker exec -it mysql bash mysql -u root -p 命令一：进入mysql 命令行里面，然后进到mysql里面，一堆奇奇怪怪的操作。navicat链接上面在run docker的时候指定了端口，这里我们需要开放端口，如果是服务器的话，还需要开放安全组。firewall-cmd --add-port=3360/tcp --permanent firewall-cmd --reload在配置navicat的时候，端口需要填上在docker run 指定的端口。
-
Linux命令手册 关机/重启/注销常用命令作用shutdown -h now即刻关机shutdown -h 1010分钟后关机shutdown -h 11:0011：00关机shutdown -h +10预定时间关机（10分钟后）shutdown -c取消指定时间关机shutdown -r now重启shutdown -r 1010分钟之后重启shutdown -r 11:00定时重启reboot重启init 6重启init 0⽴刻关机telinit 0关机poweroff⽴刻关机halt关机syncbuff数据同步到磁盘logout退出登录Shell系统信息和性能查看常用命令作用uname -a查看内核/OS/CPU信息uname -r查看内核版本uname -m查看处理器架构arch查看处理器架构hostname查看计算机名who显示当前登录系统的⽤户who am i显示登录时的⽤户名whoami显示当前⽤户名cat /proc/version查看linux版本信息cat /proc/cpuinfo查看CPU信息cat /proc/interrupts查看中断cat /proc/loadavg查看系统负载uptime查看系统运⾏时间、⽤户数、负载env查看系统的环境变量lsusb -tv查看系统USB设备信息lspci -tv查看系统PCI设备信息lsmod查看已加载的系统模块grep MemTotal /proc/meminfo查看内存总量grep MemFree /proc/meminfo查看空闲内存量free -m查看内存⽤量和交换区⽤量date显示系统⽇期时间cal 2021显示2021⽇历表top动态显示cpu/内存/进程等情况vmstat 1 20每1秒采⼀次系统状态，采20次iostat查看io读写/cpu使⽤情况查看io读写/cpu使⽤情况查询cpu使⽤情况（1秒⼀次，共10次）sar -d 1 10查询磁盘性能磁盘和分区常用命令作用fdisk -l查看所有磁盘分区swapon -s查看所有交换分区df -h查看磁盘使⽤情况及挂载点df -hl同上du -sh /dir查看指定某个⽬录的⼤⼩du -sk * \sort -rn从⾼到低依次显示⽂件和⽬录⼤⼩mount /dev/hda2 /mnt/hda2挂载hda2盘mount -t ntfs /dev/sdc1 /mnt/usbhd1指定⽂件系统类型挂载（如ntfs）mount -o loop xxx.iso /mnt/cdrom挂 载 iso ⽂ 件umount -v /dev/sda1通过设备名卸载umount -v /mnt/mymnt通过挂载点卸载fuser -km /mnt/hda1强制卸载(慎⽤)⽤户和⽤户组常用命令作用useradd codesheep创建⽤户userdel -r codesheep删除⽤户usermod -g group_name user_name修改⽤户的组usermod -aG group_name user_name将⽤户添加到组usermod -s /bin/ksh -d /home/codepig –g dev codesheep修改⽤户codesheep的登录Shell、主⽬录以及⽤户组groups test查看test⽤户所在的组groupadd group_name创建⽤户组groupdel group_name删除⽤户组groupmod -n new_name old_name重命名⽤户组su - user_namesu - user_namepasswd修改⼝令passwd codesheep修改某⽤户的⼝令w查看活动⽤户id codesheep查看指定⽤户codesheep信息last查看⽤户登录⽇志crontab -l查看当前⽤户的计划任务cut -d: -f1 /etc/passwd查看系统所有⽤户cut -d: -f1 /etc/group查看系统所有组⽹络和进程管理常用命令作用ifconfig查看⽹络接⼝属性ifconfig eth0查看某⽹卡的配置route -n查看路由表netstat -lntp查看所有监听端⼝netstat -antp查看已经建⽴的TCP连接netstat -lutp查看TCP/UDP的状态信息ifup eth0启⽤eth0⽹络设备ifdown eth0禁⽤eth0⽹络设备iptables -L查看iptables规则ifconfig eth0 192.168.1.1 netmask 255.255.255.0配置ip地址dhclient eth0以dhcp模式启⽤eth0route add -net 0/0 gw Gateway_IP配置默认⽹关route add -net 192.168.0.0 netmask 255.255.0.0 gw 192.168.1.1配置静态路由到达⽹络'192.168.0.0/16'route del 0/0 gw Gateway_IP删除静态路由hostname查看主机名host www.baidu.com解析主机名nslookup www.baidu.com查询DNS记录，查看域名解析是否正常ps -ef查看所有进程ps -ef \grep codesheep过滤出你需要的进程kill -s namekill指定名称的进程kill -s pidkill指定pid的进程top实时显示进程状态vmstat 1 20每1秒采⼀次系统状态，采20次iostatiostatsar -u 1 10查询cpu使⽤情况（1秒⼀次，共10次）sar -d 1 10查询磁盘性能常⻅系统服务命令常用命令作用chkconfig --list列出系统服务service <服务名> status查看某个服务service <服务名> start启动某个服务service <服务名> stop终⽌某个服务service <服务名> restart重启某个服务systemctl status <服务名>查看某个服务systemctl start <服务名>启动某个服务systemctl stop <服务名>终⽌某个服务systemctl restart <服务名>重启某个服务systemctl enable <服务名>关闭⾃启动systemctl disable <服务名>关闭⾃启动⽂件和⽬录操作常用命令作用cd <⽬录名>进⼊某个⽬录cd ..回上级⽬录cd ../..回上两级⽬录cd进个⼈主⽬录cd -回上⼀步所在⽬录pwd显示当前路径ls查看⽂件⽬录列表ls -F查看⽬录中内容（显示是⽂件还是⽬录）ls -l查看⽂件和⽬录的详情列表ls -a查看隐藏⽂件ls -lh查看⽂件和⽬录的详情列表（增强⽂件⼤⼩易读性）ls -lSr查看⽂件和⽬录列表（以⽂件⼤⼩升序查看）tree查看⽂件和⽬录的树形结构mkdir <⽬录名>创建⽬录mkdir dir1 dir2同时创建两个⽬录mkdir -p /tmp/dir1/dir2创建⽬录树rm -f file1删除'file1'⽂件rmdir dir1删除'dir1'⽬录rm -rf dir1删除'dir1'⽬录和其内容rm -rf dir1 dir2同时删除两个⽬录及其内容mv old_dir new_dir重命名/移动⽬录cp file1 file2复制⽂件cp dir/* .复制某⽬录下的所有⽂件⾄当前⽬录cp -a dir1 dir2复制⽬录cp -a /tmp/dir1 .复制⼀个⽬录⾄当前⽬录ln -s file1 link1创建指向⽂件/⽬录的软链接ln file1 lnk1创建指向⽂件/⽬录的物理链接find / -name file1从跟⽬录开始搜索⽂件/⽬录find / -user user1搜索⽤户user1的⽂件/⽬录find /dir -name *.bin在⽬录/dir中搜带有.bin后缀的⽂件locate <关键词>快速定位⽂件locate *.mp4寻找.mp4结尾的⽂件whereis <关键词>显示某⼆进制⽂件/可执⾏⽂件的路径which <关键词>查找系统⽬录下某的⼆进制⽂件chmod ugo+rwx dir1设置⽬录所有者(u)、群组(g)及其他⼈(o)的读（r）写(w)执⾏(x)权限chmod go-rwx dir1移除群组(g)与其他⼈(o)对⽬录的读写执⾏权限chown user1 file1改变⽂件的所有者属性chown -R user1 dir1改变⽬录的所有者属性chgrp group1 file1改变⽂件群组chown user1:group1 file1改变⽂件的所有⼈和群组⽂件查看和处理常用命令作用cat file1查看⽂件内容cat -n file1查看内容并标示⾏数tac file1从最后⼀⾏开始反看⽂件内容more file1more file1less file1类似more命令，但允许反向操作head -2 file1查看⽂件前两⾏tail -2 file1查看⽂件后两⾏tail -f /log/msg实时查看添加到⽂件中的内容grep codesheep hello.txt在⽂件hello.txt中查找关键词codesheepgrep ^sheep hello.txt在⽂件hello.txt中查找以sheep开头的内容grep [0-9] hello.txt选择hello.txt⽂件中所有包含数字的⾏sed 's/s1/s2/g' hello.txt将hello.txt⽂件中的s1替换成s2sed '/^$/d' hello.txt从hello.txt⽂件中删除所有空⽩⾏sed '/ *#/d; /^$/d' hello.txt从hello.txt⽂件中删除所有注释和空⽩⾏sed -e '1d' hello.txt从⽂件hello.txt 中排除第⼀⾏sed -n '/s1/p' hello.txt查看只包含关键词"s1"的⾏sed -e 's/ *$//' hello.txt删除每⼀⾏最后的空⽩字符sed -e 's/s1//g' hello.txt从⽂档中只删除词汇s1并保留剩余全部sed -n '1,5p;5q' hello.txt查看从第⼀⾏到第5⾏内容sed -n '5p;5q' hello.txt查看第5⾏paste file1 file2合并两个⽂件或两栏的内容paste -d '+' file1 file2合并两个⽂件或两栏的内容，中间⽤"+"区分sort file1 file2排序两个⽂件的内容comm -1 file1 file2⽐较两个⽂件的内容(去除'file1'所含内容)comm -2 file1 file2⽐较两个⽂件的内容(去除'file2'所含内容comm -3 file1 file2⽐较两个⽂件的内容(去除两⽂件共有部分)打包和解压常用命令作用zip xxx.zip file压缩⾄zip包zip -r xxx.zip file1 file2 dir1将多个⽂件+⽬录压成zip包unzip xxx.zip解压zip包tar -cvf xxx.tar file创建⾮压缩tar包tar -cvf xxx.tar file1 file2 dir1将多个⽂件+⽬录打tar包tar -tf xxx.tar查看tar包的内容tar -xvf xxx.tar解压tar包tar -xvf xxx.tar -C /dir将tar包解压⾄指定⽬录tar -cvfj xxx.tar.bz2 dir创建bz2压缩包tar -jxvf xxx.tar.bz2解压bz2压缩包tar -cvfz xxx.tar.gz dir创建gzip压缩包tar -zxvf xxx.tar.gz解压gzip压缩包bunzip2 xxx.bz2解压bz2压缩包bzip2 filename压缩⽂件gunzip xxx.gz解压gzip压缩包gzip filename压缩⽂件gzip -9 filename最⼤程度压缩RPM包管理命令常用命令作用rpm -qa查看已安装的rpm包rpm -q pkg_name查询某个rpm包rpm -q --whatprovides xxx显示xxx功能是由哪个包提供的rpm -q --whatrequires xxx显示xxx功能被哪个程序包依赖的rpm -q --changelog xxx显示xxx包的更改记录rpm -qi pkg_name查看⼀个包的详细信息rpm -qd pkg_name查询⼀个包所提供的⽂档rpm -qc pkg_name查看已安装rpm包提供的配置⽂件rpm -ql pkg_name查看⼀个包安装了哪些⽂件rpm -qf filename查看某个⽂件属于哪个包rpm -qR pkg_name查询包的依赖关系rpm -ivh xxx.rpm安装rpm包rpm -ivh --test xxx.rpm测试安装rpm包rpm -ivh --nodeps xxx.rpm安装rpm包时忽略依赖关系rpm -e xxx卸载程序包rpm -Fvh pkg_name升级确定已安装的rpm包rpm -Uvh pkg_name升级rpm包(若未安装则会安装)rpm -V pkg_nameRPM包详细信息校验YUM包管理命令常用命令作用yum repolist enabled显示可⽤的源仓库yum search pkg_name搜索软件包yum install pkg_name下载并安装软件包yum install --downloadonly pkg_name只 下 载 不 安 装yum list显示所有程序包yum list installed查看当前系统已安装包yum list updates查看可以更新的包列表yum check-update查看可升级的软件包yum update更新所有软件包yum update pkg_name升级指定软件包yum deplist pkg_name列出软件包依赖关系yum remove pkg_name删除软件包yum clean all清除缓存yum clean packages清除缓存的软件包yum clean headers清除缓存的headerDPKG包管理命令常用命令作用dpkg -c xxx.deb列出deb包的内容dpkg -i xxx.deb安装/更新deb包dpkg -r pkg_name移除deb包dpkg -P pkg_name移除deb包(不保留配置)dpkg -l查看系统中已安装deb包dpkg -l pkg_name显示包的⼤致信息dpkg -L pkg_name查看deb包安装的⽂件dpkg -s pkg_name查看包的详细信息dpkg –unpack xxx.deb解开deb包的内容APT软件⼯具常用命令作用apt-cache search pkg_name搜索程序包apt-cache show pkg_name获取包的概览信息apt-get install pkg_name安装/升级软件包apt-get purge pkg_name卸载软件（包括配置）apt-get remove pkg_name卸载软件（不包括配置）apt-get update更新包索引信息apt-get upgrade更新已安装软件包apt-get clean清理缓存
-
MYSQL窗口函数简单分析 MYSQL窗口函数简单分析注意点：Mysql8.0才有的功能。窗口函数特点：窗口函数具备了Group by（分组）以及Order by（排序）的功能。但是Group by分组会改变表的行数，一行只有一个类别。窗口函数也可以实现分组以及排序的功能，而且窗口函数并不会改变原来表中的行数。常用于分组后的排序等场景。函数位置一般是放在select后面，from前面。窗口函数聚合函数常见的有：AVG,COUNT,MAX,MIN,SUM非聚合函数常见的有：以下列表！！函数名作用FIRST_VALUE()分组中的第一条数据NTH_VALUE()分组中的第N条数据LAST_VALUE()分组中的最后条数据RANK()分组内当前行的排名，有间隙PERCENT_RANK()百分比排名值DENSE_RANK()分组内当前行的排名，无间隙ROW_NUMBER()分组内当前行的编号测试用例select Score,DENSE_RANK() over (order by Score desc) as `Rank` from Scores这个无间隙 --> 好比如排名1,1,2,3,3,3这样的参考资料https://dev.mysql.com/doc/refman/8.0/en/window-functions-frames.htmlhttps://zhuanlan.zhihu.com/p/92654574https://mp.weixin.qq.com/s/n9a0geHHkj8z32IdIDspSghttps://zhuanlan.zhihu.com/p/164917020
