北京快手大数据研发技术面经
昨天面的, 下午2点到6点多, 全程见了2位HR和4位研发, 其中2位研发是比较高级的leader. 目前等HR回复中
自己之前在小公司做了2年大数据, 人手少, 哪里需要哪里搬, 所以这次被考察的面也有点广
题目做了一下简单记录, 会有遗漏, 并且没有按顺序哈. 个人觉得大概回答下来80%多吧
Java
1. HashMap的底层数据结构, 为什么JDK8要用红黑树. ConcurrentHashMap的底层数据结构, 如何保证线程安全
2. synchronized关键字的本质, 作用是什么. volatile关键字的作用, 哪些情况下会用它
3. Java线程的几大状态及转换. 线程可重入是什么概念, 可重入锁呢
4. 如果要设计一个线程池, 需要考虑哪些要素. Executors工厂类能创建哪些线程池, 用过哪些
5. 讲一讲熟悉的设计模式. 单例模式及工厂模式的实现方法. 装饰器模式是怎么一回事
6. 讲一讲熟悉的JVM GC算法, 常用的垃圾收集器. CMS有什么优缺点
7. 一个Java应用上线后, 关注哪些性能指标. 如果响应时间过长或者CPU占用过高, 如何排查, 用哪些工具或命令
大数据组件
1. 是否自己搭建的集群, 集群节点数及配置
2. Hadoop的XML配置文件有哪些, 改过哪些参数, 分别代表什么含义
3. HDFS NameNode高可用如何实现, 需要哪些角色. YARN有哪些组件, 如何分配资源
4. Spark RDD有哪些特点, 宽依赖和窄依赖. RDD的缓存级别
5. DAGScheduler及stage如何划分. 给一个比较复杂的RDD lineage, 手动划分stage和task
6. Spark Streaming以一定的时间窗口统计PV/UV, 如果窗口内数据量暴涨, 如何保证稳定性. 如果会延迟上报, 如何保证实时性
7. Kafka与Spark Streaming集成, 如何保证exactly once语义
8. Spark/Hive中大表join小表的优化方法. 数据倾斜和shuffle调优方法
9. 调整过Hive的哪些参数, 用什么执行引擎. Hive UDF怎么写, 写过哪些. HiveQL是怎样解析成MR/Spark job的
10. HBase的数据在HDFS上是怎样存储的, 写入数据的流程是怎样的. 为什么HBase适合写多读少业务
11. HBase的一个region由哪些东西组成. RegionServer宕机之后如何感知, 如何迁移数据
12. 为什么选用Kudu作为HBase和Hive的折中方案, 它有什么特点. 如果不用Kudu, HBase的二级索引能解决问题吗
13. Impala的查询及执行与Hive有什么不同 [PS. 我之前的项目里用了Kudu+Impala]
数据仓库设计
1. 之前业务中的数据仓库是如何分层的, 怎样建模, 主题如何划分
2. 从ODS到DW层的ETL, 做了哪些工作
3. 1~3NF的含义. 维度建模中星型模型和雪花模型的不同. 代理键是什么, 支架表是什么
4. 如何处理缓慢变化维. 怎样建设拉链表, 如何在拉链表中恢复最新数据
算法和应用题
1. 最长公共子序列(LCS)问题. 动态规划
2. 找出二叉树中任意两个节点的最低公共根节点, 如果树是BST呢. 深度优先搜索+二分查找树性质
3. 10亿条64B长的URL, 限定1G内存, 做计数, 如果要TopN的话呢. 哈希分桶+堆排序时间复杂度
4. 用户行为日志有UID和时间戳, 设定一个session间隔. 离线及在线地计算用户的平均session长度
5. 之前做过标签推荐系统, 详细讲一下架构和自己设计的算法. 算法流程是行为评分+指数衰减+线性归一化+余弦相似度/皮尔逊相关性+TF-IDF打压
-
为什么我面试没有过?
很多人会疑惑:明明我面试过程不错,为什么还是没有过呢?也许,你就是因为有几下几种原因,导致迟迟借不到传讯的电话通知。1.你看来有点“老土”你的服装可能已经过时,一定要注意你的衣服,还有你的眼镜、公文包,你的衬衫、套装一定要经过专业洗涤、熨烫。2.你缺乏定位你看...
-
面试的八大“嘴忌”
对于面试,很多人都有这样的一种理解的误区:面试一测外貌;二测口才。我认为,除特殊行业的特殊要求外,如上两方面是远远不够的。比如讲究知识型的用人单位,如果也招来那些只有外貌和口才而没有真本领的员工,那就无异于买花瓶了。现在有很多年轻的求职者自以为外貌和口才...
-
大公司因何看不上你?
应届毕业生求职已进入了最后攻坚阶段。在毕业生心目中,包括跨国公司在内的知名企业、大公司无疑是最佳雇主。然而,应聘大公司竞争激烈,丝毫不亚于千军万马过独木桥。记者在采访中发现,绝大多数毕业生在求职中对专业知识、操作技能等硬条件十分注重,却往往忽视了待人...
-
面试技巧:教你弥补自身劣势
面试技巧:性格劣势——用场合弥补兴华天生害羞,一开口就脸红,几次求职面试均因表现慌乱而败北。不久,一个同学透露,他所在的企业要招聘一名总裁秘书,兴华对此很感兴趣,但“面试恐惧症”又让他望而却步。恰好此时,该公司要举行卡拉OK大赛,兴华眼前一亮:自己当年可是全校卡...