1.大数据笔试真题集锦---第五章:Hive面试题
2.如何给程序员准备面试和笔试题?源码笔试
3.面试说两天给结果给我，那都没有机会为什么不说今天给结果给我？
4.华宇笔试题（有答案）

大数据笔试真题集锦---第五章:Hive面试题

       我会不间断地更新维护，源码笔试希望对正在寻找大数据工作的源码笔试朋友们有所帮助。

       第五章目录

       第五章 Hive

       5.1 Hive 运行原理（源码级）

       1.1 reduce端join

       在reduce端，源码笔试对两个表的源码笔试数据分别标记tag，发送数据。源码笔试地图号码采集源码根据分区分组规则获取相同key的源码笔试数据，再根据tag进行join操作，源码笔试完成实际连接。源码笔试

       1.2 map端join

       将小表复制到每个map task的源码笔试内存中，仅扫描大表，源码笔试对大表中key在小表中存在时进行join操作。源码笔试使用DistributedCache.addCacheFile设置小表，源码笔试通过标准IO获取数据。源码笔试

       1.3 semi join

       先将参与join的源码笔试表1的key复制到表3中，复制多份到各map task，过滤不在新表3的表2数据，最后进行reduce。

       5.2 Hive 建表

5.3.1 传统方式建表

       定义数据类型，如：TINYINT, STRING, TIMESTAMP, DECIMAL。

       使用ARRAY, MAP, STRUCT结构。

5.3.2 CTAS查询建表

       创建表时指定表名、存储格式、数据来源查询语句。

       缺点：默认数据类型范围限制。

5.3.3 Like建表

       通过复制已有表的结构来创建新表。

5.4 存储格式和压缩格式

       选择ORC+bzip/gzip作为源存储，ORC+Snappy作为中间存储。

       分区表单文件不大采用gzip压缩，桶表使用bzip或lzo支持分片压缩。

       设置压缩参数，如"orc.compress"="gzip"。

5.5 内部表和外部表

       外部表使用external关键字和指定HDFS目录创建。

       内部表在创建时生成对应目录的文件夹，外部表以指定文件夹为数据源。

       内部表删除时删除整个文件夹，外部表仅删除元数据。

5.6 分区表和分桶表

       分区表按分区字段拆分存储，避免全表查询，提高效率。

       动态分区通过设置参数开启，根据字段值决定分区。

       分桶表依据分桶字段hash值分组拆分数据。

5.7 行转列和列转行

       行转列使用split、explode、laterview，列转行使用concat_ws、collect_list/set。

5.8 Hive时间函数

       from_unixtime、unix_timestamp、to_date、month、weekofyear、quarter、trunc、current_date、date_add、date_sub、datediff。

       时间戳支持转换和截断，标准格式为'yyyy-MM-dd HH:mm:ss'。

       month函数基于标准格式截断，识别时截取前7位。

5.9 Hive 排名函数

       row_number、dense_rank、rank。

5. Hive 分析函数：Ntile

       效果：排序并分桶。

       ntile(3) over(partition by A order by B)效果，可用于取前%数据统计。

5. Hive 拉链表更新

       实现方式和优化策略。

5. Hive 排序

       order by、卡密社区php源码order by limit、sort by、sort by limit的原理和应用场景。

5. Hive 调优

       减少distinct、优化map任务数量、并行度优化、小文件问题解决、存储格式和压缩格式设置。

5. Hive和Hbase区别

       Hive和Hbase的区别，Hive面向分析、高延迟、结构化，Hbase面向编程、低延迟、非结构化。

5. 其他

       用过的开窗函数、表join转换原理、sort by和order by的区别、交易表查询示例、登录用户数量查询、动态分区与静态分区的区别。

如何给程序员准备面试和笔试题?

       如何给程序员准备面试和笔试题？让我们从面试和笔试两方面详细解析，以Android开发为例。

       面试准备包括简历撰写、项目经验和面试技巧。

       简历撰写应简洁明了，聚焦重点，避免空泛描述。例如，"学习能力强"应具体阐述，如“通过1个月学习，获得XXX证书”。自我介绍需有逻辑性，开头问候，结尾总结，条理清晰。应避免提供无法证实的信息，以免在面试中陷入被动。

       项目经验方面，选择有亮点的部分，从技术、难度、贡献度等方面进行整理，避免泛泛而谈。每个项目应突出关键技术和成果，展现实际工作经验。

       笔试题准备重点关注Java和Android技术。

       Java部分，面试官可能会提问关于TCP的状态、三次握手、四次挥手，HTTPS与HTTP的区别，以及网络架构原理等。此外，设计模式、状态机理解、生产者消费者模式、适配器模式等也是常见考点。

       Android部分，涵盖ViewGroup绘制顺序、事件分发、网络优化、内存管理、电量管理、布局优化等。具体问题可能包括自定义View实现特定效果、事件分发过程、网络API优化、内存泄漏检测、Bitmap优化等。QQ业务自助下单源码

       此外，面试可能涉及算法与数据结构、Hybrid开发、Android Framework、第三方源码解析等高级技术问题。

       面试准备阶段，还需关注Linux上的IPC通信、进程共享、线程安全等底层技术。算法与数据结构方面，核心算法的掌握及边界条件的处理是关键。

       笔试题准备时，关注细节和实际应用，理解技术原理与实践相结合。通过模拟面试和笔试，熟悉常见问题和解答策略，提高应试能力。

面试说两天给结果给我，那都没有机会为什么不说今天给结果给我？

       ‍

       今天给大家分享一个关于一次奇葩面试：喊价K，HR却给了K的经历，网友评论说：面试造飞机，工作拧螺丝？

       自报家门

       先做个自我介绍，楼主坐标帝都，5 年经验，跳槽之前在一家传统小公司，年薪 万。

       这次面试前前后后大概两个月的时间，面试了大概 6 家公司，命中 4 家，最终去了一家估值 亿美金的生鲜电商独角兽，年薪 万，刚好翻倍。

       面试过程

       话不多说，直接进入面试现场!

       好未来

       开始面试第一天上午投递好未来，下午 3 点面试，一共面试了 3 轮，问的问题比较多。

       第一轮

       面试官看了我的简历，首先让我画出 Eureka 的执行流程，这块在之前的准备过程中有深入看过，因此比较流畅的画出来并配合解释说明。

       之后问到项目中使用分布式锁解决缓存重建并发的问题，并要求画出实际的执行流程，数据库也问的比较多，像事务的隔离级别，MySQL 实现可重复读的原理，索引等。

       面试官给出了一个场景，在数据库主从同步的情况下，如果从库同步主库的数据延迟比较高，怎么才能在写到主库后立刻能够读取到数据。

       我解释了主从同步的原理，并以此说明主库到从库的复制一定是有延迟的，因此要保证当写到主库的时候立刻能读到数据。

       要么就直接配置那个接口读数据的话直接走主库，因为这种写完主库立刻要读取数据的场景比较少，可以做些特殊配置。

       另一种方案就是在往主库写数据的时候，可以直接往内存缓存中写一份，设置一个较短的过期时间，后面可以直接从缓存中读到数据。我说完之后，面试官也没给出评价，就这么过去了。

       此外，还问到一些基础性的问题，比较印象深刻的是：在加锁的时候，用什么锁对象是内存占用最小的，我说是 Object 对象，面试官说不对，微信云客服源码我一时没想出来，面试结束后和朋友探讨，觉得应该是长度为 0 的 byte 数组。

       其他还问到了 Collections.sort() 使用的排序算法，AQS，线程池，ThreadLocal 等等问题，主要都是一些考察基本功的问题，一轮面试就这么过去了!

       第二轮

       面试官更关注对一些技术的理解，问到了 ElasticSearch 的一些基础以及它和 MySQL 的区别在哪里;Eureka 和 Zookeeper 做服务发现的区别在哪里。

       还问了分布式限流有哪些方案，以及用线程池进行限流的缺陷是什么，项目中系统日志的处理;还有 JVM 模型，JMM 模型，垃圾回收机制，垃圾收集器等问题。

       之后聊了一些设计模式的使用，在项目中使用了哪些设计模式，对设计模式的几个原则的理解。

       第二轮结束后，由于第三轮的面试官在开会，所以等了一段时间，等面试官来了之后，只聊了很短时间，面试官就说还有别的事，今天先到这里了。

       主要问到了上家公司的加班情况，对加班的认识，职业规划，也问了几个技术问题，像 Tomcat 的优化这块，自我感觉答的不是很好。

       整个面试从 3 点到 7 点，有点虎头蛇尾的感觉，结束后也没有消息了。

        到家

       面试一共三轮，上午 点过去，两轮技术面，下午两点过去，等了一会，然后跟 HR 聊了有半个多小时，HR 说明在一周之内会有结果。

       第一轮

       第一轮面试官的问题主要集中在基础上，我大概罗列了问到的一些问题，不同的简历不同人肯定问的也不太一样，有兴趣的同学可以参考看看。

       主要是 JVM 模型，锁的原理，Synchronized 和 ReentrantLock的区别，偏向锁/轻量级锁/重量级锁的原理，能否从偏向锁直接升级成重量级锁。

       Java 并发包里有哪些类，如何使用，线程池原理和参数配置，JVM 调优，堆大小的设置，多线程的线程数的设置，Volatile 原理，ThreadLocal 原理和使用。

       Redis 和 Zookeeper 如何实现分布式锁，Redis 的数据类型，一些具体命令，比如要获取一个有序列表的前 个元素应该用什么命令。

       数据库索引的使用，聚簇索引和非聚簇索引，没有主键的话，数据如何组织。

       B+ 树的原理，InnoDB 引擎和 MyISAM 引擎的区别和使用场景，数据库隔离级别和原理，jsp留言板源码MySQL 的分库分表，MQ 的可靠性和顺序性，ES 插入数据的原理等。

       第二轮

       第二轮是部门 Leader 来面试，这轮面试主要集中在框架源码上，我画出了源码的执行流程，之后面试官在一些点深问，因为这块我看的比较全面，问的问题基本都答出来了。

       然后这里面试官还问了在源码中我有学到什么东西，我讲了使用配置类代替 Properties 文件，Volatile 在单例模式中的使用，内存的多级缓存机制，线程池的各种不同应用场景，MeasureRate 统计一分钟内心跳次数，批处理机制等。

       这里我的回答主要集中在代码编写层面，也可以从架构层面说下学到了哪些，我觉得后者更有高度。

       最后我向面试官咨询了这个岗位具体做的事情，部门是基础服务部，面试官画图给我说明了部门内部一些项目划分，技术栈的使用，后续的规划等内容，并约我下午继续跟 HR 聊。

       HR 面

       下午跟 HR 的面试，HR 顺着简历上的公司一个个聊，问了离职原因，公司情况，如何向上司提出离职的，团队规模，是否带团队。

       还问了上午面试的岗位知不知道具体要做什么，之后 HR 说了下公司的一些情况，上班时间，福利，加班情况，问了我现在的薪资情况，期望薪资，我问了下出结果的时间，HR 说一周之内。

       第二周的周五下午六七点的时候，这家公司 HR 给我打电话，告诉我面试通过了，之后提到了给我的薪资，算下来竟然只给了我一个 5% 的涨幅。

       HR 给出的解释是，因为我前家公司上一年只发了 薪，而他们有 薪和两个多月的绩效，用 个月的薪水除以 ，算下来平均到每个月也能达到我期望薪资的水平。

       这个计算方法实在是膈应人，虽然 HR 后来表示可以跟 CEO 申请提高每月的 Base(大概提高到 % 的水平吧)，不过当时我已经有较为满意的 Offer 了，还是决定不去这家了。

       某生鲜电商独角兽

       由于前面说了薪资，就不说具体公司名字了。这家公司我面试了两天，一共三面，第一天笔试加初面，然后第二天有两轮复试。

       第一轮

       一面主要还是基础，集中在 IO/并发/缓存/Redis/Zookeeper/分布式/JVM/数据库等。

       其中问到 Redis 的单线程模型的时候，我这块了解的不是很清楚，只是知道使用 NIO 的方式，然后以自己的理解去说了，面试官表示这可能是我看过别的框架的模式，跟 Redis 搞混了，不过也算是答上来一些了。

       之后聊了一些项目的情况，比如每日的访问量有多少，QPS 多少，订单量多少等数据，据此得出数据库的访问压力如何。

       另外也深入问了使用分布式事务的一些问题，还有分布式事务在时间上的性能。

       所以这里给各位兄弟强调一下，对自己的项目一定要非常熟悉，各个点都要考虑到。

       一面跟面试官聊的还挺好，面试官也表示我的基础还不错，问我是不是平时都有学习，之后就是约二面了。

       由于当时已经下午 1 点了，后面的面试官也在中午休息，而我下午也还有别的面试，因此 HR 跟我约第二天来复试。

       第二轮

       二面的面试官也聊了基础和一些设计上的问题，比如同时访问三个有相同功能的 API，要求将执行最快的结果返回，有哪些方式，这块主要还是考察对并发编程，并发控制的理解和掌握，有一些并发控制的类能够做到。

       其他的还问到了，要开发一个新的 API，需要考虑哪些方面，把所有要考虑的地方都说出来，大家可以说下边界处理，高可用，并发问题，可扩展性，幂等性，重试机制等等，可以说的非常多。

       总体问了有 6 块内容吧，面试官一边问也一边在记录，一些基础的问题这里就不再多说了。

       第三轮

       三面的面试官问的要更底层一些，Java 线程与内核线程的关系，与进程的关系;关于并发我所了解的方方面面。

       对于这个，我从为什么有并发，并发问题产生的根源，解决并发问题的一些理论，Java 中解决并发问题的方式，不同方式的适用场景和对比等方面进行了回答。

       另外还问到 Redis 的几种数据类型，以及每种数据类型的底层实现，跳表这种数据结构如何插入数据， Hash 如何扩容。

       这块我跟面试官说具体扩容规则不太了解，然后向面试官说了我了解的 Java 中的 HashMap 的扩容规则和具体实现。

       Tips：面试时如果遇到自己不太熟悉的部分，可以稍作变通，把自己熟悉的内容和面试官的问题结合起来。

       之后又问了一些小的知识点，有的也没答好，像 CopyOnWrite 就不知道用来做什么，然后就是一些为什么离职之类的问题，对未来职业发展的考虑等。

       之后面试官问我有什么想了解的，也问了我的期望薪资，我说了具体的数，也表示没想要太多，更看重平台的发展，最后面试官说明天 HR 会打电话给我。

       HR 面

       最后就是跟 HR 的沟通了，第二天 HR 打来电话告知面试通过，然后问了我期望薪资，沟通入职时间，之后加微信，按照 HR 的要求提供了一些材料，第二天就收到 Offer 了。

       PS：最终楼主选择了这家公司，除了很有竞争力的薪资之外，我还很看重这家公司的发展平台，因为他们有非常大的用户量，会遇到各种技术挑战，是很好的提升锻炼的机会。

       然后这里有一个开篇提到的小插曲：当时 HR 电话问我期望薪资的时候，我说 K。

       结果后续加微信聊天时，HR 告诉我技术面试的反馈很好，决定给我 K，一个月还有 的补助，算下来一个月有 K，发 个月。这种 HR 主动加薪的事情我还是第一次见，意外之喜，哈哈!

       玩吧

       这家公司的职位是去做 App 后台的，用户量也不错，面试一共两轮技术面，最后是 HR 面。

       第一轮

       一面的时候，网络这块问的比较多，三次握手，四次挥手什么的，还有整个网络请求的执行流程，数据包的大小，对长连接的理解等。

       然后数据库这块也问了一些，提供了一个场景，假如要实现一个最简单的朋友圈，用户可以看到朋友的朋友圈动态，朋友也可以看到用户发的动态，然后问表的设计。

       我说了自己的实现，像用户表，好友表。面试官问有没有更好的方式，我没答上来，面试官表示这个轻易可能想不到，就问别的问题了，别的也没什么特殊的问题，都是一些基础的东西，大概聊了一个小时吧，就到了第二面了。

       第二轮

       二面是技术总监面的，整体没怎么聊技术，就是一些个人素质上的考察。比如：

为什么会选择做开发，没做别的用三个短语来描述自己的优点说说自己的缺点现在公司有系统稳定运行着，如果你发现了有新的技术能够改善现有系统，你会不会引进，会考虑哪些方面日常学习的方式，看过哪些书有没有带团队，描述下团队成员的优缺点，有没有改善有没有面试过别人，会从哪些方面考察职业规划是怎样的，想做技术管理还是技术专家对 Shell 熟不熟悉，写个 Word-Count 用到哪些命令

       最后还聊了下公司的氛围，项目的情况等。然后也没啥特殊的，就过了。

       HR 面

       最后跟 HR 聊，主要还是说了下公司的福利待遇，公司的氛围，也问了我现在有没有 Offer，对他们的感觉怎么样。

       然后问了之前公司的薪资和现在的期望薪资，最后加了微信，告诉我两天内给结果。最后也是成功通过了面试并拿到了 Offer。

       友信金服-人人贷

       这家公司面试有三轮，大同小异，这里简短的说一下。

       第一轮

       一面仍然是基础的考察，像 CAS 的理解，和它存在的问题，ConcurrentHashMap 的锁机制，ElasticSearch 倒排索引，Eureka 的底层源码，还有服务访问的重试机制等等。

       第二轮

       二面上来问了垃圾回收的问题，类似下面的代码：

       问 a 和 b 能否被垃圾回收?这里主要考察 JVM 如何判断一个对象是否可以被回收，是通过引用计数还是可达性分析，引用计数的方式会产生像上面代码一样的循环引用的问题，所以 JVM 没有采用这种方式。

       第二个问题是，如果有个跟 Java 中原生的 String 一模一样的类，包括包名，类名都是一样的，方法也是一样的，唯独比原生的 String 的方法多个打印输出语句。

       然后把它放进项目的依赖中，在写程序的时候，导入 String 类，问到底执行的是 Java 原生的 String 的方法还是自己写的 String 方法。

       对于这个问题，可以考虑下 Java 中类加载的双亲委派模型。

       然后就聊了项目的一些架构，问的比较细，要求我对每块都详细画图解释。

       最后就是让画一个 Spring Cloud 技术栈所有框架的整体执行流程图，并对 Hystrix 的限流熔断机制做了解释说明，别的好像也没什么了。

       这之后二面算是结束了，面试官和我说了下自己团队的情况，人员情况，要做的项目的情况等。

       第三轮

       最后一面是业务总监面的，面试官让我说了下自己在公司做了哪些事情，我挑其中一个项目做了仔细说明，然后说了下职业规划，对行业的看法等等。

       最后 HR 和我加了微信，同样说是两天内给结果，不过第二天他们就给出通过的结果了，然后发了 Offer。

       某实时数据分析服务公司

       这是一家做体育赛事的实时数据分析展示的公司，公司不大，去年拿了 A 轮融资，看网上整体评价还不错，就去试了试。

       面试总共有技术两轮，HR 一轮。去的时候首先是写笔试题。做完之后进入面试。

       第一轮面试官没有聊太久，问的问题也比较偏基础，就是一些面试常问的问题，然后说了 Eureka 的执行原理，说完之后，面试官就去叫技术总监了。

       第二轮面试是技术总监面的，技术点没问太多，主要集中在之前的笔试题上，笔试题包括 SQL 的考察，还有几道算法题：找出有序数组中指定元素出现的次数;二叉查找树从小到大排序。因为时间的问题，我主要写了实现思路。

       还有一题是，有 瓶水，其中一瓶有毒，小白鼠喝一滴有毒的水一小时后会死，要在一小时找出来哪瓶水有毒最少需要几只小白鼠。

       在 SQL 的考察这块，面试官看完我的答案后，又改了其中的需求，要求给出 SQL 的实现，另外也问到了 SQL 的执行效率。

       这里给大家强调一下，我面的基本上每家公司面试都会问到数据库，所以这块还是挺重要的，需要重点去看。

       然后关于找出有序数组中指定元素出现次数的问题，原来要求的时间复杂度是 O(lgn)，后来面试官说不要求任何时间空间复杂度，如何简单的实现，我给出的方案是用 HashMap，相同的 Key 每出现一次，Value 加 1。

       然后是小白鼠问题，说了解题思路，主要就是用位的思想，对 瓶水编码，实际只需要 4 个位就可以。

       之后面试官还现场出了别的算法题，我基本都给出了结果，总体而言面试还比较顺畅，之后聊了下职业规划，技术发展，学习新技术的方法，面试官也聊了之后他们准备做的事情，并给我现场演示了他们的项目。

       最后到了 HR 面，主要聊了下上家公司离职的原因，公司福利，上下班时间，我的期望薪水，还问到之前有没有带团队的经历等。

       最终他们在第二周的周四才给出面试通过的结果并表示正在走 Offer 流程，由于 CEO 不在，在薪资上还没最终确定，我因为有了更满意的 Offer，因此婉拒了。

       总结

       总结一下，这两个月的面试，我觉得最重要的就是基础和项目这两块，基础一定要扎实，否则第一轮面试可能都过不了。

       JVM，并发是非常高频被问到的地方，在开始面试之前一定要好好准备，另外也需要有自己非常熟悉的领域。

       在这个领域里，面试官的一切问题你都可以 Hold 住，我觉得，对于这种基础好，而且有自己长处的面试者，面试官没有理由不喜欢。

       还有项目这块，对项目的细节一定要清楚，各种方案的设计思路，实现细节等等都要了如指掌，这样在面试官对各种细节的追问下不至于手忙脚乱。

华宇笔试题（有答案）

       1. Get请求与Post请求的区别在于Get请求将参数数据队列添加到提交表单的Action属性所指的URL中，在URL中可以直接查看，而Post请求通过HTTPPost机制，将表单内各个字段与其内容放置在HTMLHeader内一起传送到Action所指的URL地址。

       2. JSP内置对象的作用域包括：application全局作用范围，整个应用程序共享；session会话作用域，当用户首次访问时产生，服务器可以记住这个会话状态；request请求作用域，即客户端的一次请求；response回应对象；page一个JSP页面；Out输出对象，config配置对象，exception异常对象。

       3. forward与sendredirect的区别在于，forward服务器请求资源，把目标地址的响应内容读取过来，浏览器无法看到地址改变；redirect服务器发送状态码，浏览器重新请求地址，一般情况下参数和session状态都可获取。

       4. 常见的JVM启动参数有：-vmargs用于指定JVM参数，-Xms为JVM初始分配的堆内存，-Xmx为JVM最大允许分配的堆内存，-XX:PermSize为JVM初始分配的非堆内存，-XX:MaxPermSize为JVM最大允许分配的非堆内存。

       5. 实现多线程的方法包括继承Thread类、实现Runnable接口、使用ExecutorService、Callable、Future等；线程同步实现方法有synchronized关键字用于标识方法或代码块，notify和notifyAll方法用于唤醒等待线程，wait方法使线程等待释放锁。

       6. ArrayList、Vector和LinkedList在存储性能和特性上的区别在于，ArrayList和Vector使用数组方式存储，允许直接按序号索引，但插入速度较慢；LinkedList使用双向链表实现，按序号索引需要遍历，但插入速度较快。

       7. 表的主键选择方案有：使用业务字段唯一标识、自动增长编号、系统计算生成、使用Guid/uuid。优点与缺点分别为，业务字段简单但修改复杂，自动增长快速方便但导入数据时容易冲突，Guid唯一且不冲突但值较长不易记忆。

       8. 面向对象设计中的开闭原则意味着系统对扩展开放，对修改关闭，通过抽象层预见所有可能的扩展，改变系统的行为而无需修改源代码。

       9. 程序运行结果为：1a2b和2b。类初始化顺序为：父类静态->子类静态->父类非静态->父类构造->子类非静态->子类构造。

       . SQL语句如下：没有选修课程C1的学生姓名，列出每门课程名称和平均成绩并排序，选了两门课以上的学生姓名。

       . 使用给定语言编写累加和程序：声明变量和累加器，使用while循环累加1到，打印结果。

       . 实现单例类使用延迟初始化的方式：类A和类Singleton分别采用静态属性和静态方法实现。

       . 打印图像函数，循环控制空格和星号的输出。

       . 设计组织机构表：包括单位、部门、人员，使用树形结构打印信息。

       . 应用优化方法包括使用StringBuilder、避免iterator循环、使用原始数据类型和栈、使用hibernate的缓存和延迟加载等。

       . 打印金字塔形状。