皮皮网

1.ip变化会影响nginx ip hash
2.哈希表字符串
3.哈希算法的算算法原理 哈希算法是什么
4.局部敏感哈希LSH（Locality-Sensitive Hashing）——海量数据相似性查找技术
5.常见的哈希算法有哪些？
6.高效相似度计算：局部敏感哈希算法Locality Sensitive Hashing (LSH)

ip变化会影响nginx ip hash

       ä¼šå½±å“ã€‚只要用户的IP不发生改变，当前用户的会话就能够一直保持，nginx的iphash算法是取ip地址的前三段数字进行hash映射，如果ip变化会影响nginxiphash。

哈希表字符串

       著名的ELFhash算法是一种哈希函数，用于将任意长度的法源字符串映射到一个固定长度的整数值，以实现高效的算算法数据查找和存储。

       算法的法源核心在于使用位移、加法、算算法异或和位掩码等基本操作，法源短信轰源码对输入字符串的算算法每个字符进行处理，最终得到一个唯一的法源哈希值。具体过程如下：

       首先，算算法定义一个初始值h为0。法源然后，算算法遍历输入字符串key中的法源每个字符。对于每个字符c，算算法执行以下操作：将h左移4位，法源然后与当前字符c进行相加。算算法接着，将h与0XfL进行按位与操作，得到g。如果g不为0，就执行h与g的右移位操作，然后与g进行异或操作。最后，将h与g的反码进行与操作，将结果赋给h。

       通过以上步骤，即可得到一个与输入字符串对应的哈希值。最后，通过哈希值对模数MOD取模，得到最终的哈希值。

       ELFhash算法的优势在于简单、高效、空间和时间复杂度低。它通常用于字符串匹配、散列表等场景，能够快速查找、插入和删除数据。然而，mv网页版源码该算法的缺点在于可能会产生哈希冲突，即不同的字符串可能会得到相同的哈希值。因此，在使用ELFhash算法时，需要考虑到哈希冲突的处理方法，如链地址法、开放地址法等，以确保算法的正确性和稳定性。

扩展资料

       散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。

哈希算法的原理 哈希算法是什么

       1、哈希算法又叫散列算法，是将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。它的原理其实很简单，就是把一段交易信息转换成一个固定长度的字符串。MD5和SHA-1可以说是应用最广泛的Hash算法，而它们都是以MD4为基础设计的。

       2、这串字符串具有一些特点：

       （1）信息相同，字符串也相同。

       （2）信息相似不会影响字符串相同。

       （3）可以生成无数的信息，但是字符串的种类是一定的，所以是不可逆的。

局部敏感哈希LSH（Locality-Sensitive Hashing）——海量数据相似性查找技术

       探索海量数据中的相似性：LSH技术详解

       在现代数据处理中，海量用户信息的相似性查找是关键任务。在微博全量用户关注关系中寻找相似用户，传统的协同过滤方法耗时且效率低下。面对亿级用户，nike抽签软件源码简单的O(n^2)复杂度无法胜任。这就引出了一个高效的数据处理技术——局部敏感哈希（LSH），它通过牺牲部分精度来换取计算效率的提升。

       LSH：近似计算的救星

       首先，我们来看看MinHashing，它在高维稀疏数据中大显身手。Jaccard系数衡量的是两个集合的相似度，MinHash通过随机排列和取最小非零值的索引值，巧妙地近似了这种度量。尽管这只能提供近似的Jaccard相似度，但它避免了全排列带来的高计算成本。Spark的MinHashLSH实现为我们提供了实战支持。

       然而，MinHashing的效率并未达到理想，LSH在此基础上引入了关键改进。LSH的核心思想是：相似的点在哈希映射后，有更高的概率落入同一“桶”中，而非相似的点则相反。为了实现这一目标，LSH需要设计满足特定性质的哈希函数，如对于相似点，哈希值相同的概率大于不相似点。

       LSH的工作原理与应用

       LSH将向量分为若干“带”，每个带包含多个哈希值。当两个向量在至少一个带上的哈希值相同，它们就有可能是相似的。通过调整带的数量和阈值，我们可以在保证一定程度的准确性的前提下，大大减少比较的用户数量。这在实际应用中，如文本、和结构化数据中，为大规模数据处理提供了强有力的工具。

       LSH的魅力与局限

       尽管LSH带来了显著的性能提升，但仍有待深入研究。如MinHashing与LSH性质的spring源码分析入门证明，以及BloomFilter与LSH的关系，都值得进一步探讨。在探索的道路上，个人水平和资源的限制总会存在，但正是这样的挑战激发了我们去发现更多的可能性。知乎用户@hunter7z的见解为我提供了宝贵的启示，值得我们在学习和实践中不断借鉴。

       通过阅读资料和实践，我们得以理解LSH在海量数据处理中的核心价值，同时也意识到其背后还有许多未解之谜等待我们去探索。让我们继续学习，揭开LSH的神秘面纱，为数据处理的未来贡献力量。

       

参考资料：

       《大规模数据挖掘》

       @hunter7z：大规模数据的相似度计算：LSH算法

       Spark 2.2.0 JavaDoc: MinHashLSH

       《局部敏感哈希》

       Brook_icv：图像检索(6)：局部敏感哈希索引(LSH) - 博客园

常见的哈希算法有哪些？

       1、RSHash

       unsigned int RSHash(const std::string& str)

       {

       unsigned int b = ;

       unsigned int a = ;

       unsigned int hash = 0;

       for(std::size_t i = 0; i < str.length(); i++)

       {

       hash = hash * a + str[i];

       a = a * b;

       }

       return hash;

       }

       2、JSHash

       unsigned int JSHash(const std::string& str)

       {

       unsigned int hash = ;

       for(std::size_t i = 0; i < str.length(); i++)

       {

       hash ^= ((hash << 5) + str[i] + (hash >> 2));

       }

       return hash;

       }

       3、PJWHash

       unsigned int PJWHash(const std::string& str)

       {

       unsigned int BitsInUnsignedInt = (unsigned int)(sizeof(unsigned int) * 8);

       unsigned int ThreeQuarters = (unsigned int)((BitsInUnsignedInt * 3) / 4);

       unsigned int OneEighth = (unsigned int)(BitsInUnsignedInt / 8);

       unsigned int HighBits = (unsigned int)(0xFFFFFFFF) << (BitsInUnsignedInt - OneEighth);

       unsigned int hash = 0;

       unsigned int test = 0;

       for(std::size_t i = 0; i < str.length(); i++)

       {

       hash = (hash << OneEighth) + str[i];

       if((test = hash & HighBits) != 0)

       {

       hash = (( hash ^ (test >> ThreeQuarters)) & (~HighBits));

       }

       }

       return hash;

       }

       4、ELFHash

       unsigned int ELFHash(const std::string& str)

       {

       unsigned int hash = 0;

       unsigned int x = 0;

       for(std::size_t i = 0; i < str.length(); i++)

       {

       hash = (hash << 4) + str[i];

       if((x = hash & 0xFL) != 0)

       {

       hash ^= (x >> );

       }

       hash &= ~x;

       }

       return hash;

       }

       5、BKDRHash

       unsigned int BKDRHash(const std::string& str)

       {

       unsigned int seed = ; // etc..

       unsigned int hash = 0;

       for(std::size_t i = 0; i < str.length(); i++)

       {

       hash = (hash * seed) + str[i];

       }

       return hash;

       }

       哈希算法将任意长度的二进制值映射为较短的固定长度的二进制值，这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母，随后的哈希都将产生不同的值。要找到散列为同一个值的两个不同的输入，在计算上是不可能的，所以数据的哈希值可以检验数据的完整性。一般用于快速查找和加密算法。

高效相似度计算：局部敏感哈希算法Locality Sensitive Hashing (LSH)

       前言：最近工作接触文本相似度匹配的一些任务，对于使用的一些算法补下基础知识。

       一、摘要

       局部敏感哈希(LSH)是一种广泛应用于近似最近邻搜索(ANN)的技术。高效相似度搜索的解决方案是有利可图的，像谷歌、Netflix、亚马逊、Spotify、快递跟踪php源码优步等大公司的许多核心功能都依赖于相似度搜索。例如亚马逊使用相似度搜索来比较用户，以相似度最高的用户，根据其历史购买记录来寻找新产品推荐。

       二、背景

       想象一个包含数百万甚至数十亿个样本的数据集，我们如何有效地比较所有这些样本?

       即使在最好的硬件上，采用穷举法比较所有数据对是不可能的，这最多产生O(n²)的搜索复杂度。即使将单个查询与数十亿个样本进行比较，我们仍然产生最多为O(n)的搜索复杂度。此外还需要考虑单个相似性计算背后的复杂度。

       怎样才能避免这种情况呢？

       解决方案是近似搜索 ，不采用穷举搜索，而是 限制搜索范围，只搜索最相关的部分。

       LSH是一种为我们提供亚线性搜索时间的算法。

       三、算法简介

       当我们考虑寻找相似向量对的复杂性时，我们发现即使在相当小的数据集上，比较所有东西所需的计算数量也是难以想象得大。这里引入 向量索引，如果我们想要将所有这些向量相互进行比较，最佳排序方法是对数线性时间复杂度。所以我们需要一种 减少比较次数 的方法。理想情况下，我们只想比较我们认为是潜在匹配的向量（候选对），局部敏感散(LSH)允许我们这样做。

       LSH由多种不同的方法组成。在本文中，我们将介绍由多个步骤组成的传统方法——shingling、MinHashing和band的LSH函数。核心是允许对同一个样本进行分段和多次哈希，当一对向量至少被哈希到一次相同的值时，我们把它们标记为候选对（即潜在匹配的向量）。

       典型的哈希函数旨在将不同的值放入不同的桶中，尽量减少多个键值被映射到同一个桶的可能性（即尽量减少哈希碰撞），LSH的哈希函数与其正好相反，希望将相似的值放入相同的桶中，实现最大化哈希碰撞（理想情况下只针对相似的输入，但不可避免地存在不相似的向量被标记为候选对进行minhash）。

       在LSH中没有单一的哈希方法。事实上，它们都共享相同的“通过哈希函数的桶相似样本”逻辑，但它们可以有很大的不同。

       四、三个步骤：Shingling, MinHashing, Band and LSH

       本文探索LSH的方法包括三个步骤。首先，我们使用k-shingling(和one-hot编码)将文本转换为稀疏向量，然后使用minhashing创建“签名”，最后将签名向量传递给LSH环节以淘汰候选对。

       4.1 k-Shingling

       定义：k-Shingling（简称shingling）将一串文本转换为一组“shingles”的过程。这个过程类似于在我们的文本字符串中移动一个长度为k的窗口，并将每一步移动获取的k个字符 整理成去重的“shingle set”。

       4.2 Minhashing

       定义：在保持相相似度的情况下，Minhashing通过哈希函数将稀疏的one-hot编码向量映射到密集向量（minhash签名向量）。有了稀疏向量，我们所做的是为我们密集向量中的每个签名位置分配不同的minhash函数将稀疏向量映射到signature。

       Min Hashing算法解决了前面所说的计算复杂度：它通过将向量A、B映射到低维空间中的两个签名向量，并且近似保持A、B之间的相似度，降低了用户相似度在高维下的计算复杂度。

       4.3 Band 和 Hash

       我们将对LSH采用banding方法——它将获取我们的签名，对每个签名的片段进行哈希，并查找哈希冲突，将具有一些相似性的签名哈希到同一桶中，从而将其标识为候选对。

       定义：banding方法通过将密集向量分成b个子向量，通过相同的哈希函数处理每个子向量并映射到一个哈希桶中，两个向量的子向量匹配，我们将各自的完整向量视为候选对。

       例如，想象一下，我们把一个维的向量分成个片段，这给了我们次机会来识别两个向量之间匹配的子向量。但这也增加了误报的数量(我们标记为候选对的样本，它们实际并不相似)，但是我们会尽量减少这些问题。

       五、优化Bands

       假设我们将signature向量分为[公式] 个band，每个band的大小为 [公式] ，两个用户向量之间的Jaccard相似度为 [公式] ：

       这个概率在[公式] 和 [公式] 取不同值时总是一个S形的曲线（这个S形曲线的特点在于，当 [公式] 超过一个阈值之后，两个用户成为candidate的概率会迅速增加并接近于1。这个阈值就是概率变化最陡的地方，近似为[公式] ）；

       上面的例子中[公式] ， [公式] ，可视化当前的概率值 [公式] -是否候选集 [公式] 之间的关系，我们注意到一个模式：虽然这种对齐并不完美，但我们可以看到理论计算的概率 [公式] 与真正的候选配对结果之间的相关性。

       现在，我们可以通过修改[公式] 来推测具有不同相似性分数的候选对的返回概率，通过优化 [公式] 值来移动LSH函数的相似性阈值。

       增加[公式] 值提供更多的子向量部分哈希碰撞的可能性更大，返回更多的候选对，将导致更多的误报（FP），也会减少一些漏网之鱼（FN）.

       六、源码

       Github源码： github.com/topics/local...

       Scala中基于Jaccard 距离的LSH相似度计算代码： spark.apache.org/docs/3...

       七、参考

       参考： Locality Sensitive Hashing (LSH): The Illustrated Guide | Pinecone

       参考： hunter7z：大规模数据的相似度计算：LSH算法

       参考： allen：一文纵览KNN（ANN）向量检索

哈希算法与MD5、SHA

       哈希算法(Hash Algorithm)又称散列算法、散列函数、哈希函数，是一种从任何一种数据中创建小的数字“指纹”的方法。哈希算法将数据重新打乱混合，重新创建一个哈希值。

       哈希算法通常有以下几个特点：

       哈希算法主要用来保障数据真实性(即完整性)，即发信人将原始消息和哈希值一起发送，收信人通过相同的哈希函数来校验原始数据是否真实。

       注：

       哈希算法主要有MD4、MD5、SHA。

       冲突避免：

       宇宙中原子数大约在的次方到次方之间，所以2的次方有足够的空间容纳所有的可能，算法好的情况下冲突碰撞的概率很低。

       MD5

       1、数据填充

       对消息进行数据填充，使消息的长度对取模得，设消息长度为X，即满足X mod =。根据此公式得出需要填充的数据长度。

       填充方法：在消息后面进行填充，填充第一位为1，其余为0。

       2、添加消息长度

       在第一步结果之后再填充上原消息的长度，可用来进行的存储长度为位。如果消息长度大于，则只使用其低位的值，即（消息长度 对 取模）。

       在此步骤进行完毕后，最终消息长度就是的整数倍。

       3、数据处理

       准备需要用到的数据：

       4个常数： A = 0x, B = 0x0EFCDAB, C = 0xBADCFE, D = 0x; 4个函数：F(X,Y,Z)=(X & Y) | ((~X) & Z); G(X,Y,Z)=(X & Z) | (Y & (~Z)); H(X,Y,Z)=X ^ Y ^ Z; I(X,Y,Z)=Y ^ (X | (~Z)); 把消息分以位为一分组进行处理，每一个分组进行4轮变换，以上面所说4个常数为起始变量进行计算，重新输出4个变量，以这4个变量再进行下一分组的运算，如果已经是最后一个分组，则这4个变量为最后的结果，即MD5值。

       代码实现： MD5算法C代码实现

       SHA-1

       年2月日，CWI Amsterdam与Google宣布了一个成功的SHA-1碰撞攻击[][]，发布了两份内容不同但SHA-1散列值相同的PDF文件作为概念证明。

       SHA1的分组过程

       对于任意长度的明文，SHA1的明文分组过程与MD5相类似，首先需要对明文添加位数，使明文总长度为（mod）位。在明文后添加位的方法是第一个添加位是l，其余都是0。然后将真正明文的长度（没有添加位以前的明文长度）以位表示，附加于前面已添加过位的明文后，此时的明文长度正好是位的倍数。与MD5不同的是SHA1的原始报文长度不能超过2的次方，另外SHA1的明文长度从低位开始填充。

       经过添加位数处理的明文，其长度正好为位的整数倍，然后按位的长度进行分组（block），可以划分成L份明文分组，我们用Y0，Y1，……YL-1表示这些明文分组。对于每一个明文分组，都要重复反复的处理，这些与MD5是相同的。

       对于位的明文分组，SHA1将其再分成份子明文分组（sub-block），每份子明文分组为位，我们使用M[k]（k= 0, 1,……）来表示这份子明文分组。之后还要将这份子明文分组扩充到份子明文分组，我们记为W[k]（k= 0, 1,……），扩充的方法如下。

       W t = M t , 当0≤t≤

       W t = ( W t-3 ⊕ W t-8⊕ W t-⊕ W t- ) «< 1, 当≤t≤

       SHA1有4轮运算，每一轮包括个步骤（一共步），最后产生位摘要，这位摘要存放在5个位的链接变量中，分别标记为A、B、C、D、E。这5个链接变量的初始值以进制位表示如下。

       A=0x

       B=0xEFCDAB

       C=0xBADCFE

       D=0x

       E=0xC3D2E1F0

       SHA1的4轮运算

       SHA1有4轮运算，每一轮包括个步骤，一共步，当第1轮运算中的第1步骤开始处理时，A、B、C、D、E五个链接变量中的值先赋值到另外5个记录单元A′，B′，C′，D′，E′中。这5个值将保留，用于在第4轮的最后一个步骤完成之后与链接变量A，B，C，D，E进行求和操作。

       SHA1的4轮运算，共个步骤使用同一个操作程序，如下：

       A,B,C,D,E←[(A«<5)+ ft(B,C,D)+E+Wt+Kt],A,(B«<),C,D

       其中 ft(B,C,D)为逻辑函数，Wt为子明文分组W[t]，Kt为固定常数。这个操作程序的意义为：

       ● 将[(A«<5)+ ft(B,C,D)+E+Wt+Kt]的结果赋值给链接变量A；

       ● 将链接变量A初始值赋值给链接变量B；

       ● 将链接变量B初始值循环左移位赋值给链接变量C；

       ● 将链接变量C初始值赋值给链接变量D；

       ● 将链接变量D初始值赋值给链接变量E。

       代码实现： SHA-1算法C代码实现

       SHA-

       SHA- 算法输入报文的最大长度不超过2^ bit，输入按-bit 分组进行处理，产生的输出是一个-bit 的报文摘要。

       代码实现： SHA-算法C代码实现

       参考

       简书： Hash算法总结

       维基百科： 哈希函数散列函数

       维基百科： MD5算法

       百度百科： MD5

       CNBlogs: SHA1算法原理

       CSDN： SHA-算法实现