现有基准

在我们开始比较上述解决方案之前，值得与 go 中的标准Regex库一起展示多么糟糕的事情。我找到了project，在其中作者比较了各种语言的标准正则发动机的性能。该基准的重点是在预定义的文本上反复运行3个正则表达式。 go 第三名在此基准标准中！ 从头开始... 。

基准对正则发动机并不是最简单的主题，因为您需要了解实现和算法详细信息以进行正确的比较。从其他基准测试中，我可以突出显示以下内容：

• Benchmarks Game-对每种语言的优化版本的发动机进行比较。例如， go 不再处于底部，但它离那里的理想程度仍然很远...当然，它不使用本地库，而是PCRE上的包装器 - go -pcre ，在类似物中指定。
• Performance comparison of regular expression engines-比较不同的正则发动机（PCRE，PCRE-DFA，TRE，ONIGURUMA，RE2，PCRE-JIT）。
• A comparison of regex engines-在这里，作者试图使用不同的正则表达式比较引擎，这可能会根据引擎实施而复杂化。在这个基准中，作者的前三引擎是：Hyperscan，PCRE（带有JIT汇编）和Rust Regex（ rure 使用）：

基准＃1

现在，让我们尝试将类似物与其他语言的默认正则发动机库进行比较。还可以查看它们与默认 go Regex 的速度更快。为此，我通过添加新的库代码来更新上述项目。这是我在计算机上运行它后得到的：

ps。稍微缩短了桌子，因此请检查project fork以查看所有结果。。
pss。在这种情况下，虚拟化可能会影响结果（测试是在Windows 11上的Docker环境中执行的）。

仍然，您可以看到某些库可以更快的速度！我们甚至在使用Rust库的GO库ðUrt库ð¥´ðð¼ââââ€。也许这是该解决方案的作者试图在他的repository中向我们解释的原因。

结果，几乎所有替代解决方案都使我们加快了 8-130 时！除了 regexp2 ，它比标准库慢。

基准＃2

问题

在研究现有基准和基准＃1 的结果时，我缺乏以下问题的答案：

1. 上面库处理大文件的速度？
2. 分组正则表达式时处理的速度更快？
3. 未经文本中没有匹配的正则表达式将多快？
4. 不同的库使用了多少内存？
5. 我可以使用分组来编译多少个正格？

基准测试器差异

要回答这些问题，我编写了一个小型基准程序，该程序可用于在速度和内存使用方面比较不同的正则发动机。如果您想自己测试或评估使用方法的正确性，则是code。

该基准的以下功能值得一提：

• 在下面的测试中，我使用了 5 不同的正则表达式：

allRegexps["email"] = `(?P<name>[-\w\d\.]+?)(?:\s+at\s+|\s*@\s*|\s*(?:[\[\]@]){3}\s*)(?P<host>[-\w\d\.]*?)\s*(?:dot|\.|(?:[\[\]dot\.]){3,5})\s*(?P<domain>\w+)`
allRegexps["bitcoin"] = `\b([13][a-km-zA-HJ-NP-Z1-9]{25,34}|bc1[ac-hj-np-zAC-HJ-NP-Z02-9]{11,71})`
allRegexps["ssn"] = `\d{3}-\d{2}-\d{4}`
allRegexps["uri"] = `[\w]+://[^/\s?#]+[^\s?#]+(?:\?[^\s#]*)?(?:#[^\s]*)?`
allRegexps["tel"] = `\+\d{1,4}?[-.\s]?\(?\d{1,3}?\)?[-.\s]?\d{1,4}[-.\s]?\d{1,4}[-.\s]?\d{1,9}`

很好，我应该像其他基准作者一样使用棘手的正则表达式 - 检查算法的“弱点”。但是我对发动机的细节没有太多见解，因此我使用了通用的辩论率。这就是为什么我认为可以从实际角度评估库的不同参数。

• 而不是静态文件，我们将使用包含匹配项的字符串，在内存中多次重复以模拟不同尺寸的文件：

var data = bytes.Repeat([]byte("123@mail.co nümbr=+71112223334 SSN:123-45-6789 http://1.1.1.1 3FZbgi29cpjq2GjdwV8eyHuJJnkLtktZc5 Й"), config.repeatScanTimes)

• 除了在数据上顺序运行Regexps外，还将有一个单独的运行，并带有指定的正则表达式分组，它们将采用以下表格：

`(?P<name_1>regexp_1)|(?P<name_2>regexp_2)|...|(?P<name_N>regexp_N)`

顺便说一句，Hyperscan具有特殊的功能，我们可以在其中构建Regexps的数据库并使用它来针对数据。在基准测试中，我将使用此方法。

• 与基准＃1 不同，对于每个Regexp，我将测量找到结果的时间，而无需考虑汇编时间；
• 最终，我们将以以下形式获得每个库和每个REGEXP的结果：

Generate data...
Test data size: 100.00MB

Run RURE:
  [bitcoin] count=1000000, mem=16007.26KB, time=2.11075s 
  [ssn] count=1000000, mem=16007.26KB, time=62.074ms 
  [uri] count=1000000, mem=16007.26KB, time=69.186ms 
  [tel] count=1000000, mem=16007.26KB, time=83.101ms 
  [email] count=1000000, mem=16007.26KB, time=172.915ms 
Total. Counted: 5000000, Memory: 80.04MB, Duration: 2.498027s
...

1-2。处理大文件并分组正则表达式

通过“大文件”，是指从我们的预定义字符串中生成的数据量等于 100MB 。当然，这不是一个大文件，但是我不想等待几个小时的结果。

# Bench all libs, repeat the line 1000000 times (100MB)
regexcmp 1000000 
# Bench individual lib
regexcmp 1000000 rure
# See all options
regexcmp -h