极客时间已完结课程限时免费阅读

13 | [视频]实战：基于FFI实现的lua-resty-lrucache

13 | [视频]实战：基于FFI实现的lua-resty-lrucache-极客时间

13 | [视频]实战：基于FFI实现的lua-resty-lrucache

2019-06-24 温铭 来自北京
《OpenResty从入门到实战》
课程介绍
00:00 / 00:00
    1.0x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00
    你好，我是温铭。
    今天的内容，我同样会以视频的形式来讲解。不过，在你进行视频学习之前，我想先问你这么几个问题：
    lua-resty-lrucache 内部最重要的数据结构是什么？
    lua-resty-lrucache 有两种 FFI 的实现，我们今天讲的这一种更适合什么场景？
    这几个问题，也是今天视频课要解决的核心内容，希望你可以先自己思考一下，并带着问题来学习今天的视频内容。
    同时，我会给出相应的文字介绍，方便你在听完视频内容后，及时总结与复习。下面是今天这节课的文字介绍部分。

    今日核心

    lua-resty-lrucache 是一个使用 LuaJIT FFI 实现的 LRU 缓存库，可以在 worker 内缓存各种类型的数据。功能与之类似的是 shared dict，但 shared dict 只能存储字符串类型的数据。在大多数实际情况下，这两种缓存是配合在一起使用的——lrucache 作为一级缓存，shared dict 作为二级缓存。
    lrucache 的实现，并没有涉及到 OpenResty 的 Lua API。所以，即使你以前没有用过 OpenResty，也可以通过这个项目来学习如何使用 LuaJIT 的 FFI。
    lrucache 仓库中包含了两种实现方案，一种是使用 Lua table 来实现缓存，另外一种则是使用 hash 表来实现。前者更适合命中率高的情况，后者适合命中率低的情况。两个方案没有哪个更好，要看你的线上环境更适合哪一个。
    通过今天这个项目，你可以弄清楚要如何使用 FFI，并了解一个完整的 lua-resty 库应该包括哪些必要的内容。当然，我顺道也会介绍下 travis 的使用。
    最后，还是想强调一点，在你面对一个陌生的开源项目时，文档和测试案例永远是最好的上手方式。而你后期如果要阅读源码，也不要先去抠细节，而是应该先去看主要的数据结构，围绕重点逐层深入。

    课件参考

    今天的课件已经上传到了我的 GitHub 上，你可以自己下载学习。
    链接如下：https://github.com/iresty/geektime-slides
    如果有不清楚的地方，你可以在留言区提问，另也可以在留言区分享你的学习心得。期待与你的对话，也欢迎你把这篇文章分享给你的同事、朋友，我们一起交流、一起进步。
    分享给需要的人，Ta购买本课程，你将得18元
    生成海报并分享

    赞 4

    提建议

    © 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
    上一篇
    12 | 高手秘诀：识别Lua的独有概念和坑
    下一篇
    14 | 答疑（一）：Lua 规则和 NGINX 配置文件产生冲突怎么办？
    unpreview
     写留言

    精选留言(12)

    • Leon📷
      2019-06-30
      专栏订阅人好少，跟陶辉老师的nginx一样，到后面都没什么人留言了，曲高和寡，不过留下来的都是未来的大牛，学好了未来在工作和求职过程中多了一份竞争力
      9
    • 丢了个丢丢丢
      2019-06-24
      老师讲的好好哦！！！
      共 1 条评论
      3
    • yswang
      2019-06-26
      温大，我之前使用 openresty + ffmpeg 做了一个音频格式换行http服务，我使用先写一个 shell 转换脚本文件，例如：audio_converter.sh (sh文件中调用 ffmepg -i 转换命令)，然后使用 lua 的 os.execute("/bin/sh audio_converter.sh a.mp3 b.ogg") 来调用 shell 脚本文件间接调用 ffmpeg 指令进行转换。 今天看到了 ffi ，ffi 可以调用 C 函数，请问，ffi 可以直接调用 ffmpeg 指令吗？如果可以的话，我就可以省去写一个 shell 文件来间接调用了。
      展开

      作者回复: 有一个 ffmpeg 的库：https://github.com/daurnimator/ffmpeg-lua-ffi，你可以试下是否满足需求

      共 2 条评论
      2
    • 沈康
      2020-10-05
      HAHA，刚学完陶辉老师的nginx，跃跃欲试啊
    • dhf
      2020-06-23
      get方法里维护lru的时候，不需要考虑线程安全吗
    • 微众_廖卫军
      2019-09-23
      温铭老师，您好！ FFI调用自己封装的函数库，ffi.load(name[,global])，是否只能是动态库？不能调用静态库吗？ 谢谢！
    • chrisforbt
      2019-07-15
      老师，我想问个问题。我计划将用户请求的参数+路径+方式做为key，把数据存在lru-cache、share dict以及redis中，mysql数据源更新了，我就得将缓存全删了。那我是应该把mysql的数据源和前面生成的key关联起来，一旦更新了数据源，就去找相关的key，将其删除吗？还有更佳的缓存更新方式吗，期待您的回复。

      作者回复: 你这种是主动更新，MySQL 数据变化后主动通知前面的缓存。主动更新的话，也不用主动去删除缓存，而是在 key 里面加入一个版本号，数据变化后版本号变了，那么在缓存中就查找不到数据，这时候就回源到 MySQL 了。 也可以被动更新，根据你的业务特性，给缓存设置一个过期时间，定期的去数据库查询。 第一种版本号的方法是比较合适的，当然实现起来比被动更新复杂一些。

      1
    • emen
      2019-07-10
      温铭老师您好，关于lrucache在使用过程中有个疑惑烦请老师看看。 openresty环境：1个master进程、X个worker进程 在init_worker阶段中注册了缓存信息如：cache.set("key1","val1") 在content阶段修改了缓存信息：cache.set("key1","val2") 此操作是否仅为更新了当前worker的缓存信息，而无法跨worker更新。 如需完成跨worker更新应如何处理呢？
      展开

      作者回复: 改用 shared dict，或者是使用 lua-resty-worker-event 这样的库

      1
    • 星亦辰
      2019-07-04
      请教老师一个问题。 我用c语言实现了跨平台的so类库。 用ffi.load 来加载。 那么，在openrestry 中会有几个 so 函数的实例呢？ 按照操作系统的知识,共享库在系统中只有一个实例。 如果只有一个，那么我们在不同的worker 中调用so 里的函数中，对于一个so 内的资源是否存在冲突呢？
      展开

      作者回复: OpenResty 中的 worker 是互相独立的，如果你在 worker 中使用 ffi.load 来加载 so，那么有几个 worker 进程，就会有几个 so 实例。

      1
    • 小飞哥 ‍超級會員
      2019-07-02
      都有视频了，温老师，能否现场演示一下， 让我们见识 openresty 的复杂性。 一些文档库 官网描述等，能否现场打开了解下。 我们自己打开后，就没有然后了。

      作者回复: 我的理解，OpenResty 的复杂性在于各个子项目之间的配合，还是需要有特定的场景和业务需求来驱动，才会更有感觉。你可以参与到 OpenResty 相关的开源项目中来，切身体会下。

    • . 。o O 〇
      2019-06-26
      老师好，我碰到一个问题，我用的lrucache，会卡在get set那，并且worker进程cpu100%，整个worker不工作。换成lrucache.pureffi就好了，不知道老师碰到过没

      作者回复: 这个没有遇到过。是否是这个 bug：https://github.com/openresty/luajit2/issues/42？ 用最新的 OpenResty 版本是否可以重现呢？ 如果还是有问题，欢迎给官方提交 issue

      共 2 条评论
    • 冰沁宇诺
      2019-06-24
      老师，如果我想从数据库中初始化一些基本不变的数据到shared_dict中，应该怎么做，init_by_lua 阶段可以吗

      作者回复: 可以的，在这个阶段启动一个 timer 去读取数据库，然后放到 shared dict 中。但要注意，这个数据是可以丢失的，代码中要处理这种异常。

      1