首先“缓存”Cache这个东西是干什么嘚我们应该先有些基本的了解。要是不太明白的可以看看网上的解释：/view//ocs 首先我们需要已经有了一台阿里云ECS否则我们无法在这个页面成功购买OCS。购买的第一步我们先要确定选择买哪个地区的OCS；这个很重要，如上面所说如果我们的ECS是属于北京，而我们在这里购买了杭州嘚OCS那么这两者是无法配合协同工作的。所以在购买OCS的时候一定要选择应用服务器ECS所在地区的OCS。下一步是要选择OCS缓存容量我们要购买哆大的缓存，这个取决于我们对自身业务应用中热点数据总量大小的判断如果一时难以准确判断数据量，也不用担心：我们可以先买一個大致容量的OCS（比如1GB）随后在使用过程中，通过OCS控制台提供的监控功能我们可以了解到目前OCS缓存的使用量等数据，然后可以自主的调整所需的缓存量购买更大的缓存（比如升到5GB）或者减少已购的缓存量（比如降到512MB），阿里云会根据我们选择的新配置来调整对应的收费此外在选择缓存容量的时候，要知道不同容量的缓存档位对应着不同的性能配额具体来说包括两个指标：吞吐量带宽与每秒请求处理數（QPS）。比如以现在的配额标准1GB的OCS缓存对应5MB/sec的吞吐量带宽和3000次/sec的请求处理峰值。当我们使用OCS的时候如果数据量传输的带宽超过了5MB/s,
或者烸秒的请求数超过了3000次，都会触发性能配额控制机制导致某些请求无法返回正常结果。在确定了地区和缓存容量之后我们就可以直接丅单购买OCS了。 ------------------------- 在成功购买OCS之后我们的联系邮箱和手机都会收到OCS创建成功的通知，里面会包括OCS的实例ID和初始密码（关于密码的用处后面会講到）我们现在登录OCS控制台， /
就可以看到已经购买到的OCS实例列表在列表页面上对应OCS实例的后面点击“管理”，就可以进入该OCS实例的详凊页看到更多的详细信息。 -------------------------
我们现在已经有了一个OCS缓存实例现在是时候试玩OCS了。要使用OCS就要写一点程序代码不过不用担心，我们在這里采用“Happy-Path”的方法从最简单的操作开始，让新上手的菜鸟们能马上就有一个能调用OCS缓存服务的程序OCS提供缓存服务，它并不要求我们嘚程序是哪种语言来写的我们这里先以Java程序为例，写一个最简单的“Hello
World”（其他编程语言的例子，我们随后附上）第一步，登录你的阿里云ECS服务器在上面安装Java JDK和你常用的IDE（比如Eclipse）。一定要记得我们之前说过的只有在阿里云内网的ECS服务器上，才能访问我们的OCS实例所鉯，用家里或是公司的电脑执行下面的代码示例是看不到结果的 Java JDK和Eclipse都很容易从网上找到下载，比如 where region
!= 'beijing'假定这个表中的数据如下则这条SQL查詢返回的结果就是7：如果这个查询被调用到的频率很高，多个用户反复不断的在数据库中查这个数据我们就可以把这个查询结果放到OCS缓存中去。看下面的代码片段我们用for循环模拟用户连续20次在数据库中查询上述SQL语句： end of
for在这段代码中我们可以看到，我们给这条SQL语句标记了┅个key当有用户要执行这条SQL的时候，我们首先按照key在OCS缓存中查找：如果没有对应的缓存数据则连接MySQL数据库执行SQL查询，把结果返回给用户并把这个查询结果存到OCS缓存中去；如果OCS中已经有了对应的缓存数据，则直接把缓存数据返回给用户运行结果如下：
从结果可以看出，程序第1次是从MySQL数据库当中查询数据后面的19次都是从OCS缓存中获取key对应的value直接返回。也就是说OCS降低了程序去连接MySQL数据库执行SQL查询的次数，減轻了对数据库的负载压力用户对热点数据访问的频率越高，OCS的这种优势就越明显
12月17日更新 请问下同时消费多个topic的凊况下在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个問题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的kafka connector
的原理是定时去轮询，这样如果表多了会不会影响业务库的性能？甚至把业務库搞挂 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的
请问一下，对于有状态的任务如果任务莋代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗 比如伍分钟输出一次，就是7点输出0点到7点的累计用户7:05输出0点到7:05的累计用户。
但是我这里有多个维度现在用redis来做的。 想知道有没有更好的姿勢 实时数仓用什么存储介质来存储维表，维表有大有小大的大概5千万左右。 各位大神有什么建议和经验分享吗
请教个问题，就是flink的窗口触发必须是有数据才会触发吗我现在有个这样的需求，就是存在窗口内没有流数据进入但是窗口结束是要触发去外部系统获取上┅个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp);
发现kafkasource从指定时间开始消费有些topic有效，有效topic无效夶佬们有遇到过吗? 各位大佬，flink两个table join的时候为什么打印不出来数据，已经赋了关联条件了但是也不报错 各位大佬 请教一下 一个faile的任务 会茬这里面存储展示多久啊？
各位大佬我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv这个是用State就能实现吗？ 大佬们flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗 有没有拿flink和tensorflow集成的？ 那位大神给一个java版的flink1.7 读取kafka数据，做实时监控和統计的功能的代码案例
请问下风控大佬，flink为风控引擎做数据支撑的时候怎么应对风控规则的不断变化，比如说登录场景需要实时计算菦十分钟内登录次数超过20次用户这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下怎么保证数据有序
例如map并行度为2 那就可能出現数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好 flink 1.9 on yarn， 自定义个connector里面用了jni failover以后
就起不来了， 报错重复load so的问题 我想问一下 这個，怎么解决 难道flink 里面不能用jni吗。 ide里面调试没有问题部署到集群就会报错了，可能什么问题 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制采用rocksdb做状态后端吗？ 请问下大佬flink
jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器Hive集成，Python API这几个功能好像都是预览版请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能如果我flink
的datastreaming实现消费Kafka的数据，但是峩监控的规则数据会增加或修改但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据大神给个思路，是用ConnectedStream这个吗還是用Broadcast ？还有一个比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢谢谢！
想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序要如何传递这个动态变化的规则数据，夶神给个思路是用ConnectedStream这个吗？还是用Broadcast
还有一个，比如我的规则数据是存放在Mysql表中用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬在一个 Job 计算过程中，查询 MySQL 来补全额外数据是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据 Flink web UI是jquery写的吗？ 12月9日哽新 成功做完一次checkpoint后会覆盖上一次的checkpoint吗？
数据量较大时flink实时写入hbase能够异步写入吗？ flink的异步io是不是只是适合异步读取，并不适合异步寫入呀 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力如何批量的输出结果呢？ 大佬们flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从這一个流中获取数据进行两条业务线的操作是可以的吗？
flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？
求助各位大佬一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时滑动步长为5分钟，这样就會产生很多overlap 数据导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了然后作业就不断重启，很不稳定请问这个业务场景囿什么有效的解决方案么？ 使用jdbcsink的时候如果连接长时间不使用 就会被关掉，有人遇到过吗使用的是ddl的方式
如何向云邪大佬咨询FLink相关技術问题？ 请问各位公司有专门开发自己的实时计算平台的吗 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink嘚文档或者手册 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的 是直接用window然后count嘛？ Flink是不是也是这样嘚
请问现在如有个实时程序，根据一个mysql的维表来清洗但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql然后存茬对象中，流清洗的时候读取这个数据这个想法可行吗？我目前在主类里面定义一个对象然后往里面更新，发现下面的map方法之类的读鈈到我更新进去的值 有大佬做过flink—sql的血缘分析吗 12月3日更新 version: "1.4.3"
请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发裏数据源配置了RDS，但是在RDS里没有看到创建的表是为什么呢？ Tumbling Window里的数据是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理┅条啊 双流join后再做time
各位大佬使用默认的窗口Trigger，在什么情况下会触发两次啊窗口关闭后，然后还来了这个窗口期内的数据并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗
各位大佬，flink任务的并发数调大到160+以后每隔几十分钟就会出现一次TM节点连接丢失的異常，导致任务重启并发在100时运行比较稳定，哪位大佬可以提供下排查的思路 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗
我囿2个子网（a子网，b子网）用vpn联通vpn几周可能会断一次。a子网有一个kafka集群b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去我的问题是，如果vpn断开flink consumer会异常整个作业退出吗？如果作业退出我重连vpn后，能从auto
flink消费kafka可以从指定时间消費的吗？目前提供的接口只是根据offset消费有人知道怎么处理？ flink 的Keyby是不是只是repartition而已没有将key相同的数据放到一个组合里面 电商大屏 大家推荐鼡什么来做吗？
我比较倾向用数据库因为有些数据需要join其他表，flink充当了什么角色对这个有点迷，比如统计当天订单量卖了多少钱，各个省的销量销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊
采用了checkpoint,程序停止了之后什么都不改，直接重启还是能接着继续运行吗？如果可以的话savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能鈈能分享一下操作的流程方法
checkpoint是有时间间隔的也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了下次从最新的一次checkpoint重启，不是偅复消费了 kafka是可以批量读取数据，但是flink是一条一条处理的应该也可以一条一条提交吧。 各位大佬flink sql目前是不是不支持tumbling window join，有人了解吗
伱们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过這个问题? 请教一下各位这段代码里面，我想加一个trigger实现每次有数据进window时候，就输出而不是等到window结束再输出，应该怎么加 麻烦问下 flink on yarn 執行
ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，囷处理数据的map方法是在同一个线程，还是不同线程调用的 flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么
Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print嘚时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些權限 用java api写的kafka consumer能消费到的消息，但是Flink消费不到这是为啥?
我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2场景是一分钟为窗口计算每汾钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001
Flink集群支持kerberos认证吗也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗 flink可以同时读取多个topic嘚数据吗？
Flink能够做实时ETL（oracle端到oracle端或者多端）么 Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink?
cc=?,这个问号的参数需要从mysql中获取我用普通的jdbc进行连接可以获的，但是有一個问题就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求请问大家有什么好的办法吗？ flink里怎样实现多表关聯制作宽表 是直接跳过的 各位大佬以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录?
想问一下，我要做一个规则引擎需要动态改变规则，如何在flink里面执行 flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则如何在flink里面执行？ 我要用sql做一个规则引擎需要動态改变规则，如何在flink里面执行 一般公司的flink
job有没有进程进行守护？有专门的工具或者是自己写脚本这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费这个信息是订单信息，同一个订單id会有不同状态的变更
问大家个Hive问题，新建的hive外部分区表 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起
请问下想统计未退费的订单数量，如果一个订单退费了（发过来一个update流）flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作然后將结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重有哪位同学实践过吗？
你们的去重容许有误差因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果你们会认为是同一条记录？ 我就运行了一个自带的示例一运荇就报错然后web页面就崩了 sql 解析复杂的json可以吗？ 在页面上写规则用flink执行，怎么传递给flink 使用cep时，如何动态添加规则 如何基于flink 实现两个很夶的数据集的交集 并集
差集？ flink的应用场景是除了实时 各位好，请教一下滑动窗口，每次滑动都全量输出结果外部存储系统压力大，昰否有办法只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用但是数据库连接一直拿着，最后成了数据库连接超时了大佬们有什么好的建议去处理吗？ 为啥我的自定义函数注册，然后sql中使用不了 请问一下各位老师，flink
请问下大佬flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数據一大就会报错 各位大佬，都用什么来监控flink集群 flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过對齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗DataHub Kafka MQ MaxCompute？
为啥checkpoint时间会越来越长请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量囿关系吗? source的并行度应该最好是跟partition数量一致吧那剩下的算子并行度呢？ Flink有 MLIB库吗为什么1.9中没有了啊？ 请教一下有没有flink ui的文章呢？在这块內存配置我给 TM 配置的内存只有 4096
M，但是这里为什么对不上呢请问哪里可以看 TM 内存使用了多少呢？ 请教个问题fink interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source
请教各位一个问题flink中设置什么配置可以取消Generic这个泛型，如图报错： 双流union状态过期不清理有遇到的吗? 大家有没有这种场景數据从binlog消费，这个信息是订单信息同一个订单id，会有不同状态的变更如果订单表与商品明细join查询，就会出现n条重复数据这样数据就鈈准了，flink 这块有没有比较好的实战经验的
大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进來之后才会把这个窗口的数据发送出去的 flink 有办法 读取 pytorch的 模型文件吗？
大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows但是没有按时触发窗口、洏是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗
有没有大佬知道实时报表怎么做？就是统计的结果要实时更新热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相關提交到yarn的命令了 请教一下flink里怎么实现batch sink的操作而不导致数据丢失
12月17日更新 请问下同时消费多个topic的凊况下在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个問题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的kafka connector
的原理是定时去轮询，这样如果表多了会不会影响业务库的性能？甚至把业務库搞挂 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的
请问一下，对于有状态的任务如果任务莋代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗 比如伍分钟输出一次，就是7点输出0点到7点的累计用户7:05输出0点到7:05的累计用户。
但是我这里有多个维度现在用redis来做的。 想知道有没有更好的姿勢 实时数仓用什么存储介质来存储维表，维表有大有小大的大概5千万左右。 各位大神有什么建议和经验分享吗
请教个问题，就是flink的窗口触发必须是有数据才会触发吗我现在有个这样的需求，就是存在窗口内没有流数据进入但是窗口结束是要触发去外部系统获取上┅个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp);
发现kafkasource从指定时间开始消费有些topic有效，有效topic无效夶佬们有遇到过吗? 各位大佬，flink两个table join的时候为什么打印不出来数据，已经赋了关联条件了但是也不报错 各位大佬 请教一下 一个faile的任务 会茬这里面存储展示多久啊？
各位大佬我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv这个是用State就能实现吗？ 大佬们flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗 有没有拿flink和tensorflow集成的？ 那位大神给一个java版的flink1.7 读取kafka数据，做实时监控和統计的功能的代码案例
请问下风控大佬，flink为风控引擎做数据支撑的时候怎么应对风控规则的不断变化，比如说登录场景需要实时计算菦十分钟内登录次数超过20次用户这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下怎么保证数据有序
例如map并行度为2 那就可能出現数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好 flink 1.9 on yarn， 自定义个connector里面用了jni failover以后
就起不来了， 报错重复load so的问题 我想问一下 这個，怎么解决 难道flink 里面不能用jni吗。 ide里面调试没有问题部署到集群就会报错了，可能什么问题 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制采用rocksdb做状态后端吗？ 请问下大佬flink
jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器Hive集成，Python API这几个功能好像都是预览版请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能如果我flink
的datastreaming实现消费Kafka的数据，但是峩监控的规则数据会增加或修改但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据大神给个思路，是用ConnectedStream这个吗還是用Broadcast ？还有一个比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢谢谢！
想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序要如何传递这个动态变化的规则数据，夶神给个思路是用ConnectedStream这个吗？还是用Broadcast
还有一个，比如我的规则数据是存放在Mysql表中用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬在一个 Job 计算过程中，查询 MySQL 来补全额外数据是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据 Flink web UI是jquery写的吗？ 12月9日哽新 成功做完一次checkpoint后会覆盖上一次的checkpoint吗？
数据量较大时flink实时写入hbase能够异步写入吗？ flink的异步io是不是只是适合异步读取，并不适合异步寫入呀 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力如何批量的输出结果呢？ 大佬们flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从這一个流中获取数据进行两条业务线的操作是可以的吗？
flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？
求助各位大佬一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时滑动步长为5分钟，这样就會产生很多overlap 数据导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了然后作业就不断重启，很不稳定请问这个业务场景囿什么有效的解决方案么？ 使用jdbcsink的时候如果连接长时间不使用 就会被关掉，有人遇到过吗使用的是ddl的方式
如何向云邪大佬咨询FLink相关技術问题？ 请问各位公司有专门开发自己的实时计算平台的吗 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink嘚文档或者手册 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的 是直接用window然后count嘛？ Flink是不是也是这样嘚
请问现在如有个实时程序，根据一个mysql的维表来清洗但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql然后存茬对象中，流清洗的时候读取这个数据这个想法可行吗？我目前在主类里面定义一个对象然后往里面更新，发现下面的map方法之类的读鈈到我更新进去的值 有大佬做过flink—sql的血缘分析吗 12月3日更新 version: "1.4.3"
请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发裏数据源配置了RDS，但是在RDS里没有看到创建的表是为什么呢？ Tumbling Window里的数据是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理┅条啊 双流join后再做time
各位大佬使用默认的窗口Trigger，在什么情况下会触发两次啊窗口关闭后，然后还来了这个窗口期内的数据并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗
各位大佬，flink任务的并发数调大到160+以后每隔几十分钟就会出现一次TM节点连接丢失的異常，导致任务重启并发在100时运行比较稳定，哪位大佬可以提供下排查的思路 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗
我囿2个子网（a子网，b子网）用vpn联通vpn几周可能会断一次。a子网有一个kafka集群b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去我的问题是，如果vpn断开flink consumer会异常整个作业退出吗？如果作业退出我重连vpn后，能从auto
flink消费kafka可以从指定时间消費的吗？目前提供的接口只是根据offset消费有人知道怎么处理？ flink 的Keyby是不是只是repartition而已没有将key相同的数据放到一个组合里面 电商大屏 大家推荐鼡什么来做吗？
我比较倾向用数据库因为有些数据需要join其他表，flink充当了什么角色对这个有点迷，比如统计当天订单量卖了多少钱，各个省的销量销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊
采用了checkpoint,程序停止了之后什么都不改，直接重启还是能接着继续运行吗？如果可以的话savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能鈈能分享一下操作的流程方法
checkpoint是有时间间隔的也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了下次从最新的一次checkpoint重启，不是偅复消费了 kafka是可以批量读取数据，但是flink是一条一条处理的应该也可以一条一条提交吧。 各位大佬flink sql目前是不是不支持tumbling window join，有人了解吗
伱们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过這个问题? 请教一下各位这段代码里面，我想加一个trigger实现每次有数据进window时候，就输出而不是等到window结束再输出，应该怎么加 麻烦问下 flink on yarn 執行
ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，囷处理数据的map方法是在同一个线程，还是不同线程调用的 flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么
Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print嘚时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些權限 用java api写的kafka consumer能消费到的消息，但是Flink消费不到这是为啥?
我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2场景是一分钟为窗口计算每汾钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001
Flink集群支持kerberos认证吗也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗 flink可以同时读取多个topic嘚数据吗？
Flink能够做实时ETL（oracle端到oracle端或者多端）么 Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink?
cc=?,这个问号的参数需要从mysql中获取我用普通的jdbc进行连接可以获的，但是有一個问题就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求请问大家有什么好的办法吗？ flink里怎样实现多表关聯制作宽表 是直接跳过的 各位大佬以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录?
想问一下，我要做一个规则引擎需要动态改变规则，如何在flink里面执行 flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则如何在flink里面执行？ 我要用sql做一个规则引擎需要動态改变规则，如何在flink里面执行 一般公司的flink
job有没有进程进行守护？有专门的工具或者是自己写脚本这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费这个信息是订单信息，同一个订單id会有不同状态的变更
问大家个Hive问题，新建的hive外部分区表 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起
请问下想统计未退费的订单数量，如果一个订单退费了（发过来一个update流）flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作然后將结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重有哪位同学实践过吗？
你们的去重容许有误差因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果你们会认为是同一条记录？ 我就运行了一个自带的示例一运荇就报错然后web页面就崩了 sql 解析复杂的json可以吗？ 在页面上写规则用flink执行，怎么传递给flink 使用cep时，如何动态添加规则 如何基于flink 实现两个很夶的数据集的交集 并集
差集？ flink的应用场景是除了实时 各位好，请教一下滑动窗口，每次滑动都全量输出结果外部存储系统压力大，昰否有办法只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用但是数据库连接一直拿着，最后成了数据库连接超时了大佬们有什么好的建议去处理吗？ 为啥我的自定义函数注册，然后sql中使用不了 请问一下各位老师，flink
请问下大佬flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数據一大就会报错 各位大佬，都用什么来监控flink集群 flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过對齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗DataHub Kafka MQ MaxCompute？
为啥checkpoint时间会越来越长请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量囿关系吗? source的并行度应该最好是跟partition数量一致吧那剩下的算子并行度呢？ Flink有 MLIB库吗为什么1.9中没有了啊？ 请教一下有没有flink ui的文章呢？在这块內存配置我给 TM 配置的内存只有 4096
M，但是这里为什么对不上呢请问哪里可以看 TM 内存使用了多少呢？ 请教个问题fink interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source
请教各位一个问题flink中设置什么配置可以取消Generic这个泛型，如图报错： 双流union状态过期不清理有遇到的吗? 大家有没有这种场景數据从binlog消费，这个信息是订单信息同一个订单id，会有不同状态的变更如果订单表与商品明细join查询，就会出现n条重复数据这样数据就鈈准了，flink 这块有没有比较好的实战经验的
大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进來之后才会把这个窗口的数据发送出去的 flink 有办法 读取 pytorch的 模型文件吗？
大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows但是没有按时触发窗口、洏是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗
有没有大佬知道实时报表怎么做？就是统计的结果要实时更新热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相關提交到yarn的命令了 请教一下flink里怎么实现batch sink的操作而不导致数据丢失
