Performance Benchmarks Report

Specification

• 100 million rows are used for each test.
• Tests are run sequentially to reduce variability.
• Benchmarks are created using Databricks Serverless cluster.

Results

Test	Mean (s)	Median (s)	Min (s)	Max (s)	Stddev (s)	iqr (s)	q1 (s)	q3 (s)	Rounds	iqr outliers	stddev outliers	Ops/s
test_benchmark_apply_checks_all_dataset_checks	45.448403	37.252727	36.099833	66.430547	13.300848	18.550409	36.338184	54.888593	5	0	1	0.02
test_benchmark_apply_checks_all_row_checks	0.987636	0.994011	0.794045	1.170753	0.147722	0.229299	0.873213	1.102513	5	0	2	1.01
test_benchmark_compare_datasets	3.598445	3.556993	3.430710	3.793938	0.158157	0.280218	3.466942	3.747160	5	0	2	0.28
test_benchmark_foreach_compare_datasets[n_rows_100000000_n_columns_5]	25.879615	25.919933	25.536855	26.071184	0.217230	0.307223	25.748681	26.055904	5	0	1	0.04
test_benchmark_foreach_foreign_key[n_rows_100000000_n_columns_5]	24.264873	22.893218	20.587308	29.037093	4.062789	7.705522	20.652819	28.358341	5	0	1	0.04
test_benchmark_foreach_is_aggr_equal[n_rows_100000000_n_columns_5]	1.239298	1.213153	1.192442	1.341836	0.060654	0.068928	1.200719	1.269646	5	0	1	0.81
test_benchmark_foreach_is_aggr_not_equal[n_rows_100000000_n_columns_5]	1.264898	1.250273	1.218577	1.345211	0.051090	0.071957	1.225905	1.297862	5	0	1	0.79
test_benchmark_foreach_is_aggr_not_greater_than[n_rows_100000000_n_columns_5]	1.242241	1.218612	1.183218	1.378503	0.078309	0.072129	1.195727	1.267856	5	1	1	0.80
test_benchmark_foreach_is_aggr_not_less_than[n_rows_100000000_n_columns_5]	1.261264	1.231160	1.204170	1.361988	0.064894	0.091869	1.215710	1.307579	5	0	1	0.79
test_benchmark_foreach_is_data_fresh[n_rows_100000000_n_columns_5]	0.824632	0.816263	0.783501	0.875706	0.041874	0.077573	0.786498	0.864071	5	0	1	1.21
test_benchmark_foreach_is_data_fresh_per_time_window[n_rows_100000000_n_columns_5]	1.214734	1.178756	1.127074	1.419423	0.120568	0.140045	1.128946	1.268991	5	0	1	0.82
test_benchmark_foreach_is_equal_to[n_rows_100000000_n_columns_5]	0.835396	0.827189	0.797534	0.893137	0.041329	0.070488	0.798259	0.868747	5	0	1	1.20
test_benchmark_foreach_is_in_list[n_rows_100000000_n_columns_5]	0.974350	0.957150	0.920287	1.057573	0.051258	0.052489	0.947265	0.999755	5	0	2	1.03
test_benchmark_foreach_is_in_range[n_rows_100000000_n_columns_5]	0.843056	0.842240	0.773775	0.910924	0.049604	0.056358	0.815537	0.871894	5	0	2	1.19
test_benchmark_foreach_is_ipv4_address_in_cidr[n_rows_100000000_n_columns_5]	0.987815	0.966667	0.938030	1.087240	0.062560	0.089674	0.938499	1.028173	5	0	1	1.01
test_benchmark_foreach_is_not_empty[n_rows_100000000_n_columns_5]	0.853053	0.852162	0.787122	0.938312	0.058587	0.084550	0.806280	0.890829	5	0	2	1.17
test_benchmark_foreach_is_not_equal_to[n_rows_100000000_n_columns_5]	0.829505	0.833398	0.773100	0.910708	0.055423	0.082831	0.780430	0.863261	5	0	2	1.21
test_benchmark_foreach_is_not_greater_than[n_rows_100000000_n_columns_5]	0.851637	0.847239	0.794481	0.920372	0.054306	0.096510	0.802136	0.898646	5	0	2	1.17
test_benchmark_foreach_is_not_in_future[n_rows_100000000_n_columns_1]	0.341604	0.322022	0.315875	0.411907	0.040677	0.042932	0.316338	0.359270	5	0	1	2.93
test_benchmark_foreach_is_not_in_near_future[n_rows_100000000_n_columns_1]	0.359485	0.337295	0.326664	0.461092	0.057313	0.047020	0.327099	0.374119	5	1	1	2.78
test_benchmark_foreach_is_not_in_range[n_rows_100000000_n_columns_5]	0.847935	0.838419	0.798358	0.922025	0.045493	0.042936	0.823908	0.866844	5	0	2	1.18
test_benchmark_foreach_is_not_less_than[n_rows_100000000_n_columns_5]	0.776487	0.773167	0.751199	0.828062	0.030586	0.032957	0.754682	0.787639	5	0	1	1.29
test_benchmark_foreach_is_not_null[n_rows_100000000_n_columns_5]	0.758831	0.740258	0.721456	0.811977	0.036771	0.053337	0.735184	0.788521	5	0	2	1.32
test_benchmark_foreach_is_not_null_and_is_in_list[n_rows_100000000_n_columns_5]	0.945691	0.920188	0.901666	1.015680	0.048837	0.076561	0.910482	0.987044	5	0	1	1.06
test_benchmark_foreach_is_not_null_and_not_empty_array[n_rows_100000000_n_columns_5_array_length_2]	0.833434	0.831427	0.772618	0.916059	0.052449	0.053541	0.801964	0.855504	5	0	2	1.20
test_benchmark_foreach_is_null_or_empty[n_rows_100000000_n_columns_5]	0.885840	0.876281	0.833513	0.950028	0.052457	0.096667	0.838126	0.934793	5	0	1	1.13
test_benchmark_foreach_is_older_than_col2_for_n_days[n_rows_100000000_n_columns_2]	0.469893	0.459003	0.437147	0.525883	0.033366	0.029763	0.453285	0.483048	5	0	1	2.13
test_benchmark_foreach_is_older_than_n_days[n_rows_100000000_n_columns_1]	0.348345	0.331387	0.320028	0.407252	0.035387	0.041833	0.326141	0.367974	5	0	1	2.87
test_benchmark_foreach_is_unique[n_rows_100000000_n_columns_5]	1.013693	0.984403	0.931403	1.152011	0.085390	0.103143	0.959097	1.062240	5	0	1	0.99
test_benchmark_foreach_is_valid_date[n_rows_100000000_n_columns_5]	0.802781	0.806462	0.778323	0.831778	0.021169	0.031922	0.784305	0.816227	5	0	2	1.25
test_benchmark_foreach_is_valid_ipv4_address[n_rows_100000000_n_columns_5]	0.818288	0.809680	0.794448	0.844870	0.022252	0.038896	0.801382	0.840278	5	0	2	1.22
test_benchmark_foreach_is_valid_timestamp[n_rows_100000000_n_columns_5]	0.805265	0.808972	0.777766	0.845260	0.026939	0.038142	0.781679	0.819822	5	0	2	1.24
test_benchmark_foreach_regex_match[n_rows_100000000_n_columns_5]	0.798492	0.760658	0.747172	0.929192	0.075872	0.079305	0.753182	0.832488	5	0	1	1.25
test_benchmark_foreach_sql_expression[n_rows_100000000_n_columns_5]	0.895489	0.888982	0.853895	0.950998	0.041479	0.071722	0.858589	0.930311	5	0	2	1.12
test_benchmark_foreach_sql_query[n_rows_100000000_n_columns_5]	4.578799	4.602143	4.442396	4.644892	0.083901	0.113694	4.530776	4.644470	5	0	1	0.22
test_benchmark_foreign_key	31.784272	31.787610	31.414708	32.123221	0.269713	0.386951	31.597198	31.984149	5	0	2	0.03
test_benchmark_is_aggr_equal	0.304401	0.305693	0.266624	0.330403	0.026888	0.044641	0.284540	0.329181	5	0	1	3.29
test_benchmark_is_aggr_not_equal	0.296462	0.296800	0.275119	0.312035	0.013498	0.013448	0.291054	0.304502	5	0	2	3.37
test_benchmark_is_aggr_not_greater_than	0.307771	0.315185	0.277924	0.316280	0.016705	0.010701	0.304974	0.315675	5	1	1	3.25
test_benchmark_is_aggr_not_less_than	0.296828	0.303167	0.276023	0.314350	0.018030	0.033665	0.278439	0.312105	5	0	1	3.37
test_benchmark_is_data_fresh	0.279160	0.235545	0.231767	0.430390	0.085563	0.072198	0.233457	0.305655	5	1	1	3.58
test_benchmark_is_data_fresh_per_time_window	0.259995	0.246444	0.242483	0.291510	0.022543	0.037112	0.243019	0.280132	5	0	1	3.85
test_benchmark_is_equal_to	0.241270	0.241646	0.226919	0.248632	0.008799	0.010992	0.237380	0.248371	5	0	1	4.14
test_benchmark_is_in_list[col1]	0.236102	0.236503	0.227829	0.246569	0.007036	0.008989	0.230909	0.239897	5	0	2	4.24
test_benchmark_is_in_list[col2]	0.289593	0.276054	0.232456	0.372550	0.053040	0.065903	0.255264	0.321166	5	0	2	3.45
test_benchmark_is_in_list[col3]	0.278913	0.276144	0.261990	0.308485	0.018107	0.021908	0.265834	0.287742	5	0	1	3.59
test_benchmark_is_in_list[col9]	0.252542	0.242654	0.231276	0.279325	0.021691	0.038104	0.235818	0.273922	5	0	1	3.96
test_benchmark_is_in_range	0.232606	0.231805	0.227634	0.238262	0.004189	0.006456	0.229508	0.235964	5	0	2	4.30
test_benchmark_is_ipv4_address_in_cidr	0.279673	0.265379	0.254790	0.323740	0.029319	0.044507	0.257984	0.302491	5	0	1	3.58
test_benchmark_is_not_empty[col1]	0.247378	0.244527	0.234753	0.262444	0.010315	0.012830	0.241421	0.254251	5	0	2	4.04
test_benchmark_is_not_empty[col2]	0.227237	0.223543	0.216799	0.239127	0.010264	0.018784	0.218867	0.237651	5	0	2	4.40
test_benchmark_is_not_empty[col3]	0.224964	0.221986	0.212208	0.245085	0.012278	0.012591	0.217945	0.230536	5	0	2	4.45
test_benchmark_is_not_empty[col4]	0.217239	0.215138	0.210746	0.228165	0.007143	0.010669	0.211585	0.222254	5	0	1	4.60
test_benchmark_is_not_empty[col5]	0.221591	0.218871	0.212835	0.232227	0.009432	0.018191	0.213045	0.231236	5	0	1	4.51
test_benchmark_is_not_empty[col6]	0.219235	0.216726	0.215660	0.230046	0.006109	0.005150	0.215792	0.220941	5	1	1	4.56
test_benchmark_is_not_empty[col7]	0.222964	0.222958	0.217622	0.227916	0.003738	0.004332	0.220897	0.225229	5	0	2	4.49
test_benchmark_is_not_empty[col8]	0.245002	0.240948	0.217513	0.289979	0.027872	0.033927	0.225187	0.259115	5	0	1	4.08
test_benchmark_is_not_empty[col9]	0.257528	0.252405	0.241474	0.280436	0.015043	0.020078	0.247697	0.267775	5	0	2	3.88
test_benchmark_is_not_equal_to	0.233658	0.231221	0.219983	0.247410	0.010949	0.017175	0.225966	0.243141	5	0	2	4.28
test_benchmark_is_not_greater_than	0.242415	0.241301	0.234131	0.257618	0.009507	0.012885	0.234661	0.247546	5	0	1	4.13
test_benchmark_is_not_in_future	0.256869	0.237349	0.232180	0.310495	0.033839	0.047028	0.233441	0.280469	5	0	1	3.89
test_benchmark_is_not_in_near_future	0.265659	0.256640	0.238163	0.310388	0.027446	0.030665	0.249401	0.280066	5	0	2	3.76
test_benchmark_is_not_in_range	0.231329	0.230925	0.225673	0.236397	0.003921	0.004566	0.229344	0.233911	5	0	2	4.32
test_benchmark_is_not_less_than	0.231144	0.226211	0.219875	0.251746	0.012936	0.017684	0.221819	0.239503	5	0	1	4.33
test_benchmark_is_not_null[col1]	0.237158	0.234126	0.229428	0.254316	0.010093	0.011387	0.230245	0.241632	5	0	1	4.22
test_benchmark_is_not_null[col2]	0.253868	0.256177	0.237306	0.265191	0.010194	0.008970	0.249828	0.258798	5	0	2	3.94
test_benchmark_is_not_null[col3]	0.251812	0.255222	0.238634	0.264973	0.012016	0.022076	0.239499	0.261575	5	0	3	3.97
test_benchmark_is_not_null[col4]	0.249279	0.237210	0.231006	0.279652	0.021628	0.035132	0.233214	0.268346	5	0	1	4.01
test_benchmark_is_not_null[col5]	0.257051	0.238708	0.231524	0.312737	0.033596	0.040313	0.236233	0.276545	5	0	1	3.89
test_benchmark_is_not_null[col6]	0.258045	0.255753	0.233834	0.280194	0.020985	0.039043	0.239899	0.278942	5	0	2	3.88
test_benchmark_is_not_null[col7]	0.241686	0.242066	0.232500	0.254691	0.008942	0.013581	0.233797	0.247378	5	0	2	4.14
test_benchmark_is_not_null[col8]	0.241375	0.240762	0.227346	0.258403	0.011091	0.009294	0.236208	0.245502	5	0	2	4.14
test_benchmark_is_not_null[col9]	0.240801	0.240243	0.234676	0.250188	0.006429	0.010218	0.235086	0.245304	5	0	1	4.15
test_benchmark_is_not_null_and_is_in_list[col1]	0.242408	0.243286	0.225948	0.254494	0.010533	0.011870	0.237237	0.249107	5	0	2	4.13
test_benchmark_is_not_null_and_is_in_list[col2]	0.242585	0.239179	0.235409	0.257352	0.008682	0.009090	0.237418	0.246509	5	0	1	4.12
test_benchmark_is_not_null_and_is_in_list[col3]	0.266090	0.254002	0.242063	0.319918	0.030873	0.025710	0.250317	0.276027	5	1	1	3.76
test_benchmark_is_not_null_and_is_in_list[col9]	0.258747	0.251603	0.237282	0.293385	0.021704	0.027209	0.244528	0.271737	5	0	1	3.86
test_benchmark_is_not_null_and_not_empty_array	0.242006	0.245388	0.219974	0.255484	0.013192	0.011067	0.237343	0.248410	5	1	2	4.13
test_benchmark_is_null_or_empty[col1]	0.245738	0.249997	0.230094	0.262357	0.014764	0.027013	0.230391	0.257404	5	0	3	4.07
test_benchmark_is_null_or_empty[col2]	0.243129	0.241425	0.233387	0.253421	0.008940	0.016398	0.235432	0.251830	5	0	2	4.11
test_benchmark_is_null_or_empty[col3]	0.243480	0.236580	0.222777	0.278160	0.022199	0.031183	0.226982	0.258165	5	0	1	4.11
test_benchmark_is_null_or_empty[col4]	0.240997	0.233905	0.222861	0.271447	0.020030	0.030044	0.225556	0.255600	5	0	1	4.15
test_benchmark_is_null_or_empty[col5]	0.320809	0.255945	0.237386	0.554603	0.134206	0.133005	0.241038	0.374044	5	0	1	3.12
test_benchmark_is_null_or_empty[col6]	0.271883	0.288303	0.233084	0.291877	0.025875	0.038427	0.251213	0.289639	5	0	1	3.68
test_benchmark_is_null_or_empty[col7]	0.255479	0.255281	0.230887	0.289014	0.022139	0.029264	0.238686	0.267950	5	0	2	3.91
test_benchmark_is_null_or_empty[col8]	0.219256	0.217609	0.214083	0.226223	0.005137	0.008602	0.215124	0.223726	5	0	2	4.56
test_benchmark_is_null_or_empty[col9]	0.246056	0.228162	0.219095	0.304146	0.034899	0.041464	0.224252	0.265716	5	0	1	4.06
test_benchmark_is_older_than_col2_for_n_days	0.235241	0.230978	0.224354	0.254865	0.011884	0.013734	0.227788	0.241522	5	0	1	4.25
test_benchmark_is_older_than_n_days	0.246935	0.248889	0.234393	0.253353	0.007733	0.010372	0.242547	0.252920	5	0	1	4.05
test_benchmark_is_unique	0.248614	0.245772	0.243054	0.259295	0.006731	0.009422	0.243688	0.253109	5	0	1	4.02
test_benchmark_is_valid_date	0.242393	0.229097	0.222715	0.270948	0.022056	0.037082	0.226619	0.263702	5	0	1	4.13
test_benchmark_is_valid_ipv4_address	0.258393	0.252825	0.245311	0.274555	0.014701	0.028471	0.245475	0.273947	5	0	2	3.87
test_benchmark_is_valid_timestamp	0.255469	0.243023	0.227099	0.330808	0.042948	0.038765	0.229012	0.267777	5	1	1	3.91
test_benchmark_regex_match	0.231971	0.230645	0.226346	0.237673	0.005006	0.008975	0.227962	0.236937	5	0	2	4.31
test_benchmark_sql_expression[col1]	0.229885	0.222745	0.222412	0.243508	0.010162	0.016901	0.222575	0.239476	5	0	1	4.35
test_benchmark_sql_expression[col2]	0.231982	0.231930	0.228300	0.236455	0.002934	0.002858	0.230374	0.233232	5	0	2	4.31
test_benchmark_sql_expression[col3]	0.234119	0.235222	0.220005	0.246096	0.009776	0.013053	0.227712	0.240765	5	0	2	4.27
test_benchmark_sql_expression[col5]	0.259120	0.263383	0.224057	0.295827	0.029468	0.049067	0.232577	0.281643	5	0	2	3.86
test_benchmark_sql_expression[col6]	0.242065	0.240533	0.230321	0.255079	0.008982	0.010016	0.237314	0.247331	5	0	2	4.13
test_benchmark_sql_expression[col9]	0.286430	0.291049	0.237969	0.345171	0.046762	0.083079	0.240589	0.323668	5	0	2	3.49
test_benchmark_sql_query	0.279797	0.274901	0.244968	0.333088	0.035766	0.054686	0.249674	0.304360	5	0	1	3.57