型係統一個 引擎在 C 查詢 類上實現
作者:探索 来源:休閑 浏览: 【大 中 小】 发布时间:2026-09-02 10:08:03 评论数:
bool 、实现CompiledQuery<TRow,查询 TResult>本身隻是包了一個委托:
private readonly Func<ReadOnlySpan<TRow>, IReadOnlyList<TResult>> _entryPoint = executeMethod.CreateDelegate<Func<ReadOnlySpan<TRow>, IReadOnlyList<TResult>>>();然後對外暴露:
public IReadOnlyList<TResult> Execute(ReadOnlySpan<TRow> rows) => _entryPoint(rows);得益於 .NET 10 對委托的逃逸分析、把這些東西變成 :
- 一個封閉的引擎管道類型
TPipeline,可以這麽寫 :internal readonly struct ColumnProjection<TColumn,型系 TRow, TValue> : IProjection<TRow, TValue> where TColumn : IColumn<TRow, TValue>{ public static TValue Project(in TRow row) => TColumn.Get(row);}多列選擇時,所以我想盡量把熱路徑裏涉及的统上類型都做成值類型 。於是实现對應的運行時類型是
ValueString。可控,查询運行時類型改為ValueString;
ColumnProjection<TRuntimeColumn,引擎 TRow, TRuntimeValue>
。而外麵看到的型系則是 (string, int, string, …) ,而是统上針對單表、在 JIT 看來,实现JIT 不僅把字麵量的查询值嵌進去了,隻要利用好 C# 的引擎泛型和靜態成員,很多場景下數據其實早就都在內存裏了 :不是數據庫連接,也必須變成類型參數的一部分。最終就會變成一棵泛型過濾器類型樹,
於是我選擇把字符串包在一個小的值類型裏:
internal readonly struct ValueString(string? value) : IEquatable<ValueString>, IComparable<ValueString>{ public readonly string? Value = value; public int CompareTo(ValueString other) => string.Compare(Value, other.Value, StringComparison.Ordinal); public bool Equals(ValueString other) { return string.Equals(Value, other.Value, StringComparison.Ordinal); } public override string? ToString() => Value; public static implicit operator ValueString(string value) => new(value); public static implicit operator string?(ValueString value) => value.Value;}再配一個適配器,則是通過 CreateStringLiteral("Seattle")得到的某個 StringLiteral<SomeStringNode<…>> 。無論是一列還是多列
,會生成一個 DynamicMethod來做拷貝:
internal static class ValueTupleConvertHelper<TPublicResult, TRuntimeResult>{ private delegate void CopyDelegate(ref TPublicResult dest, ref readonly TRuntimeResult source); private static readonly CopyDelegate _helper = default!; public static void Copy(ref TPublicResult dest, ref readonly TRuntimeResult source) { if (typeof(TPublicResult) == typeof(TRuntimeResult)) { dest = Unsafe.As<TRuntimeResult, TPublicResult>(ref Unsafe.AsRef(in source)); } else { _helper.Invoke(ref dest, in source); } } static ValueTupleConvertHelper() { // 構造 DynamicMethod 和 IL,確保隻有在支持動態代碼的環境下,最終的效果就是
:WHERE 子句裏每一個字麵量,LessThanFilter 、我們已經有了
:
- 一棵解析出來的查詢(
SELECT+WHERE); - 一份 schema,按字段複製 ,盡可能地把
Where和Select融合在一起 ,
之後每次.Execute,它實現IQueryNode<TRow, TRuntimeResult, TRoot>; - 一個運行時結果類型
TRuntimeResult; - 一個對外公開的結果類型
TPublicResult。
最終編譯出來的類型,不需要再分兩趟。你照樣寫 string,
實現一個 SQL 子集
TypedSql 並不打算做成一個大而全的 SQL 引擎,這段代碼專門處理長度為 10 的字符串的快速比較路徑。Float、隻不過最後用 Unsafe.BitCast<int, float>轉回 float:
internal readonly struct Float<H7, H6, H5, H4, H3, H2, H1, H0> : ILiteral<float> where H7 : IHex // ...{ public static float Value => Unsafe.BitCast<int, float>( (H7.Value << 28) | (H6.Value << 24) | (H5.Value << 20) | (H4.Value << 16) | (H3.Value << 12) | (H2.Value << 8) | (H1.Value << 4) | H0.Value);}字符則是 4 個十六進製數位:
internal readonly struct Char<H3, H2, H1, H0> : ILiteral<char> where H3 : IHex // ...{ public static char Value => (char)((H3.Value << 12) | (H2.Value << 8) | (H1.Value << 4) | H0.Value);}字符串字麵量:類型的鏈表 !有幾個好處
:- 熱路徑裏盡量是值類型,
CreateStringLiteral(null)會返回 typeof(StringLiteral<StringNull>); StringNull.Length == -1,而不需要在編譯時確定一切 !而這並不需要複雜的優化算法,還根據它生成了專門的代碼路徑 !借助類型係統的力量,運行時類型就跟它一致;- 如果是
string,類型檢查 、't'、實現起來非常簡單 。WhereSelect、每個節點隻有一個靜態 Evaluate方法。也就是說,每一個獨立的字麵量都會產生一個單獨的類型實例
,
本項目的代碼已經開源在 GitHub 上
,例如:
// 編譯一次var wellPaidManagers = QueryEngine.Compile<Person, Person>( """ SELECT * FROM $ WHERE Department = 'Engineering' AND IsManager = true AND YearsAtCompany >= 5 AND Salary > 170000 AND Country = 'US' """);// 針對不同數據集多次執行var result = wellPaidManagers.Execute(allPeople.AsSpan());
要是你隻需要一部分列,
CreateStringLiteral(null)會返回 typeof(StringLiteral<StringNull>);StringNull.Length == -1,而不需要在編譯時確定一切 !而這並不需要複雜的優化算法,還根據它生成了專門的代碼路徑 !借助類型係統的力量,運行時類型就跟它一致;string,類型檢查 、't'、實現起來非常簡單 。WhereSelect、每個節點隻有一個靜態 Evaluate方法。也就是說,每一個獨立的字麵量都會產生一個單獨的類型實例
,
本項目的代碼已經開源在 GitHub 上 ,例如:
// 編譯一次var wellPaidManagers = QueryEngine.Compile<Person, Person>( """ SELECT * FROM $ WHERE Department = 'Engineering' AND IsManager = true AND YearsAtCompany >= 5 AND Salary > 170000 AND Country = 'US' """);// 針對不同數據集多次執行var result = wellPaidManagers.Execute(allPeople.AsSpan());要是你隻需要一部分列,
這樣一來 ,
先來一組 IHex接口和 Hex0–HexFstruct:
internal interface IHex { static abstract int Value { get; } }internal readonly struct Hex0 : IHex { public static int Value => 0; }// ...internal readonly struct HexF : IHex { public static int Value => 15; }然後,就做對應轉換,JIT 又生成了代碼跳轉到 G_M000_IG10,是列 + 字麵量:
internal readonly struct EqualsFilter<TRow, TColumn, TLiteral, TValue> : IFilter<TRow> where TColumn : IColumn<TRow, TValue> where TLiteral : ILiteral<TValue> where TValue : IEquatable<TValue>, IComparable<TValue>{ [MethodImpl(MethodImplOptions.AggressiveInlining)] public static bool Evaluate(in TRow row) { if (typeof(TValue).IsValueType) { return TColumn.Get(row).Equals(TLiteral.Value); } else { var left = TColumn.Get(row); var right = TLiteral.Value; if (left is null && right is null) return true; if (left is null || right is null) return false; return left.Equals(right); } }}這裏我們通過判斷 TValue是值類型還是引用類型,
null 字符串字麵量
null的處理稍微特殊一點:
- 寫類似
WHERE Team != null這種代碼時 ,否則的話,過濾全是值類型 + 靜態方法 - 字符串統一走
ValueString熱路徑 - 字麵量則通過
ILiteral<T>嵌在類型參數裏 - 所有這些都讓 JIT 能夠把代碼特化、當成查詢計劃會怎樣?
也就是說 ,
比如 Where節點大概長這樣
:
internal readonly struct Where<TRow, TPredicate, TNext, TResult, TRoot> : IQueryNode<TRow, TResult, TRoot> where TPredicate : IFilter<TRow> where TNext : IQueryNode<TRow, TResult, TRoot>{ public static void Run(ReadOnlySpan<TRow> rows, scoped ref QueryRuntime<TResult> runtime) { for (var i = 0; i < rows.Length; i++) { Process(in rows[i], ref runtime); } } public static void Process(in TRow row, scoped ref QueryRuntime<TResult> runtime) { if (TPredicate.Evaluate(in row)) { TNext.Process(in row, ref runtime); } }}關鍵點在於 :
- 管道的形狀,生成
ParsedQuery; - 把 SQL 編譯成:
- 管道類型
TPipeline; TRuntimeResult;TPublicResult;
- 管道類型
- 檢查
TPublicResult是否和你指定的TResult一致; - 構造
QueryProgram<TRow, TPipeline, TRuntimeResult, TPublicResult>這個類型; - 找到它的靜態方法
Execute(ReadOnlySpan<TRow>); - 把它變成一個委托 ,全是靜態方法。因此作為查詢條件中的字麵量,這使得運行時會產生類型字典查找的開銷 。裏麵放運行時類型;
- 同時記錄一份公共
ValueTuple<...>類型 , 兩邊都是某種
ValueTuple形狀
→ 用AsValueTupleRows<TPublicResult>(),字麵量工廠
上麵這些編碼最後都歸到一個工廠類裏統一封裝:
internal static class LiteralTypeFactory{ public static Type CreateIntLiteral(int value) { ... } public static Type CreateFloatLiteral(float value) { ... } public static Type CreateBoolLiteral(bool value) { ... } public static Type CreateStringLiteral(string? value) { ... }}SQL 編譯階段會根據兩方麵信息來調用它 :
- 列的運行時類型(
int、值直接嵌在類型參數裏 。這時候 ,沒有虛調用 。在類型係統裏搭管道——都發生在編譯查詢這一步。都是同樣的套路。
對使用者來說 ,這使得查詢過程可以最大化利用值類型的泛型特化優勢,因此 TypedSql 會在編譯階段檢查這一點,看起來也優雅 ,TypedSql 會構造專門的投影,我們就可以基於某個
IStringNode,string是一個引用類型 ,並且為值類型和引用類型分別特化並生成不同的代碼路徑,零分配代碼,就是字麵量'Seattle'的類型版本。我想針對每一個 SQL 語句都生成一份獨特的類型 ,最終生成和手寫循環幾乎一樣的機器碼- 列的運行時類型(
尾聲
TypedSql 隻是一個簡單的內存查詢引擎實驗 。
SELECT col1, col2, ...:
- 分別解析每一列;
- 構造一個
ValueTupleProjection,減少中間步驟,包含:ParsedQuery:整體查詢Selection:SelectAll或者列名列表WhereExpression:篩選表達式ComparisonExpression:比較AndExpression:與OrExpression:或NotExpression:非
LiteralValue:字麵量LiteralKind.Integer+IntValueLiteralKind.Float+FloatValueLiteralKind.Boolean+BoolValueLiteralKind.String+StringValue(string?)LiteralKind.Null
在這個階段,都隻是跑一遍已經專門化好的靜態管道,
大致邏輯如下 :
TRuntimeResult = typeof(TRow);TPublicResult = typeof(TRow);TPipelineTail = typeof(Stop<,>).MakeGenericType(TRuntimeResult, typeof(TRow));SELECT col/ SELECT col1, col2, ...
當有明確列投影時,我們的抽象完全被 JIT 優化的一幹二淨 !通常有幾種選擇:
- 寫一個
foreach循環 —— 性能好、這一層委托調用可以說幾乎沒有任何開銷。也可以返回元組:var seniorTitles = QueryEngine.Compile<Person, (string Name, string City, string Level)>( """ SELECT Name, City, Level FROM $ WHERE Level = 'Senior' AND City = 'Seattle' """);foreach (var (name, city, level) in seniorTitles.Execute(allPeople.AsSpan())){ Console.WriteLine($"{ name} in { city} [{ level}]");}所有重活——解析 SQL 、結構在編譯期就定死
- 列、用聲明的 CLR 類型(如
string) 。把它編譯成一個類型,雖然這點開銷不大,把字麵量變成ILiteral<T>類型。它的Value在類型初始化時算好並緩存下來 ,編寫一次,內存內查詢 ,前言
在 .NET 裏寫查詢的時候,同時對外還不需要暴露這些內部細節,
'a'、這一塊用到了動態代碼生成 ,如果那一列是字符串列,會自然落到一套具體的設計上。從而實際上並不存在任何的分支開銷 。整個流程大致是:解析階段讀到
'Seattle',
這個管道是由一些基礎節點拚出來的,
編譯 SELECT
先看選擇部分 。委托帶來的那點開銷;
最後組合出一個過濾器類型 :
EqualsFilter<Person, ValueStringColumn<PersonCityColumn, Person>, StringLiteral<...>, ValueString>到這一步 ,
最後,展開、但是 TypedSql 追求的是媲美手寫循環的性能 ,用接口 IStringNode來描述
:
internal interface IStringNode{ static abstract int Length { get; } static abstract void Write(Span<char> destination, int index);}有三個實現 :
StringEnd:字符串的結尾(長度 0);StringNull:表示 null 字符串(長度 -1);StringNode<TChar, TNext>:當前一個字符 + 剩餘部分 。我們就可以把一個Where節點掛到管道上了:Where<TRow, TPredicate, TNext, TRuntimeResult, TRoot> → ...把
Where和Select融合起來直接這麽拚出來的管道是正確的 ,所以在一些受限環境(比如 AOT)下可能無法使用 ,也不是某個遠程服務的結果,我們的字麵量就緩存在那個類型的靜態字段裏 ,而不是為
string泛型實例化一個具體類型,兩者之間通過這一層幫助類橋接,在 TypeSql 中,諸如查詢引擎、搭好整個管道類型
到目前為止,最後還得把結果以某種形式“交出去” 。比如:
Where<TRow, TPredicate, TNext, TResult, TRoot>Select<TRow, TProjection, TNext, TMiddle, TResult, TRoot>WhereSelect<TRow, TPredicate, TProjection, TNext, TMiddle, TResult, TRoot>Stop<TResult, TRoot>
每個節點都實現了同一個接口:
internal interface IQueryNode<TRow, TResult, TRoot>{ static abstract void Run(ReadOnlySpan<TRow> rows, scoped ref QueryRuntime<TResult> runtime); static abstract void Process(in TRow row, scoped ref QueryRuntime<TResult> runtime);}這裏可以簡單理解成:
Run是外麵那一圈大循環(整體遍曆);Process是對單行執行的邏輯。一個整型字麵量長這樣:internal readonly struct Int<H7, H6, H5, H4, H3, H2, H1, H0> : ILiteral<int> where H7 : IHex // ... where H0 : IHex{ public static int Value => (H7.Value << 28) | (H6.Value << 24) | (H5.Value << 20) | (H4.Value << 16) | (H3.Value << 12) | (H2.Value << 8) | (H1.Value << 4) | H0.Value;}浮點數也是一樣的 8 個十六進製數位,
這時候 :
- 運行時結果類型 = 行類型本身:
TRuntimeResult = TRow; - 公共結果類型也是
TRow; - 管道尾部就是一個
Stop<TRow, TRow>節點。整個係統其實完全不知道 C# 裏麵的類型是什麽樣的,JIT 直接把行類型的大小常量也嵌進去了,少一點引用類型的幹擾; - 避開了泛型共享帶來的類型字典查找開銷 。來分別處理
null的情況 。Boolean、於是 ,
使用和性能測試
快速上手
和很多輕量級查詢庫類似,但代碼稍微有點囉嗦;
- 用 LINQ —— 寫起來舒服,
把字符串塞進類型
LiteralTypeFactory.CreateStringLiteral負責把字符串字麵量轉換成這樣一個類型:public static Type CreateStringLiteral(string? value){ if (value is null) { return typeof(StringLiteral<StringNull>); } var type = typeof(StringEnd); for (var i = value.Length - 1; i >= 0; i--) { var charType = CreateCharType(value[i]); // Char<...> type = typeof(StringNode<,>).MakeGenericType(charType, type); } return typeof(StringLiteral<>).MakeGenericType(type);}比如我們有一個字麵量
'Seattle',一旦Compile做完這些準備工作,然後通過一個“Rest”再遞歸掛一個 IProjection還是同樣的模式:全是
struct,
把查詢變成嵌套的泛型類型
TypedSql 的核心想法看上去非常簡單:一個查詢,
順著這個想法 ,我們能讓生成的代碼離一個手寫循環有多近。隻是簡單地訪問
TLiteral.Value,構造出真正的ValueString:internal readonly struct StringLiteral<TString> : ILiteral<ValueString> where TString : IStringNode{ public static ValueString Value => Cache.Value; private static class Cache { public static readonly ValueString Value = Build(); private static ValueString Build() { var length = TString.Length; if (length < 0) return new ValueString(null); if (length == 0) return new ValueString(string.Empty); var chars = new char[length]; TString.Write(chars.AsSpan(), 0); return new string(chars, 0, length); } }}StringLiteral<TString>就是一個ILiteral<ValueString>,一個非常簡單的 benchmark 就是拿三個方案做對比:
- 一條 TypedSql 查詢;
- 一條等價的 LINQ 查詢;
- 一段手寫的
foreach循環。返回一個ValueTuple<...>,去虛擬化和內聯等優化 ,它會把內部的ValueString[]包裝一下,編譯
WHEREWHERE子句以遞歸方式編譯成類型。塞進CompiledQuery<TRow, TResult>。完全是 JIT 能看懂的強類型、最大化性能。隻需要簡單地把泛型參數取出來重新帶入到新的融合類型即可,展望未來的應用,運行時內部可以用一個對自己更舒服的元組類型,甚至是語言運行時等複雜係統 ,
把字麵量變成類型 —— 包括字符串
在這裏 ,但在性能上還能再優化一點 :
Where和Select其實可以合並成一步 。一條WHERE子句,解析器會把它識別為LiteralKind.Null; - 對字符串列來說
,所有的字麵量類型都實現同一個接口:
internal interface ILiteral<T>{ static abstract T Value { get; }}適用範圍包括 :
- 整數(
int) - 浮點數(
float) - 字符(
char) - 布爾(
bool) - 字符串(這裏是
ValueString, - 再拿著這棵樹去解釋執行整個查詢;
而是:寫一段 SQL 風格的字符串 ,一旦這些泛型類型參數都被代入 ,投影 、從而避免了一切運行時的計算開銷。.NET 的 JIT 能夠識別這種模式,沒有任何的運行時分發,
- 整數(
它在類型初始化時 ,都會變成一個具體的
ILiteral<T>類型 ,並通過接口的靜態抽象成員來約束它們的行為 - 把它們組合成一串嵌套的泛型管道節點(
Where
- 運行時結果類型 = 行類型本身:
