Архитектура Apache Ignite .NET
Download as PPTX, PDF0 likes365 views
Документ рассматривает архитектуру Apache Ignite.NET и вопросы взаимодействия между Java и .NET через различные подходы, такие как тонкие клиенты и сериализация. Основное внимание уделяется преимуществам и недостаткам различных решений, таких как использование Java-клиента или создание новых решений с нуля. Также обсуждаются аспекты управления памятью и оптимизация производительности в контексте интеграции Java и .NET.
![31
int fieldId = GetFieldId("name");
int order = GetOrder(schemaId, fieldId);
int offsetPos = footerPos + [X] * order;
Поиск полей за O(1)](https://image.slidesharecdn.com/dotnetcommunity-160613101418/85/Apache-Ignite-NET-31-320.jpg)
![32
int fieldId = GetFieldId("name");
int order = GetOrder(schemaId, fieldId);
int offsetPos = footerPos + [X] * order;
int offset = Read(offsetPos);
Поиск полей за O(1)](https://image.slidesharecdn.com/dotnetcommunity-160613101418/85/Apache-Ignite-NET-32-320.jpg)
Архитектура Apache Ignite .NET
- 2. План 2 • Почему • Interop • Native
- 3. Кто? 3
- 4. План 4 • Почему • Interop • Native
- 6. Почему: тонкие клиенты 6 За: • Легко сделать Против: • Ограниченный
- 7. Почему: объединить Java client и server 7
- 8. Почему: объединить Java client и server 8 За: • Полноценный Против: • Тяжелее
- 9. Почему: создание с нуля 9
- 10. Почему: создание с нуля 10 За: • Естественно • Перфоманс • Полноценный Против: • С нуля • Надо менять Java • Поддержка
- 11. Создание с нуля: поддержка 11
- 12. Создание с нуля: поддержка 12
- 13. 13 Создание с нуля: поддержка
- 14. 14 Создание с нуля: поддержка
- 15. Почему: переиспользование Java core 15
- 16. Почему: переиспользование Java core 16 За: • Общий код • Легко сделать • Полноценный Против: • Странно! • Медленнее нативного
- 19. План 19 • Почему • Interop • Native
- 20. Сериализация 20
- 22. Сериализация 22
- 23. Сериализация 23 За: • Нет классов! Против: • Не десериализовать
- 24. Идентификаторы: TYPE_ID и FIELD_ID 24 1: class DotNetPerson { 2: string Name { ... } 3: 4: ... 5: } 1: class JavaPerson { 2: private String name; 3: 4: ... 5: } TYPE_ID(DotNetPerson) == TYPE_ID(JavaPerson) FIELD_ID(DotNetPerson.Name) == FIELD_ID(JavaPerson.name)
- 25. Формат сериализации 25 Header • Type ID – тип объекта • Hash code – для быстрого поиска в кэше • Length – для «пропусков» • Flags – внутренности
- 26. 26 GetField("name") => OK HasField("name") => OK Формат сериализации
- 27. 27 GetField("name") => OK HasField("name") => OK O(N)! Формат сериализации
- 28. Поиск полей за O(1) 28 Header • Schema ID – «отпечаток» полей • Footer offset – быстрая навигация в футер Footer • Идентификаторы полей и их смещения
- 29. 29 int fieldId = GetFieldId("name"); Поиск полей за O(1)
- 30. 30 int fieldId = GetFieldId("name"); int order = GetOrder(schemaId, fieldId); Поиск полей за O(1)
- 31. 31 int fieldId = GetFieldId("name"); int order = GetOrder(schemaId, fieldId); int offsetPos = footerPos + [X] * order; Поиск полей за O(1)
- 32. 32 int fieldId = GetFieldId("name"); int order = GetOrder(schemaId, fieldId); int offsetPos = footerPos + [X] * order; int offset = Read(offsetPos); Поиск полей за O(1)
- 38. План 38 • Почему • Interop • Native
- 39. Embedded JVM 39
- 40. Embedded JVM 40
- 41. Embedded JVM 41
- 42. External JVM 42
- 43. Проблемы GC 43
- 44. Проблемы GC 44
- 45. Проблемы GC 45
- 46. .NET -> Java: полагаемся на финализацию 46 1: unsafe class UnmanagedTarget : CriticalHandle 2: { 3: public UnmanagedTarget(void* target) 4: { 5: SetHandle(new IntPtr(target)); 6: } 7: 8: protected override bool ReleaseHandle() { 9: UnmanagerUtils.Release(this); 10: } 11: }
- 47. Java -> .NET: освобождаем явно 47 1: class PlatformListener { 2: private long ptr; 3: private boolean released; 4: 5: public void use() { 6: READ_LOCK { 7: if (!released) 8: NativeUtils.use(ptr); 9: } 10: } 11: 12: public void release() { 13: WRITE_LOCK { 14: NativeUtils.use(ptr); 15: released = true; 16: } 17: } 18: }
- 48. Native: unique pointers 48 1: HandleRegistry registry; 2: 3: T Get<T>(long ptr) { 4: T target = (T)registry.Get(ptr); 5: 6: if (target == null) 7: throw new ResourceReleasedException(); 8: 9: return target; 10: }
- 49. Java -> .NET: освобождаем явно 49 1: class PlatformListener { 2: private long ptr; 3: 4: public void use() { 5: NativeUtils.use(ptr); 6: } 7: 8: public void release() { 9: NativeUtils.use(ptr); 10: } 11: }
- 50. Уникальные указатели 50 0 < ptr < X • Это индекс в массиве • Для долгоживущих объектов (cache store, listeners, etc.) ptr >= X • Это ключ в ConcurrentDictionary • Для короткоживущих объектов (jobs, etc.)
- 51. Передаем данные 51 Особенности: • Храним пре-аллоцированные куски в thread-local • Флаги кодируют «природу» памяти (пул или нет, Java или .Net)
- 52. Передаем данные 52 1: using (long inPtr = MemoryManager.Allocate()) { 2: using (long outPtr = MemoryManager.Allocate()) { 3: Marshal(input, inPtr); 4: 5: Invoke(inPtr, outPtr); 6: 7: return Unmarshal<T>(outPtr); 8: } 9: }
- 53. Уменьшаем оверхед 53 Кэширование • Если объект read-only, то сериализуем его 1 раз, а далее передаем только «хэндл» Coalescense • Один большой вызов вместо нескольких мелких Отложенная сериализация • Если подозреваем, что сериализация не понадобиться, то пытаемся обойтись GCHandle
- 55. 55 Вопросы?