Эмбеддинг бенчмарка

Public

Просмотреть канал

Не можете присоединиться? @benchmark_embedding

46 Участники

Обновлено: May 6, 2026 at 12:32 PM

Эмбеддинг бенчмарка

@benchmark_embedding is a growing community focused on Кодинг и программирование and related topics

Рейтинг

Глобальный рейтинг

#456

Рейтинг по языку

#45

Рейтинг по категории

#23

-1

Рост участников (Последние 2 дней)

Всего: 46

Рост за 24ч: +0 0%

Последние посты

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

📷 Photo

Добавил на ледерборд график изменения счета по времени (как на papers with code)

192

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

📷 Photo

MAEB

Мы релизнули новую версию MTEB с поддержкой аудио. Также добавили более 90 задач и 50 моделей

Статья: https://huggingface.co/papers/2602.16008
Лидерборд: http://mteb-leaderboard.hf.space/?benchmark_name=MAEB(beta)

154

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

📷 Photo

Jina-v5

Jina релизнули модель. Как всегда делали претрен и lora адаптеры по задачам. В качестве базовых моделей взяли EuroBert (nano, 0.2B) и small (Qwen3-0.6B-Base) и дистиллировали из (Qwen3-Embedding-4B).

- Используют только Query: и Document: промпты. Для не ретрив задач Document: .
- Для соотношения эмбедингов дообучали проекцию на модели-студента, тк проекция на учителе хуже работала
- Для дистиляции используют косинусное расстояние
- По датасетам только 300 datasets in over 30 languages
- Для разных задач используют разные loss (для асиметриного ретрива InfoNCE+Distil+GOR, STS CoSENT или InfoNCE в зависимости от триплета)

Модели: https://huggingface.co/collections/jinaai/jina-embeddings-v5-text
Статья: https://huggingface.co/papers/2602.15547
Блог: https://jina.ai/news/jina-embeddings-v5-text-distilling-4b-quality-into-sub-1b-multilingual-embeddings/

173

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

🎥 Video

Yet another release

Gradio сделали daggr (DAG-based Gradio workflows).

Они пишут, https://github.com/gradio-app/daggr?tab=readme-ov-file#when-to-not-use-daggr его лучше использовать когда:
1. Вы хотите использовать gradio spaces или свои функции
2. У вас сложное воркфлоу, что и надо смотреть на выход каждого компонента
3. Фиксированный пайплайн с различными входными данными
4. Хотите сравнивать несколько вариантов
И потом сравнивают себя с ComfyUI (у daggr code first способ) и Airflow/Prefect (daggr для прототипирования/демо, а не оркестратjh) и в отличие от Gradio тут удобнее дебажить воркфлоу.

Я лично не понял для кого это особо, тк они не сравнивают себя даже с n8n/langflow, но мб пригодится кому-то https://huggingface.co/blog/daggr

Есть список готовых worflow если интересно https://huggingface.co/collections/ysharma/daggr-hf-spaces

162

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

Видимо еще агенты... (Или kernels доделают)

157

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

📷 Photo

Transformers v5

Пост (от декабря): https://huggingface.co/blog/transformers-v5
Полный список изменений: https://github.com/huggingface/transformers/releases/tag/v5.0.0

- Теперь токенизаторы используют только tokenizers, что раньше было fast. Более подробно можно прочитать в их блоге https://huggingface.co/blog/tokenizers
- Теперь dtype будет auto по дефолту (раньше было fp32)
- Убрали load_in_8bit и теперь надо передавать конфиг напрямую
- Много аргументов в трейнере поменяли. Например,report_to теперь по дефолту none
- Также https://github.com/huggingface/transformers/pull/42564 для получения отдельных модальностей у модели для SentenceTransformers, так что ждем когда появится новая версия

765

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

Pandas 3.0

- Теперь у строк есть свой тип, а не просто object
- Улучшили поддержку Copy-on-Write (теперь нет SettingWithCopyWarning)
- Убрали некоторые alias для дат (теперь надо писать ME вместо M) и даты могут сохраняться также в секундах, а не только в наносекундах

Поддерживает только python 3.11+

Полный список: https://pandas.pydata.org/community/blog/pandas-3.0.html

154

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

📷 Photo

Пока нет поддержки в transformers (вряд-ли она скоро появится, тк сейчас их рефакторят) и надо использовать через их библиотеку

157

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

📷 Photo

Вышли Qwen3-VL-Embedder и Reranker https://huggingface.co/collections/Qwen/qwen3-vl-reranker https://huggingface.co/collections/Qwen/qwen3-vl-embedding Качество на текстовом домене проседает немного по сравнению с обычным и какие-то немного странные сравнения…

234

Эмбеддинг бенчмарка

25 апр. 2026 г., 19:04

📷 Photo

Вышли Qwen3-VL-Embedder и Reranker

https://huggingface.co/collections/Qwen/qwen3-vl-reranker

https://huggingface.co/collections/Qwen/qwen3-vl-embedding

Качество на текстовом домене проседает немного по сравнению с обычным и какие-то немного странные сравнения по моделям на vision части (нет jina-v4 например).

Пока нет поддержки в transformers (вряд-ли она скоро появится, тк сейчас их рефакторят) и надо использовать через их библиотеку

181

Showing 10 of 10 posts

No more posts

Рейтинг

Требуется вход

Отзывы пользователей (0)

Пока нет отзывов. Будьте первым, кто поделится своим опытом!

Эмбеддинг бенчмарка

Эмбеддинг бенчмарка

Рейтинг

Рост участников (Последние 2 дней)

Последние посты

Рейтинг

Отзывы пользователей (0)

Похожие каналы Telegram

Albinasummer

PM работа. Проектные менеджеры

Русский Модный Код

Литературный коД

Компьютерная математика Weekly

AI Projects

ReLab Family

Книги по программированию

Похожие каналы Telegram

Albinasummer

PM работа. Проектные менеджеры

Русский Модный Код

Литературный коД

Компьютерная математика Weekly

AI Projects

ReLab Family

Книги по программированию

Отзывы пользователей (0)

Последние посты