Haftalık veri serileri arasındaki işlemleri belirlemek için algoritma?

Küçük bir raporlama aracı (sqlite arka uç ile) geliştirmeye çalışıyorum. Bu aracı en iyi "işlem" defteri olarak tanımlayabilirim. Ne yapmaya çalışıyorum haftalık veri ayıklamak "işlemleri" takip etmektir:

• "yeni" (veya ekleme) - benim app olabileceğinden kaynak Uygulamama yenidir değil o özlerinin aracılığıyla görülmedi olarak önce bu kaynağı izlemiş.
• "güncelleme" (veya isabet) - bu kaynağın yakın zamanda kullanımı var, saklama süresini bir hafta daha güncelleyin.
• "sil" (veya bırak) - bu öğe son rapordan bu yana bir işe yaramadı (isteğe bağlı, ancak kaynak talebinde haftadan haftaya değişikliklerin grafiğini almak için iyi olurdu).

Elimdeki tek şey, üzerinde hiçbir kontrole sahip olmadığım eski bir arşivleme / kayıt yönetimi sisteminden gelen haftalık bir veri özütüdür (boru ile sınırlandırılmış düz dosya).

Her bir hat temel olarak şu şekilde damıtılabilir:
resource_id | resource info | customer_id | customer_info

Örnek veri:

10| Title X       | 1 | Bob
11| Another title | 1 | Bob
10| Title X       | 2 | Alice

Amaç, X-ay boyunca (son isabet bazında) kullanım görmeyen kaynakları rapor etmeyi kolaylaştırmaktır. Kaynakların, popüler olmaları halinde erişim kolaylığı için etrafta tutulduğu bir saklama süresi vardır. 18 aydır kullanılmayan bir kaynak, başka bir yerde uzun süreli arşivleme için işaretlenmiştir.

Bu yaygın bir sorun olmalı. Veri kümeleri arasında neyin yeni / aynı / neyin kaldırıldığını belirlemek için genel amaçlı bir algoritma olup olmadığını mı merak ediyorsunuz?

Cevabınız ... Evet. Uygulayabileceğiniz basit bir algoritma var. Net bir şimdiki değer algoritması. Uygulanması kolaydır ve DB ucunda gereken tek şey, haftalık verileri tarihlendirmeniz ve basit bir sorgu ve bir küçük özyinelemeli işlev veya döngü için yazmanız veya bu diğer çözümlerden birini yapabilmenizdir.

NPV = PV- (PV (CP / T) veya Yeni Mevcut Değer, Kaynak Değer 0'a düştüğünde, Mevcut Dönemin (son girişten bu yana geçen aylar) Dönemin (örneğin 18 ay) bugünkü Değerine eşittir. harcanır.

Bana istediğiniz bir dil verirseniz, kodu burada bir düzenlemeye gönderirim

Güncellemeleri yine de bir SQLite arka ucunda tutuyorsanız, haftalık güncellemeyi yeni bir tabloya dönüştürebilir ve birleştirmeden önce sorgularla arşivlenen verilerle karşılaştırabilirsiniz.

Bir tabloya yeni eklemeler bulmak için SQL kullanma örneği: /programming/2077807/sql-query-to-return-differences-between-two-tables

DB'nizdeki bir alan işlemin tarihini depolarsa, yalnızca son 18 ay içinde işlem yapmış tüm kullanıcıları sorgulayabilirsiniz. O zaman arşiv sadece tam DB'dir. Alternatif olarak, kullanmayan tüm kullanıcıları sorgulayabilir, verilerini çıkarabilir ve ardından bırakabilirsiniz. Güncellemeler, bu hafta zaman damgasını içeren satırlardır.

Alternatif fikir:

1. İşlem listenizi bir dizi gibi bir tür veri yapısına ayrıştırın. (C ++ ile düşünün Vectorve Java ile ArrayList.)

2. SQL arka ucunuzda bir sorgu gerçekleştirin SELECT DISTINCT customer_id FROM Transactions ORDER BY customer_idve sıralanan farklı müşteri kimliklerini bir kümeye paketleyin old. Aynı WHEREişlemi eski ve yeni işlemleri ayıran bir cümle ile yaparsanız, 3. adımı atlayabilirsiniz.

3. Yeni güncellemelerdeki benzersiz müşteri kimliklerini sıralı bir şekilde ayrı bir veri yapısına alın. Bir veri yapısına girmek için kullanabileceğiniz birkaç veri yapısı vardır new. Çift bağlantılı bir listeye ekleme sıralaması çok basittir, ancak bir ara hashtable kullanmak doğrusal zamana yakın bir şekilde çalışır veya orijinal diziyi yine de sıralıyorsanız, bunun bir setini almak kolaydır.

4. Set farkı al new- oldfavori dilinin standart kitaplığını kullanarak. En sevdiğiniz dil bu algoritmayı standart kütüphanesinde içeriyor mu?

İşlem veritabanınızı güncelledikten sonra yapmak istediğiniz diğer şeyler kesinlikle SQL sorgularıdır.

3. adımla ilgili not: Verilerinizin niteliğini düşünün. Metin dosyanızın siparişleri kronolojik olarak listelediğini ve tipik bir haftada, customer_idartan sırada yeni verilen çok sayıda ilk kez müşteri olduğunu varsayalım . Diğer siparişlerin çoğunun az sayıda sadık tekrarlı müşteriden geldiğini varsayalım customer_id. Ardından girdileriniz çoğunlukla sıralanır. customer_idÇift bağlantılı bir listenin önüne düşük customer_idve arkadan yüksek yerleştirmeye çalıştığınız bir ekleme sıralaması , bu durumda pratikte iyi performans gösterir.

Sorunuzdan anladığım gibi, aslında kaynak_kimliği (+ info) ve müşterinin (id + info) "listesinin" var.

Böylece, kaynak başına müşteri listesini kolayca tutabilir ve kaynaktaki her listede son düğümü kontrol edebilirsiniz (son çalışma süresini bilmek için kodda müşterinize tarih alanı eklemeniz yeterlidir)

Ben SQL aşina değilim, bu yüzden benim örnek HashMapve Liste ile vermek ama eminim aynı fikir:, HashMap <Resource, List<Customer>>ne zaman ResourceresourceID anahtar olarak Customeriçermeli ve müşteri kimliği, bilgi ve işlem tarihi içermelidir.

Bu fikir sayesinde son çalışma süresini kolayca bilebilir ve herhangi bir kaynağı değiştirebilirsiniz (add \ remove resource \ customer).

Bir SqLite veritabanı kullanıyorsanız, toplu işin tarihini tablonun sütunu olarak da eklerseniz,

10| Title X       | 1 | Bob    | 2015-03-01
11| Another title | 1 | Bob    | 2015-03-01
...............................
10| Title X       | 1 | Alice  | 2015-03-05

son X günde kullanılmayan kaynakları elde etmek için SQL kullanmak oldukça kolay olurdu

Select distinct r.ResourceID from Resources r
where not exists (SELECT julianday('now') - julianday(r.DateUpdated)) < X

SQL'i test etmedim ama size bir fikir vermeli

Orijinal gönderiden, yutulan verilerin işlemin tarihini / saatini gösteren bir alanı yok gibi görünüyor ve dosyanın günlük, saatlik vb.

Ben veritabanı düzeyinde otomatik olarak oluşturulan bir SQL zaman damgası sütun ekleyerek veya veri ayıklar ve DB ekler kod tarafından bu ele. Sonra o zaman damgası sütununa bir dizin koymak ve onunla yapılır. DB motorunun "bu zamandan bu yana kaç işlem gerçekleşmediğini" veya "şu an ile o zaman arasında kaç işlem" sorusunu yanıtlamayı verimli hale getirme işini yapmasına izin verin.

Daha sonra, rapor etmek istediğiniz diferansiyelleri sorgulamak ve hesaplamak için bir iş zamanlarsınız. "Yeni" olan işlemler, "o zamandan beri yeni" olmasını istediğiniz tarihten önce DB'de kaydı olmayan işlemlerdir. Eski kayıtlar, kesme tarihinden itibaren hiçbir işlemi olmayan kayıtlardır.

HashTable'lar bunun için değil mi? Yapmak istediğiniz tek şey, son aylarda hangi kaynakların kullanıldığının kayıtlarını tutmak ve son 18 ay içinde erişilmeyen kaynakları silmekse, Anahtarın kaynak_kimliği ve değerin son erişim tarihi.

> 18 aylık kayıtları arşivlemek için, karma tablodaki tüm kayıtları inceleyebilir ve yalnızca bu belirli kayıtları kaldırabilirsiniz (veya taşıyabilirsiniz). (bunu rapor geldiğinde haftalık olarak yapabilirsiniz)